HardenedLinux社区近日推出名为SonicBoom的全新AI运行时框架,项目采用GPLv3许可证,由社区主导推进开发。与常见绑定单一语言的AI工具链不同,SonicBoom对外提供语言无关的C API接口,开发者可用任意语言绑定该库,从而在各编程语言环境中开展高性能AI研发。目前GNU Guile是官方支持的语言,框架利用Guile的delimited continuation在应用层实现“死计算消除”,确保只有真正有效的计算进入运行时。
在运行时层面,SonicBoom集成了LLVM MLIR,对计算图进行二次优化,进一步剔除无效计算图,并借助LLVM根据具体硬件生成kernel,而非依赖工程师手工针对硬件调优。这一设计思路与llama.cpp形成对照——后者依靠经验丰富的工程师手工编写kernel。
对AI研究场景而言,应用层绑定的动态语言可提供类似PyTorch的灵活性,同时单点推理性能被宣称超越llama.cpp。框架在运行时会自动编译优化计算图,试图同时获得PyTorch的动态图弹性与TensorFlow的静态图性能。
在推理部署环节,SonicBoom无需应用层动态语言支持,可直接加载模型执行高效推理。研究与生产部署共用同一套运行时图编译器优化栈,意味着研发完成后可直接部署至产品。部署成本被压缩至一个三百多MB的.so文件,无需数十GB的Python依赖环境。