快讯 23:16索尼专利:AI在GPU渲染前预测下一帧,瞄准游戏卡顿与帧生成延迟22:4378岁荣休教授因阻拦Uber Eats送货机器人被捕,拟以宪法第一修正案抗辩22:28Linux内核峰会决定取消AI辅助声明要求,Torvalds表态支持 全部快讯 →
实操专栏 新大陆研究院 约 1 分钟读完 素材来源 Solidot

HardenedLinux发布SonicBoom:语言无关AI运行时框架,自动编译优化计算图

HardenedLinux社区主导开发的全新AI运行时框架SonicBoom正式发布,采用GPLv3许可证,提供语言无关的C API接口。该框架借助LLVM MLIR自动优化计算图并按硬件生成kernel,宣称兼具PyTorch动态图灵活性与TensorFlow静态图性能,部署成本仅为一个三百多MB的.so文件。

HardenedLinux社区近日推出名为SonicBoom的全新AI运行时框架,项目采用GPLv3许可证,由社区主导推进开发。与常见绑定单一语言的AI工具链不同,SonicBoom对外提供语言无关的C API接口,开发者可用任意语言绑定该库,从而在各编程语言环境中开展高性能AI研发。目前GNU Guile是官方支持的语言,框架利用Guile的delimited continuation在应用层实现“死计算消除”,确保只有真正有效的计算进入运行时。

在运行时层面,SonicBoom集成了LLVM MLIR,对计算图进行二次优化,进一步剔除无效计算图,并借助LLVM根据具体硬件生成kernel,而非依赖工程师手工针对硬件调优。这一设计思路与llama.cpp形成对照——后者依靠经验丰富的工程师手工编写kernel。

对AI研究场景而言,应用层绑定的动态语言可提供类似PyTorch的灵活性,同时单点推理性能被宣称超越llama.cpp。框架在运行时会自动编译优化计算图,试图同时获得PyTorch的动态图弹性与TensorFlow的静态图性能。

在推理部署环节,SonicBoom无需应用层动态语言支持,可直接加载模型执行高效推理。研究与生产部署共用同一套运行时图编译器优化栈,意味着研发完成后可直接部署至产品。部署成本被压缩至一个三百多MB的.so文件,无需数十GB的Python依赖环境。

SonicBoomHardenedLinuxAI运行时框架LLVM MLIR
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
16
完整版提示词