快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 11-17 · 星期二 · 11-17 15:12 约 1 分钟读完

越狱PS4跑起9B大模型:Garlic LLM实现每秒43词元本地推理

摘要

开发者Leonardo Alegria创建的开源项目Garlic LLM,让越狱版PS4可离线运行90亿参数大模型,代码生成速度最高达每秒43词元。项目绕过官方驱动直调AMD GCN架构GPU,采用Qwen3.5-9B三位或四位量化压缩至约4.5GiB,并支持语音对话。

开源社区出现一项颇为少见的技术尝试:名为Garlic LLM的项目让越狱版PlayStation 4能够本地运行参数规模达90亿的大语言模型。据科技媒体Gigazine 11月17日报道,该项目由开发者Leonardo Alegria创建,全程无需联网即可完成AI聊天与语音对话,文本生成速度最高可达每秒43个词元。

实现路径上,PS4本身并未向非官方程序开放通用GPU计算接口或机器学习库,开发者因此绕开主机原本面向游戏图形处理的驱动层,直接向AMD GCN架构GPU下发底层指令,相当于把这台游戏主机改造成一台可执行AI推理的离线计算机。相关GPU指令均由开发者自行开发。

为适配PS4有限的内存,Garlic LLM选用阿里巴巴Qwen3.5-9B作为模型基座,将权重压缩为3位或4位量化格式,连同加速数据整体控制在约4.5 GiB,并借助推测解码(MTP)技术,在生成文本时预先采样并验证多个词元以提升效率。实测显示,普通文本生成速度约为每秒31至39个词元,生成程序代码时最高可达每秒43个词元,上下文窗口约16,000个词元。

除文字聊天外,该项目还提供语音输入与语音对话能力,分别调用Parakeet TDT 0.6B等组件。对AI行业而言,这一实验展示了在非通用计算硬件上通过底层指令调度与量化压缩部署中等规模模型的可行性,也为边缘端离线推理提供了参考样本。

Garlic LLMPS4本地大模型量化推理
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词