谷歌工程师借PostScript解释器让打印机跑通2.7亿参数模型
摘要
谷歌DeepMind成员奥马尔·圣塞维耶罗在未改动固件、未加装外部计算板的情况下,让办公激光打印机以约14.1MB峰值内存运行2.7亿参数Gemma 3 270M模型,每个词元耗时约60秒,预填充阶段处理提示约需184秒。
把大模型塞进打印机,此前多停留在设想层面。谷歌DeepMind技术团队成员奥马尔·圣塞维耶罗于11月17日在X平台公布了一项实验:在一台办公激光打印机上成功运行2.7亿参数的Gemma 3 270M模型,整个推理过程仅占用约14.1MB内存。
这项实验的关键在于路径选择。圣塞维耶罗借助谷歌Gemini 4 Carbon模型完成探索,将小型Transformer推理引擎与量化后的模型编译成一个PostScript打印任务。整个过程没有修改理光打印机的固件,也没有外接计算板,而是直接调用打印机内置的PostScript解释器执行计算,让这种原本用于描述页面布局的语言承担起AI推理的职责。
内存是最大的约束。实验并未一次性载入完整模型,而是采用动态层加载策略,轮流将各层调入、移出内存,运行时峰值占用约14.1MB。模型推理共涉及18个Transformer网络层,所有计算均由打印机自身CPU执行PostScript程序完成,最终结果再交由打印机输出。
性能数据同样值得关注。输出速度约为每个词元60秒,即单个词元耗时一分钟,而非每秒60个词元;在预填充阶段,处理输入提示“Read the fine”耗时约184秒。这一实验展示的是极端资源约束下的可行性,而非实用性能,其意义在于验证PostScript解释器作为通用计算载体的潜力。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗