破解版PS5变身本地AI服务器,GPU加速运行27B模型达20.9 token/s
摘要
开发者abhi245y基于PS5LM项目推出原生GPU应用PS5LM Plus,让破解版PS5通过Vulkan接口运行llama.cpp,可用内存提升至11.4GB,运行高度量化的Qwen3.8-27B模型生成速度达20.9 token/s,GPU使用率100%。
在游戏主机被改造为通用计算平台的尝试中,索尼PS5再次成为开发者实验的对象。据外媒Wccftech报道,开发者abhi245y以资深AI工程师Mert Cobanov的PS5LM项目为基础,推出了原生GPU应用PS5LM Plus,使破解后的PS5能够在本地运行Qwen3.8-27B等大型语言模型。
PS5LM的早期版本依赖CPU执行推理,性能瓶颈明显:运行27B参数模型时,平均每分钟仅能生成约1个token。为突破这一限制,abhi245y将Mesa开源项目中的AMD RADV驱动移植到PS5平台,并借助Vulkan计算接口,让llama.cpp以原生应用形式调用主机GPU。
这一改动带来的直接收益是可用内存从约6GB扩大到11.4GB,足以承载经过高度量化的Qwen3.8-27B模型。配合PS5 448GB/s的内存带宽,该模型的生成速度提升至每秒20.9个token。测试数据显示,推理期间GPU使用率达到100%,CPU使用率仅为2%,负载几乎完全由GPU承担。
对于参数规模更小的模型,PS5的表现更为可观:Gemma 4 E4B约为每秒61个token,Llama 3.2 3B则达到每秒124个token。除GPU加速推理外,PS5LM Plus还内置了网页功能,进一步扩展了这台主机作为本地AI服务器的可用性。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗