近日，GitHub 上的开源项目 AirLLM 发布了一项新进展：通过显存优化技术，该工具能够在单张 4GB 显存的 GPU 上运行参数量高达 2.8T 的大语言模型 Kimi K3。这一规模是目前已发布的最大开源模型，而 AirLLM 在推理过程中并未采用量化、蒸馏或剪枝等常见压缩手段。

根据项目文档，AirLLM 的核心能力在于大幅降低推理时的显存占用。除了 2.8T 的 Kimi K3，它还能让 70B 模型在 4GB 显卡上运行，125B 的 Qwen3.8-Flash-Next 在 6GB 显存下运行，以及 671B 的 DeepSeek-V3 在约 12GB 显存下运行。这些数据表明，该工具在显存效率上实现了显著突破。

此外，AirLLM 近期还扩展了对训练场景的支持。项目方表示，现在可以在小显存设备上训练大型模型，例如在 6GB 显存以下训练 125B 的 Qwen3.8-Flash-Next。这一进展有望降低大模型训练与推理的硬件门槛。

目前，AirLLM 提供了快速入门指南、配置说明、MacOS 支持、示例 notebook 以及 FAQ 等资源，方便开发者直接上手。该项目的持续更新，为在有限硬件条件下探索大模型能力的开发者提供了新的可能性。