微软GitHub Copilot将支持本地推理，Surface Laptop Ultra吞吐量达每秒63词元
微软宣布GitHub Copilot本月底支持本地AI模型推理，开发者可在云端与设备端模型间自动或手动切换。同时推出MAI Code 1.1 Flash混合专家模型，总参数1370亿，活跃参数68亿，在Surface Laptop Ultra上本地推理吞吐量最高每秒63词元。
微软于太平洋时间10月7日在旧金山举行发布会，宣布GitHub Copilot将在本月底前引入本地AI模型推理能力。这意味着开发者不再局限于云端托管模型，而是可以在云端与设备端模型之间进行自动或手动切换，为AI编程助手的使用方式带来新的灵活性。
GitHub Copilot作为微软推出的AI编程助手，目前可集成于Visual Studio Code、CLI等工具，根据代码上下文生成补全、解释或重构建议。其现有机制依赖云端托管模型，由协调器根据性能、成本与准确性路由请求。微软计划在本月底扩展该机制，允许Copilot自动选择云端模型与本地AI模型，并在后台协调推理任务。
在具体操作层面，微软为GitHub Copilot用户提供两种模式：自动编排或强制使用设备端模型。用户可在GitHub Copilot CLI、Copilot应用与Visual Studio Code中设置偏好。本地模型选择支持指定提供程序、模型或端点，开发者可通过Windows ML选择MAI Code 1.1 Flash，或连接OpenAI兼容的本地端点并选用其暴露的模型。
伴随此次更新，微软推出MAI Code 1.1 Flash“混合专家”模型，总参数1370亿，活跃参数68亿，采用量化与推测解码技术优化响应速度与内存占用。该模型在Surface Laptop Ultra上的本地推理吞吐量最高可达每秒63词元，为本地AI编程辅助提供了性能参考。