快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 11-11 · 星期三 · 11-11 08:56 约 1 分钟读完

谷歌Android Bench新增两国产模型跑分:Kimi K3.1 Pro通过率24%,DeepSeek V4.1 Flash成本仅9.9美元

摘要

谷歌Android Developers首次公开Android Bench上OpenAI GPT-6.1 Terra、Kimi K3.1 Pro与DeepSeek V4.1 Flash的跑分。Kimi K3.1 Pro长程任务通过率24.0%,单次成本317.4美元;DeepSeek V4.1 Flash通过率17.3%,单次成本仅9.9美元,成本差距显著。

谷歌Android Bench新增两国产模型跑分:Kimi K3.1 Pro通过率24%,DeepSeek V4.1 Flash成本仅9.9美元
图片来源:IT之家

谷歌Android Developers官方账号于11月10日在X平台发布推文,首次对外披露三款模型在Android Bench基准上的评测成绩,涉及OpenAI GPT-6.1 Terra、Kimi K3.1 Pro以及DeepSeek V4.1 Flash。该基准由谷歌面向Android开发场景设计,重点衡量模型在应用创建、功能开发、代码迁移与应用转换等真实工程任务中的表现,而非通用能力测试。

在新增的Kimi K3.1 Pro方面,该模型通过kimi-code智能体参与评测,在30项长程任务中取得24.0%的通过率,平均完成度达82.3%,平均耗时27.4小时,单次基准运行成本为317.4美元(约合2123元人民币)。横向来看,这一成绩超过GPT 6 Astra、Claude Fable 5.1与Gemini 4 Argon,但低于GPT 6.1 Terra的28.7%。

DeepSeek V4.1 Flash 1017则借助opencode智能体完成评测,通过率为17.3%,平均完成度71.2%,平均耗时12.0小时,单次基准运行成本仅9.9美元(约合66.2元人民币)。

从数据对比可见,两款国产模型在通过率上均未超过GPT-6.1 Terra,但DeepSeek V4.1 Flash以不足Kimi K3.1 Pro三十分之一的单次成本完成评测,耗时也缩短逾一半,成本与效率的权衡成为此次榜单披露中最值得关注的维度之一。

Android BenchKimi K3.1 ProDeepSeek V4.1 Flash谷歌
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词