快讯 23:19Alphabet三季度财报披露AI搜索变现能力偏低,股价跌近10%23:10研究揭示非英语提示token成本更高,最高相差17倍22:36Wiz 总结智能体攻击七大特征,多起真实入侵案例浮出水面 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期五 · 10-30 23:10 约 1 分钟读完

研究揭示非英语提示token成本更高,最高相差17倍

摘要

AI语言公平研究联盟上月发布研究指出,非英语提示消耗的token量显著高于英语,形成隐性token税。互联网前20种语言中成本差距达1.5至5倍,扩展至200种语言后差距最高扩大17倍,推高小语种用户的成本与延迟。

AI语言公平研究联盟(Coalition for Language Equity in AI Research)上月发布的一项研究显示,主流AI模型在处理非英语提示时,所需token数量普遍高于英语,研究人员将这一现象称为隐性token税,即小语种用户在使用AI服务时承担了更高的成本。

研究覆盖互联网使用最广泛的20种语言,发现token消耗量存在明显差异:成本最高语言所需的token数量,是成本最低语言的1.5至5倍。当研究范围扩大至200种语言后,差距进一步拉大,某一AI模型的token成本差距最高扩大至17倍。

研究以具体场景说明这一差异:位于印度班加罗尔的初创企业,可能要为每次提示和补全支付额外费用,而其位于美国奥斯汀的竞争对手则无需承担这部分支出。token税的影响并不局限于账单金额。token数量越多,响应延迟越高,模型可用的有效上下文容量也相应减少。

研究指出,在计算资源与网络连接本就有限的地区,上述成本与性能惩罚最为突出。token层面的不公平,正在限制更多地区参与AI经济的范围。

AI成本token经济语言公平多语言AI
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
24
完整版提示词