研究揭示非英语提示token成本更高,最高相差17倍
摘要
AI语言公平研究联盟上月发布研究指出,非英语提示消耗的token量显著高于英语,形成隐性token税。互联网前20种语言中成本差距达1.5至5倍,扩展至200种语言后差距最高扩大17倍,推高小语种用户的成本与延迟。
AI语言公平研究联盟(Coalition for Language Equity in AI Research)上月发布的一项研究显示,主流AI模型在处理非英语提示时,所需token数量普遍高于英语,研究人员将这一现象称为隐性token税,即小语种用户在使用AI服务时承担了更高的成本。
研究覆盖互联网使用最广泛的20种语言,发现token消耗量存在明显差异:成本最高语言所需的token数量,是成本最低语言的1.5至5倍。当研究范围扩大至200种语言后,差距进一步拉大,某一AI模型的token成本差距最高扩大至17倍。
研究以具体场景说明这一差异:位于印度班加罗尔的初创企业,可能要为每次提示和补全支付额外费用,而其位于美国奥斯汀的竞争对手则无需承担这部分支出。token税的影响并不局限于账单金额。token数量越多,响应延迟越高,模型可用的有效上下文容量也相应减少。
研究指出,在计算资源与网络连接本就有限的地区,上述成本与性能惩罚最为突出。token层面的不公平,正在限制更多地区参与AI经济的范围。
本文由新大陆基于公开信息编辑整理
信息来源:Solidot Solidot原文 ↗