AI服务的使用成本并非全球统一。人工智能语言公平研究联盟上月发布的一项研究显示，AI模型在处理不同语言文本时，所消耗的Token数量存在显著差距，这一差异正以隐性成本的形式转嫁给非英语用户。相关情况由外媒Rest of World于当地时间28日报道。

Token是AI模型处理文本、图像或音频等数据的基本单位，由分词器对输入内容进行拆分后生成。研究发现，即便在互联网上最常用的20种语言之间，Token消耗量也已出现明显分化，最高者达到最低者的1.5至5倍。当测试范围扩展至200种语言时，差距进一步拉大，其中一个AI模型的不同语言Token消耗量最多相差17倍。研究人员将这种因语言不同而产生的额外成本称为隐性的“分词器税”，网络内容较少的语言受影响尤为突出。

分词器税的影响不止于账单。Token消耗越多，模型响应速度越慢，可有效处理的上下文内容也相应减少。对于计算资源与网络条件本就有限的地区，这种叠加效应更为明显。研究以班加罗尔一家初创企业为例指出，其每次向AI输入指令并获取回答的成本，都可能高于奥斯汀的竞争对手。

在研究者看来，分词处理上的不平等正在限制部分人群参与AI经济的机会。印度首家专注AI投资的风险投资基金Activate AI联合创始人普拉蒂尤什·乔杜里亦就非英语语言使用者的处境发表了看法。这一发现意味着，语言差异正成为AI普惠进程中一道不易察觉却真实存在的门槛。