新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

人工智能语言公平研究联盟发布的研究显示，不同语言在AI模型中的Token消耗量最高相差17倍，非英语用户面临更高费用和更慢响应。研究指出分词器主要按英语优化且训练数据不均等是原因，改善需专门改进下一代分词器设计。