您当前的位置:首页 >  快讯  > 正文
英语是便宜的语言 缅甸的掸语是英语的15倍
来源:中关村在线     时间:2023-07-31 10:45:03


(资料图)

近期研究发现,用户所使用的语言对于大型语言模型(LLM)的费用有显著影响,可能导致英语使用者和其他语言使用者之间的人工智能鸿沟。研究显示,由于某些服务采用的服务器成本衡量和计费方式,英语输入和输出的费用远低于其他语言。其中,简体中文的费用约为英语的两倍,西班牙语是英语的1.5倍,而缅甸的掸语则是英语的15倍。 一位名为Dylan Patel的网友分享了一张照片,展示了一项由牛津大学进行的研究。该研究发现,让一个LLM处理一句缅甸语句子需要198个词元,而同样的句子用英语写只需要17个词元。词元代表了通过API访问LLM所需的计算力成本,这意味着缅甸语句子使用这种服务的成本比英语句子高出11倍。 词元化模型(即人工智能公司将用户输入转换为计算成本的方式)意味着,除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构(无论是从语法还是字符数量上),导致它们需要更高的词元化率。例如,“你的爱意”在英语中只需要两个词元,但在简体中文中需要八个词元,尽管简体中文文本只有4个字符,而英文有14个字符。

标签:

相关新闻

X 关闭

X 关闭

精彩推荐