Aaron Lau(韩栖)

9.11 和 9.9 —— 大模型的算术

Aaron Lau(韩栖)228 字

拿「9.11 跟 9.9 哪个大」去问大模型,能筛掉一批模型:「没想到“9.11 跟 9.9 哪个大”这个问题是可以对大模型进行大浪淘沙的」。

数字在分词器里常被切成几段,9.11 变成 9、.、11,模型拿到的是一串符号,未必是一个完整的小数。要比较大小,得先把它还原成十进制数,再做位数对齐;这一步没做好,9.11 就会被当成比 9.9 长、比 9.9 大。

训练数据里,9.11 更多出现在日期和版本号里,跟大小比较无关;模型按 token 序列判断,位数一多就容易按字符串比。让它调用计算器或写一行代码,结果就对了;不调用工具时,模型只能靠 token 猜。加法、排序、日期计算都走同一条 token 序列的路径。

AI