大模型为什么会数错字母？聊聊 Tokenizer 分词

生产队队长

🧠 你有没有发现：让 AI 数一数 "strawberry" 里有几个 r，它经常答错？不是它笨，而是它根本没看到一个完整的单词。
💡 词不是字，Token 才是基本单位
大模型读到的不是字母，而是被分词器切开的 Token。英文里 "strawberry" 常被切成 "str" + "aw" + "berry" 之类的块，字母 r 被拆散藏在不同的 Token 里，模型数起来自然容易翻车。
🔍 分词器是怎么切的？

• ✔ BPE（字节对编码）：从海量文本统计高频字母组合，逐步合并成词块，出现越频繁越容易成为完整 Token
• ✔ 中文一般 1~2 个字一个 Token，英文一个单词可能拆成 1~4 个 Token
• ❌ 生僻词、代码变量名、中英混排，最容易切出奇怪的小块
  

⚙️ 这对我们有什么影响？

• 🔒 数字母、倒序拼写这类"字符级"任务，天生吃亏
• ✔ 计费和上下文长度都按 Token 算，中文写长文反而更"省"
• ✔ 提示词里避免奇怪拼写，能减少被切碎的概率
  

---

一句话总结：模型的世界里没有字母，只有 Token；分词器切错了块，天才也会数错 r。

💬 互动一下：你还见过哪些 AI 的"低级失误"？数不清几个 w、算错简单算术？评论区聊聊你觉得最离谱的一个。