查看: 3|回复: 0

大模型怎么知道谁先谁后?聊聊 RoPE 位置编码

[复制链接]
发表于 1 小时前 | 显示全部楼层 |阅读模式
🧠 模型本质上是个"词袋",不给位置信息,它读"我打你"和"你打我"完全一样。
🔍 没有位置,句子就成了一锅乱炖
Transformer 的注意力天生"无序":它把每个词和其他词两两算相似度,谁前谁后它根本不知道。所以必须额外塞一个序号进去,这就是位置编码。
✅ 老办法:给每个位置发号码牌
最早的思路是正弦编码,偶数维用 sin、奇数维用 cos,不同位置频率不同。缺点是它靠"加"进词向量,和语义混在一起,长度外推很吃力——训练只见过 2048,来了 4096 就发懵。
💡 新办法:把句子旋转一个角度
RoPE 的做法很漂亮:不去加,而是按位置把 query 和 key 旋转一个角度。
  • ✔ 位置 m 转 mθ,位置 n 转 nθ
  • ✔ 两者做内积,夹角差正好是 (m−n)θ
  • ✔ 注意力只跟相对距离有关,跟绝对位置脱钩

⚡ 好处到底在哪
相对位置天然可外推,扩长上下文只要调底数;旋转又是正交变换,不改变向量长度,数值更稳。所以现在主流开源模型几乎清一色用它。


位置编码不是给词编号,是给"距离"留了一把尺子。

💬 互动一下:你觉得模型是真"理解"了顺序,还是只学会了在某个角度上对齐?评论区聊聊。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号
免责声明|Archiver|手机版|小黑屋|半导贴吧

相关侵权、举报、投诉及建议等,请发 E-mail:1152577621@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|渝ICP备2024033348号|渝ICP备2024033348号-1

在本版发帖
关注公众号
QQ客服返回顶部