上周末我在家点外卖，等了一个小时，打开 app 一看，骑手在小区门口绕了 3 圈。我心想：这哥们导航是不是坏了？后来发现，他走的路线比我用高德导的多了 1.2 公里。
这事让我想起之前死活搞不懂的一个东西——Transformer。网上那些文章，上来就“自注意力机制”、“多头注意力”，看得我头皮发麻。直到有天我在快递站看分拣员干活，突然就懂了。
你想想，快递站几百个包裹堆在一起，分拣员怎么干？他先瞄一眼面单，把“北京”的放左边，“上海”的放右边。碰到一个写着“朝阳区”的，他还会扫一眼其他包裹，看看有没有同路的，顺手放一起。这不就是“注意力”吗？每个包裹跟其他包裹比一比，找到最相关的，然后归类。
Transformer 干的事，一模一样。
它拿到一句话，比如“我昨天在公园看见一只猫，它特别胖”。Transformer 会干一件事：把每个词跟所有词配对，算算它们之间的“关联度”。“猫”跟“胖”关联度高，跟“我”就弱一点。有点像你在公司群里发消息，有人回你，有人不回，你自然知道谁跟你有关系。
这一步叫“自注意力”。自，就是自己跟自己玩，每个词跟句子里的其他词互相打量一遍。
但 Transformer 不只看一次。它看八次、十六次，从不同角度打量。这就叫“多头注意力”。什么意思呢？就像你看一个人，第一眼注意长相，第二眼注意穿着，第三眼注意他说话的语气。每次关注点不一样，合在一起你才知道这人靠不靠谱。Transformer 也是这样，一次看语义，一次看语法，一次看位置关系。
你可能会问，它怎么知道词的前后顺序？毕竟“我打你”和“你打我”完全是两码事。Transformer 有个小技巧，它给每个词加了个“位置编码”，就像给快递贴上序号，哪怕两个包裹长得一模一样，编号不同就知道谁先谁后。
这玩意儿最牛的地方在于，它能同时处理所有词，不用一个个排队等。以前的老模型 RNN，就像你在食堂排队打饭，一个人打完下一个才能上，慢得要死。Transformer 直接开八个窗口同时打饭，效率翻了好几倍。这也是为什么现在 ChatGPT 回你消息那么快，背后就是 Transformer 在狂飙。
回到那个外卖骑手，他要是用 Transformer 的思路，进小区门口先扫一眼所有楼栋的编号，把 1 栋、2 栋、3 栋在脑子里排个序，再规划最短路线，就不至于绕三圈了。可惜他没用。
我当初学 Transformer 的时候，看了四篇论文，三篇博客，每个都写“模型架构如图 1 所示”，配一张密密麻麻的连线图，直接劝退。后来我发现，你把它当成分拣员就简单了：输入一堆包裹，输出一堆按顺序分好的包裹。中间那些层啊、残差连接啊、层归一化啊，都是分拣员手里的小工具——有的用来加快速度，有的用来防止出错，跟你点外卖备注“不要辣”差不多意思。
现在你打开任何 AI 聊天工具，背后都跑着 Transformer。它翻译、写诗、编代码，甚至帮你写周报。但说穿了，它就是个超级分拣员，在词语的海洋里帮你把相关的捞出来，排好序。
下次再有人跟你聊 Transformer，你就说“我知道，就是那个快递分拣员”。对方要是愣住，你就把这篇文章甩给他。保准他看完之后，点外卖的时候都会多看骑手一眼。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现