https://turingparty-ai.pages.dev/categories/ai-%E5%9F%BA%E7%A1%80/Recent content in AI 基础 on 图灵派对Hugozh-cnFri, 02 Jan 2026 00:00:00 +0000https://turingparty-ai.pages.dev/posts/20260102/Fri, 02 Jan 2026 00:00:00 +0000https://turingparty-ai.pages.dev/posts/20260102/<p>Transformer 是几乎所有现代大模型的基石。理解它的核心——自注意力机制（Self-Attention），是入门 AI 的必经之路。</p> <h2 id="核心思想">核心思想</h2> <p>一句话概括：<strong>让每个词都能&quot;看到&quot;句子中的所有其他词，并决定该关注谁。</strong></p> <p>传统的 RNN 只能按顺序处理文本，信息传递像接力赛。而自注意力让所有位置并行交互，效率和效果都大幅提升。</p> <h2 id="qkv-三剑客">Q、K、V 三剑客</h2> <ul> <li><strong>Query（查询）</strong>：我在找什么？</li> <li><strong>Key（键）</strong>：我有什么特征？</li> <li><strong>Value（值）</strong>：我的实际内容是什么。</li> </ul> <p>计算过程就是 Q 和 K 做点积算相似度，再用这个权重去加权 V，就得到了融合了上下文信息的新表示。</p> <p>就这么简单。剩下的多头注意力、位置编码都是在这个基础上的扩展。</p>