大家好,这里是顶尖架构师栈!点击上方关注,添加“星标”,切勿错过每日干货分享,一起学习大厂前沿架构!
Transformer 已经成为了前沿人 AI 技术的代名词,尤其是在自然语言处理(NLP)这一领域。
那么,是什么使得 Transformer 能够如此高效准确地掌握语言的复杂性呢?
让我们一起深入探索 Transformer 架构的核心原理。
但在此之前,不妨先看看它的应用场景。无论是你使用的谷歌翻译还是 ChatGPT,它们背后的强大功能都离不开 Transformer。
谷歌翻译:这个被广泛使用的工具在很大程度上依靠 Transformer 技术,实现了对超过 100 种语言的快速准确翻译。它能够考虑到整个句子的上下文,而非仅仅是单个词语,使得翻译结果更加自然流畅。
Netflix 推荐系统:Netflix 是如何精准推荐你可能喜欢的电影和电视剧的?答案是通过分析你的观看历史和其他用户的数据,Transformer 能够识别出模式和联系,最终向你推荐个性化的内容。
概览:编解码器交响
想象一个特殊的工厂,它不是在组装物理产品,而是在加工处理语言。这个工厂主要由两个部分组成:
编码器:解码输入迷宫
编码器的旅程从 “输入嵌入” 开始,此过程中,每个单词都从文本形态转换为数值向量,就好像给每个单词配上了一个独一无二的身份证。
以这个例子为例:
输入文本:例如,“The cat sat on the mat.”
在输入嵌入层,每个单词都被翻译成一个数值向量,就像在一个庞大的字典里,每个单词都有一个对应的 “向量地址”。
这些向量不仅捕捉了单词的含义,还包括:
向量表示如下:
但编码器的工作远不止于此,它还使用了一些关键技术来进一步深入。
自注意力机制是其中的革命性创新。想象为对每个单词打开一束聚光灯,这束光不仅照亮了该单词,还揭示了它与句中其他单词的联系。这让编码器能够理解文本的全貌 —— 不只是孤立的单词,还有它们之间的联系和细微差别。
再次以句子 “The quick brown fox jumps over the lazy dog.” 为例:
首先,每个单词都转换成了一个数值表示,称为 “词嵌入”,就像在一个巨大的词库地图上给每个单词定位。
接下来,自注意力机制为每个单词生成了三个特殊的向量:“查询(Query)”(询问我需要什么信息)、“键(Key)”(标示我有什么信息)和 “值(Value)”(实际的含义和上下文)。
然后,通过比较每个单词的 “查询” 向量与其他所有单词的 “键” 向量,自注意力层评估了各个单词之间的相关性,并计算出注意力得分。这个得分越高,表示两个单词之间的联系越紧密。
最后,自注意力层根据注意力得分加权处理 “值” 向量,这就像根据每个单词与当前单词的相关度,取了一个加权平均值。
通过考虑句中其他单词提供的上下文,自注意力机制为每个单词创建了一个新的、更丰富的表示。这种表示不仅包含了单词本身的含义,还有它如何与句中其他单词关联和受到影响。
多头注意力机制(Multi-Head Attention)可以被理解为有多个分析小组,每个小组关注于词与词之间联系的不同层面。这使得编码器能够全面捕获词义之间的多元关系,从而深化其对语句的理解。
还是以句子:“The quick brown fox jumps over the lazy dog.”为例。
在多头注意力机制中,不同于只使用一个自我关注机制,我们有多个独立的 “头部”(通常是 4 到 8 个)。每个头部都针对每个词分别维护一套查询(Query)、键(Key)和值(Value)向量。
这种机制下的注意力是多样化的:每个头部根据不同的逻辑计算注意力得分,聚焦于词间关系的不同方面:
通过结合这些不同头部的观点,每个头部的输出被汇总,综合不同的洞察力。
最终,这种综合的表示形式包含了对句子更加丰富的理解,涵盖了词与词之间的多样化关系,而不仅仅是单一视角。
位置编码(Positional Encoding)是为了补充 Transformer 无法直接处理词序的不足,加入了每个词在句中位置的信息。可以想象成给每个分析员一张地图,指示他们应该如何按顺序审视词汇。
继续以句子:“The quick brown fox jumps over the lazy dog.” 为例,来看位置编码是如何工作的:
首先,每个词(如 “The”,“quick” 等)都被转换成一个唯一的数字向量,这就是所谓的单词嵌入,可以看作是在庞大的词库中为每个词分配的唯一标识。
接着,每个词的嵌入会和一个基于其在句中位置计算出的额外向量结合。这些位置向量通过正弦和余弦函数生成,能够反映词之间的远近关系。
这样,每个词的原始向量与其位置向量相加,形成了一个既含有词义也含有位置信息的新向量。
即便句子的顺序变化,位置向量也能保持词之间的相对位置关系,使得模型能准确理解词与词之间的连接。
前馈网络(FFN,Feed Forward Network)为模型增添了一层非线性处理,使其能够学习到更为复杂的单词间关系,这些关系可能单凭注意力机制难以捕捉。
通过前面几层的分析,你已经深入理解了句中单词的含义、它们之间的联系以及它们的位置。现在,FFN 就像是一只侦探用的放大镜,准备揭示那些不立即显现的复杂细节。
FFN 通过以下三个关键步骤来实现这一目标:
应用到我们的句子上:
想象 FFN 帮助识别 “quick” 和 “brown” 不仅描述了 “fox”,还通过它们联合的含义巧妙地与 “fox” 的速度感联系起来。
或者,它可能深入探究 “jumps” 和 “over” 之间的关系,理解这个动作和空间关系,超越了它们单独的定义。
重复、优化、再重复:自注意力、多头注意力等层被叠加并多次重复。每一次迭代,编码器都在精细化其对输入文本的理解,构建出一个全面的文本表征。
解码器:编织输出挂毯
现在,轮到解码器承担任务。与编码器不同的是,解码器面临着额外的挑战:在不预见未来的情况下,逐字生成输出。为此,它采用了以下策略:
此外,每一层涉及的复杂数学运算超出了本解释的范围。
但希望这能让你基本理解 Transformer 如何工作,以及它们是如何彻底改变自然语言处理(NLP)领域的。
因此,当你下次遇到流畅的机器翻译或对 AI 驱动的文本生成器的创意赞叹时,请记住 Transformer 内部编码器与解码器之间的精妙互动,它们是如何通过注意力机制和并行处理技术共同织就这场魔法的。
论文链接:https://arxiv.org/abs/1706.03762
原文链接:https://nintyzeros.substack.com/p/how-do-transformer-workdesign-a-multi