在类似ChatGPT的模型中，嵌入（embeddings）扮演着什么角色？（第二部分）

（接上文）

嵌入的重要性

嵌入在转换器（transformer）的运行中起着至关重要的作用。当讨论基于语言转换器的平台（如ChatGPT）时，理解转换器是一个关键概念。这些模型具有与其他机器学习模型不同的独特特性。与产生静态和不可变权重的其他模型不同，转换器具有可以在运行时更改的软权重，类似于动态类型的编程语言的 REPL（读取-求值-打印循环）。转换器模型中的嵌入创建了一个更低维度的新层，使得更大的高维向量具有韵律，从而实现更细致的数据分析，并提高模型对人类语言的分类和解释能力。

在这个背景下，维度性指的是数据的形状。通过创建一个低维空间来表示高维向量，嵌入可以增强模型分析复杂数据的能力。实质上，嵌入是改进软权重模型（如转换器）性能的关键工具，使其成为自然语言处理和其他机器学习应用的强大技术。

以下是嵌入非常重要的一些原因：

语义表示：嵌入捕捉输入数据的语义含义，便于比较和分析。这可以提高许多自然语言处理任务（如情感分析和文本分类）的性能。

较低的维度：嵌入创建了一个较低维度的空间来表示高维向量，使得处理大型输入更加容易，并降低了许多机器学习算法的计算复杂性。

可重用性：一旦创建了嵌入，它可以在多个模型和应用程序中重复使用，使其成为强大而高效的数据分析技术。

健壮性：嵌入可以在大型数据集上进行训练，并捕捉数据中的基本模式和关系，使其在许多行业应用中具有健壮性和有效性。

嵌入的类型

在深度神经网络中生成嵌入时，有许多不同的策略可供选择，每种策略都有其优点和缺点。选择策略完全取决于嵌入的目的以及使用的数据类型。无论是通过循环神经网络、卷积神经网络还是其他方法，选择正确的策略可以在创建准确捕捉数据底层语义含义的高质量嵌入方面起到关键作用。

文本嵌入

文本嵌入是一种将字符串转换为实数向量的技术。该过程创建了一个用于嵌入文本的空间，称为"嵌入空间"。文本嵌入与文本编码密切相关，后者将纯文本转换为标记。在情感分析中，文本嵌入块与数据集视图的文本编码集成在一起。需要注意的是，文本嵌入块只能在需要选择文本编码特征的输入块之后使用。此外，确保所选的语言模型与文本编码期间选择的语言模型相匹配非常重要。多个模型（如NNLM、GloVe、ELMo和Word2vec）旨在学习单词嵌入，即为每个实值单词提供特征向量。

图像嵌入

图像嵌入是一种分析图像并生成捕捉图像特征和特性的数值向量的过程。通常使用深度学习算法进行此过程，这些算法能够从图像中提取特征并将其转换为向量表示。此向量表示可以用于执行各种任务，例如图像搜索、物体识别和图像分类。

有多种图像嵌入技术可供选择，每种技术都针对特定任务进行了设计。一些嵌入技术需要将图像上传到远程服务器进行处理，而其他技术可以在用户的计算机上本地执行。SqueezeNet嵌入器就是一个可以在本地运行的技术示例，特别适用于无需互联网连接进行快速图像查看的场景。

常见的嵌入模型

主成分分析（PCA）

主成分分析（PCA）是一种常用于机器学习和数据分析的嵌入模型。PCA是一种降低数据集维度的技术，同时尽可能保留原始信息。它通过寻找一组线性不相关的变量，即主成分，来捕捉数据中的最大变化量。这些主成分可以被视为原始数据的低维表示，并可用作机器学习算法的输入特征。PCA是可视化和探索高维数据集的强大工具，可用于广泛的应用，包括图像和文本分析、数据压缩和特征提取。

SVD

奇异值分解（Singular Value Decomposition，SVD）是一种广泛应用于机器学习和数据科学等多个领域的数学技术。它是一种将矩阵分解为两个较小矩阵的方法，从而实现数据集中特征或维度的降低，即降维。

SVD通常应用于包含用户对不同项目（如电影、图书或产品）的评级信息的矩阵。在这种情况下，该矩阵被分解为两个较小的矩阵，称为嵌入。一个矩阵表示用户，另一个表示项目。这些嵌入捕捉了数据集中用户与项目之间的关系。例如，如果一个用户经常高评恐怖电影，他们的嵌入将更接近恐怖电影的嵌入，而不是浪漫喜剧的嵌入。同样地，如果两部电影具有相似的嵌入，它们可能会被推荐给同一用户。

通过将这些嵌入进行乘法运算，我们可以通过用户嵌入和项目嵌入的点积来预测用户对项目的评级，从而给出该项目的预测评级。点积越高，预测评级越高。

Word2Vec

Word2Vec是一个可以帮助理解单词之间关系的计算机程序。它通过将每个单词转换为称为"嵌入"的特殊代码来实现这一目标。

为了创建这些嵌入，Word2Vec会查看单词在句子中出现的频率。然后，它利用这些信息猜测其他应该出现在相同句子中的单词，类似于一个猜词游戏，你需要根据描述词来猜测朋友在思考的词。一旦Word2Vec进行了这些猜测，就会用它们来创建嵌入。经常在一起使用的单词将具有相似的嵌入。例如，"king"和"queen"之间的嵌入将相似，因为它们经常在句子中一起使用。这些嵌入可用于创建类比。例如，我们可以使用嵌入来回答问题："‘man’对应于‘woman’，那么‘queen’对应于什么单词？"答案是"king"。

总的来说，Word2Vec是一个有用的工具，可以帮助我们理解单词之间的关系。它的嵌入可以用于创建类比，并帮助计算机程序更好地理解人类语言。

BERT

BERT代表双向编码器表示的转换器（Bidirectional Encoder Representations of Transformers）。它是一种特殊的计算机程序，可以理解人类语言。

与Word2Vec等较旧的语言程序相比，BERT经过了两个阶段的训练。首先，BERT研究了来自维基百科等地方的大量文本，以了解单词之间的关系。然后，它经过第二阶段的训练，其中被教导了理解特定类型的文本，例如医学文章。BERT之所以特别，是因为它能够关注单词的上下文。例如，BERT可以区分"Let's play a game"中的"play"和"I'm going to see a play tonight"中的"play"。BERT通过考虑分析的每个单词之前和之后的单词来实现这一点。

总体而言，BERT擅长理解语言并预测句子中的下一个内容。这使其成为需要理解和生成类似人类文本的计算机程序的流行工具。

（未完待续）