除了处理词汇之外，PyTorch还有一个可以处理可变长度序列的特性! 2. 处理可变长度序列 你听说过循环神经网络是如何处理可变长度序列的吗?有没有想过如何实现它?...由于每个句子中的单词数量不同，我们通过添加填充标记将可变长度的输入句子转换为具有相同长度的句子。 填充是必须的，因为大多数框架支持静态网络，即架构在整个模型训练过程中保持不变。...不仅如此，PyTorch还为文本到语音、对象检测等任务提供了预训练模型，这些任务可以在几行代码内执行。 不可思议,不是吗?这些是PyTorch的一些非常有用的特性。...两个特殊的标记(称为unknown和padding)将被添加到词汇表中 unknown标记用于处理词汇表中的单词 padding标记用于生成相同长度的输入序列 让我们构建词汇表，并使用预训练好的嵌入来初始化单词...最后，让我们详细了解用于构建体系结构的不同层及其参数 嵌入层:嵌入对于任何与NLP相关的任务都是非常重要的，因为它以向量格式表示一个单词。嵌入层创建一个查找表，其中每一行表示一个单词的嵌入。
我们的模型可能在这个句子上表现的还不错，但是，如果利用了下面两个事实，模型会表现更佳： 我们发现数学家和物理学家在句子里有相同的作用，所以在某种程度上，他们有语义的联系。...当看见物理学家在新句子中的作用时，我们发现数学家也有起着相同的作用。 然后我们就推测，物理学家在上面的句子里也类似于数学家吗？这就是我们所指的相似性理念：指的是语义相似，而不是简单的拼写相似。...它们在一些潜在语义上是相似的，但是对我们来说无法解释。 2. Pytorch中的词嵌入 在我们举例或练习之前，这里有一份关于如何在Pytorch和常见的深度学习中使用词嵌入的简要介绍。...与制作 one-hot 向量时对每个单词定义一个特殊的索引类似，当我们使用词向量时也需要为每个单词定义一个索引。这些索引将是查询表的关键点。意思就是，词嵌入被被存储在一个 ? 的向量中，其中 ?...是单词 ? 的嵌入。 在 Pytorch 中，通过填充下面的类来实现这个模型，有两条需要注意： 考虑下你需要定义哪些参数。 确保你知道每步操作后的结构，如果想重构，请使用.view()。
这些值，永远不会出现在循环神经网络的训练过程中，可以帮助我们建立动态的循环神经网络。 3. 包装和预训练的模型 Pytorch正在推出先进的框架。...这里有一个简单的关于我们要用到的包的概览： Torch包是用来定义tensor和tensor上的数学运算； TorchText包是PyTorch中NLP的库，包含一些预处理的脚本和常见的NLP数据集。...我们建立起vocabulary，用预训练好的词嵌入来初始化单词成向量。如果你想随机初始化词嵌入，可以忽略向量的参数。 接下来，准备训练模型的batch。...嵌入层：对于任何NLP相关的任务，词嵌入都很重要，因为它可以应用数字形式表示一个单词。嵌入层得到一个查询表，其中每一行代表一个词嵌入。嵌入层可以把表示文本的整数序列转化为稠密向量矩阵。...嵌入层的两个重要的参数： num_embeddings：查询表中，单词的的个数； embedding_dim：表示一个单词的向量维度。 LSTM：LSTM是RNN的一个变体，可以学习长的依赖关系。
可以在 Anaconda 中通过在命令行中输入以下内容来安装 PyTorch： conda install torch torchvision -c pytorch 要检查 PyTorch 是否正常工作...第二部分：自然语言处理基础 在本节中，您将学习构建自然语言处理（NLP）应用的基础知识。 您还将在本节中学习如何在 PyTorch 中使用各种 NLP 技术，例如单词嵌入，CBOW 和分词。...尽管嵌入的维数足够高以表示单个单词，但它们通常不超过几百个维。 此外，BOW 向量通常非常稀疏，主要由零组成，而嵌入则包含大量数据，并且每个维度都有助于单词的整体表示。...例如，形容词通常在英语名词之前。 我们可以在模型中使用这些词性及其相互之间的关系。 例如，如果我们要预测句子中的下一个单词，并且上下文单词是形容词，则我们知道下一个单词为名词的可能性很高。...有一些示例中的大写字母实际上可以提供其他语义信息。 例如， May（五月）和may（意味着可能）在语义上有所不同， May（五月）将始终是大写。
在大多数情况下，定冠词(the)与句子中其他词的解释不太相关；因此，我们可能会最终得到一个包含所有其他单词的低的或负的点积值的嵌入 。...显然，我们希望我们最先进的语言模型至少对单词顺序有一些敏感性，因此需要修复这一问题。 解决方案很简单：我们创建一个等长的第二个向量，它表示单词在当前句子中的位置，并将其添加到单词嵌入中。...我们将一系列单位的集合 (例如：单词，字符，图像中的像素，图中的节点) 作为输入，并通过注意矩阵的稀疏性指定我们认为相关的单位。...当我们处理完该批次时，执行单步的梯度下降，并将梯度归零。在Pytorch中，这很容易：你觉得你的训练循环中的 optimizer.zero_grad() 调用似乎是多余的吗？...与卷积或LSTMs不同，当前对它们 能力的限制完全取决于我们可以在GPU内存中放置的模型有多大以及我们可以在一段可靠的时间内推送多少数据。
我们可以下载和使用已经存在的词嵌入，如 word2vec 或 GLoVE。但在本例中，我们从零开始学习一个词嵌入。我们从随机生成的词嵌入开始，并探索我们的网络在完成训练时从单词中学到了什么。...词嵌入的可视化 让我们来看看图说解码器所学习到的词嵌入空间（不像其他语言任务中有数百万个单词和句子，我们的解码器在训练数据集中只看到了大约 3 万个句子）。 ?...查找与输入图像相似的图像 对于查找相似单词的任务，我们受限于在测试集词汇表中寻找相似的单词（如果测试集中不存在某个单词，我们的图说解码器就不会学习该单词的嵌入）。...然而，对于类似的图像任务，我们有一个图像表示生成器，它可以接收任何输入图像并生成其编码。...我们是这样做的： 步骤 1：首先输入的是一个完全随机的 300 维张量，而不是一个来自编码器的 300 维图像表示； 步骤 2：冻结整个网络的所有层（例如引导 PyTorch 不要对梯度进行计算）； 步骤
我使用 PyTorch modelzoo 中可用的 Inception 网络，该网络在ImageNet 上进行了训练，可以对 100 个类别的图像进行分类，并使用它来提供一个可以输入给递归神经网络中的表示...将单词字典转换成数字表示的过程称为词汇嵌入 (或词汇表示)。 我们可以下载和使用已经存在的词汇嵌入，如 word2vec 或 GLoVE。但在这个示例中，我们从头开始学习词汇嵌入。...我们从随机生成的词汇嵌入开始，探索在训练结束时，网络对单词的了解。 由于我们无法想象 100 维的数字空间，我们将使用一种称为 t-SNE 的奇妙技术来在 2维中可视化学习的词汇嵌入。...词汇嵌入的可视化 让我们来看看 caption decoder 学习到的词汇嵌入空间 (不像其他语言任务有数百万单词和句子，我们的解码器在训练数据集中只有 ~30k 的句子)。 ?...查找与输入图像相似的图像 对于查找相似单词任务，我们被限制在测试集词汇表中寻找相似的单词 (如果测试集中不存在某个单词，我们的 caption decoder 就不会学习它的嵌入)。
在本教程中，我们将使用BERT从文本数据中提取特征，即单词和句子的嵌入向量。我们可以用这些词和句子的嵌入向量做什么？首先，这些嵌入对于关键字/搜索扩展、语义搜索和信息检索非常有用。...s tokenizer中的token id 掩码id，以指示序列中的哪些元素是令牌，哪些是填充元素 段id用于区分不同的句子 用于显示令牌在序列中的位置嵌入 幸运的是，这个接口为我们处理了这些输入规范中的一些...因此，不是将词汇表中的单词分配给诸如“OOV”或“UNK”之类的全集令牌，而是将词汇表中没有的单词分解为子单词和字符令牌，然后我们可以为它们生成嵌入。...我们甚至可以平均这些子单词的嵌入向量来为原始单词生成一个近似的向量。 下面是词汇表中包含的一些令牌示例。以两个#号开头的标记是子单词或单个字符。...平均嵌入是最直接的解决方案(在类似的嵌入模型中依赖于子单词词汇表(如fasttext))，但是子单词嵌入的总和和简单地使用最后一个token嵌入(记住向量是上下文敏感的)是可接受的替代策略。
项目 1：自动完成功能 ---- 传统上，自动完成是通过键值查找来实现的，在键值查找中，将用户输入的不完整单词与字典进行比较，并给出潜在单词。 然而，使用机器学习，自动完成可以更进一步。...fastText 是一个使用单词嵌入来理解语言的模型。...在我关于将 fastText 部署为 API 的教程中，我简要解释了使 fastText 如此特殊的原因： 单词嵌入将单词表示为浮点数的 n 维向量，其中每个数字表示单词含义的一个维度。...使用单词向量，你可以根据单词的语义来「映射」单词——例如，如果你从「king」的向量中减去「man」的向量，再加上「woman」，你将得到「queen」的向量。...例如，如果我在监控 cortex，我怎么知道「cortex」这个词在给出的评论中是指开源平台，而不是一个人大脑的前额叶皮层？ 这就是机器学习发挥作用的地方。 我应该用什么模型？
我们不需要，但当您说p=0.5时，PyTorch 会执行两件事。它会丢弃一半的激活，并将所有已经存在的激活加倍，以使平均激活不变。 在 Fast.ai 中，您可以传递ps，这是所有添加层的p值。...问题：对于嵌入矩阵的维度有好的启发吗？我有！让我们看一看。...在自然语言处理中，你会发现有一些特定的问题可以解决，它们有特定的名称。...我们可以压缩评分，使其在 1 和 5 之间吗？可以！通过将预测通过 sigmoid 函数，将得到 1 和 0 之间的数字。...现在我们有了神经网络，我们可以尝试很多事情： 添加丢弃 为用户嵌入和电影嵌入使用不同的嵌入大小 不仅用户和电影嵌入，还可以附加电影类型嵌入和/或原始数据中的时间戳。
下游应用程序：本节，我们将重点介绍预训练的表示是如何被用在不同的下游任务中的，例如文本分类、自然语言生成、结构化预测等等。 开放问题和方向：在最后一节中，我们将提出对未来的展望。...探测表层特征 给定一个句子，预测属性如 长度 这个句子里有一个单词吗？...给出句子中的单词的预测属性，例如： 以前见过的词，与语言模型形成对比 词在句子中的位置 检查记忆的能力 训练有素的、更丰富的体系结构往往运行得更好 在语言数据上训练能记忆的更好 Zhang et al....探测性能告诉我们什么？ 很难综合各种基线的结果… 它本身会带来一些复杂性吗 线性或非线性分类 行为：输入句子的设计 我们应该使用 probe 作为评估指标吗?...few-shot场景，并且只学习了几个适应步骤 偏见 偏见已经被证明普遍存在于单词嵌入和一般的神经模型中 大型预训练的模型必然有自己的一套偏见 常识和偏见之间的界限很模糊 我们需要在适应过程中消除这种偏见
此外， NLP领域的一些开源社区已经发布了很多强大的组件，我们可以在自己的模型训练过程中免费的下载使用。...诸如Word2vec和Glove 等方法已经广泛的用于处理这些问题，在我们使用新的词嵌入之前，我们有必要回顾一下其发展。...另外还能捕获到一些语法的关系，这个在英语中很实用。例如“had”与“has”的关系如同“was”与“is”的关系。...ELMo会训练一个模型，这个模型接受一个句子或者单词的输入,输出最有可能出现在后面的一个单词。想想输入法，对啦，就是这样的道理。这个在NLP中我们也称作Language Modeling。...，比如 给出一个维基百科的内容作为输入，同时在放入一条针对该条目的问题，那么我们的算法模型能够处理这个问题吗？
，并且距离很近 我们在使用时，只需选取英文单词在嵌入空间中距离最近的德语单词，就可以获得对应的翻译 [无监督单词翻译] 词嵌入有很多结构 假设：不同语言之间的结构应该相似 补充讲解 即使是运行两次 word2vec...会获得不同的词嵌入，嵌入空间的结构有很多规律性 如上图所示，是英语与意大利语的词嵌入，矢量空间看上去彼此十分不同，但是结构是十分相似的 可以理解为，在英语词嵌入空间中的 cat 与 feline 的距离与意大利语词典如空间中的...gatto 和 felino 之间的距离是相似的 我们在跨语言的词嵌入中想要学习不同种语言的词嵌入之间的对齐方式 [无监督单词翻译] 首先在单语语料库上运行 word2vec 以得到单词嵌入 X 和...补充讲解 可以喂给 encoder 一个英文句子，也可以喂一个法语句子，从而获得 cross-lingual embeddings ，即英文句子和法语句子中各个单词的词嵌入，这意味着 encoder...的词嵌入来初始化，即其中的英语和法语单词应该看起来完全相同 补充解释 共享编码器 例如我们以一个法语句子作为模型的输入 由于嵌入看起来非常相似，并且我们使用的是相同的 encoder 因此 encoder
这些索引需要以其他格式表示，让模型可以计算一些有意义的东西。一种更好的表示单词的方法是词嵌入。 词嵌入用N维向量表示每个单词。相似单词具有相似词嵌入，在N维嵌入空间中距离相近。...将输入句子表示为词嵌入序列后，可以传入编码器的循环层。 编码器架构 上述嵌入过程通过一个嵌入层完成。整个编码器的架构如下图所示。 ? 从上图我们可以看到，输入张量通过嵌入层之后，到达双向RNN层。...获取嵌入输入张量后，RNN逐步处理序列中的每一项（单词）。在每次迭代中，输出一个长度等于编码器隐藏尺寸的编码向量。RNN并行处理批次中的每个样本。...还可以和不带注意力机制的简单编码器-解码器网络比较一下，看看表现是否优于不带注意力机制的架构，如果优于不带注意力机制的架构，那么是在哪些情况下？ 我们选择的架构和PyTorch教程中的模型略有不同。...一些改进也许可以弥合这一差异。首先，PyTorch有内置的处理补齐序列的函数，这样循环单元不会看到补齐项。这可能提高模型的学习能力。其次，第二个数据集没有处理成token，只是直接移除了标点。
使用单词嵌入技术（例如 Word2Vec），与相似概念对应的单词通常在嵌入空间中彼此靠近。例如，不同类型的鸟类在嵌入空间中彼此比国家和城市更接近。 单词嵌入的维度可以有不同的范围，从一维到数千维不等。...图 2.12 给定一个文本样本，提取作为 LLM 输入的子样本的输入块，并且在训练期间，LLM 的预测任务是预测跟随输入块的下一个单词。在训练中，我们屏蔽所有超过目标的单词。...在我们可以将标记转换为嵌入之前，还有最后一个任务，正如我们在本章开头所提到的：实现一个高效的数据加载器，迭代输入数据集并返回 PyTorch 张量作为输入和目标。...这些值在 LLM 训练过程中作为 LLM 优化的一部分而被优化，我们将在后续章节中看到。此外，我们可以看到权重矩阵有六行和三列。词汇表中的每个可能的标记都有一行。这三个嵌入维度中的每个维度都有一列。...我们在标记化数据上使用滑动窗口方法生成用于 LLM 训练的输入-目标对。 PyTorch 中的嵌入层作为查找操作，检索与标记 ID 相对应的向量。
探测表层特征 给定一个句子，预测属性如 长度 这个句子里有一个单词吗？...给出句子中的单词的预测属性，例如： 以前见过的词，与语言模型形成对比 词在句子中的位置 检查记忆的能力 训练有素的、更丰富的体系结构往往运行得更好 在语言数据上训练能记忆的更好 Zhang et al....探测性能告诉我们什么？ 很难综合各种基线的结果… 它本身会带来一些复杂性吗 线性或非线性分类 行为：输入句子的设计 我们应该使用 probe 作为评估指标吗?...Li et al., 2016 逐步删除或屏蔽网络组件 词嵌入维度 隐藏单位 输入——单词/短语 表示捕捉到了什么？ 这要看你怎么看了!...few-shot场景，并且只学习了几个适应步骤 偏见 偏见已经被证明普遍存在于单词嵌入和一般的神经模型中 大型预训练的模型必然有自己的一套偏见 常识和偏见之间的界限很模糊 我们需要在适应过程中消除这种偏见
Flair 具有简单的界面，允许使用和组合不同的单词和文档嵌入，包括 Flair 嵌入、BERT 嵌入和 ELMo 嵌入。...该框架直接构建在 PyTorch 上，可以轻松地训练自己的模型并使用 Flair 嵌入和类库来试验新方法。 6、AllenNLP 10.8k GitHub stars....AllenNLP 提供了一种高级配置语言来实现 NLP 中的许多常见方法，例如transformer、多任务训练、视觉+语言任务、公平性和可解释性。...它可以接收原始的人类语言文本输入，并给出单词的基本形式、词性、公司名称、人名等，规范化和解释日期、时间和数字量，标记句子的结构 在短语或单词依赖方面，并指出哪些名词短语指的是相同的实体。...Word forms可以准确地生成一个英语单词的所有可能形式。 它可以连接不同的词性，例如名词与形容词、形容词与副词、名词与动词等。 19、Rosetta 420 GitHub stars.
由于词汇表有很多单词，这将产生非常宽的编码向量，这可能不太实用。我们将在下一节看到，在单词级别表示文本有一种更有效的方法，即使用嵌入。现在，让我们继续使用独热编码，看看会发生什么。...然而，正如我们预料的那样，当要编码的项目数量实际上是无限的时，独热编码开始失效，就像语料库中的单词一样。在仅仅一本书中，我们就有超过 7,000 个项目！...这样做是可以的，因为我们可以将一个非常庞大的词汇表压缩到只有 100 个数字，但它将放弃基于含义或上下文的单词之间距离的概念。使用这种单词嵌入的模型将不得不处理其输入向量中的非常少的结构。...一个理想的解决方案是以这样一种方式生成嵌入，使得在相似上下文中使用的单词映射到嵌入的附近区域。...例如，如果我们取苹果的嵌入向量，并开始加减其他词的向量，我们可以开始执行类似苹果-红色-甜+黄色+酸的类比，最终得到一个与柠檬的向量非常相似的向量。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
