AI 研习社获得官方授权，汉化翻译卡耐基梅隆大学的11-747神经网络自然语言处理（2019春季），今天上线第二讲！...我们先来一睹为快—— 第二讲 简单练习 ：预测句子中的下一个单词 上手视频约 4 分钟 视频内容 翻译 | 孙稚昊 曹云 翻译 | 王和春 孙振维 黄伟聪 看完是不是不够过瘾！
总的来说，它的工作原理如下： 你训练一个模型来预测序列中的下一个单词 你给经过训练的模型一个输入 重复上面的步骤 n 次，生成接下来的 n 个单词 ?...首先，我们需要指向包含文章的文件夹，在我的目录中，名为「maelfabien.github.io」。 B.句子标记 然后，打开每一篇文章，并将每一篇文章的内容添加到列表中。...但是，由于我们的目标是生成句子，而不是生成整篇文章，因此我们将把每一篇文章拆分成一个句子列表，并将每个句子附加到「all_sentences」列表中： all_sentences= [] for file...像往常一样，我们必须首先对 y 进行 one-hot 编码，以获得一个稀疏矩阵，该矩阵在对应于该标记的列中包含 1，在其他位置包含 0： ?...我倾向于在几个步骤中停止训练，以便进行样本预测，并在给定交叉熵的几个值时控制模型的质量。 以下是我的结果： ? 3.生成序列 如果你读到这里，接下来就是你所期望的了：生成新的句子！
翻转一个句子中的单词 比如输入 this is a test 输出 test a is this 输入foobar 输出foobar 1 /* 2 本程序说明： 3 4 翻转一个句子中的单词...比如输入 this is a test 输出 test a is this 输入foobar 输出foobar 5 6 思路：先翻转整个句子，再针对每一个单词翻转之 7 8 */...index_start=++it; 27 } 28 } 29 reverse(index_start,sentence.end());//翻转最后一个单词
马尔可夫链的文本生成 马尔可夫链文本生成的思想与此相同，即试图找出某个词出现在另一个词之后的概率。为了确定转换的概率，我们用一些例句来训练模型。 打个比方，我们可以用下面的句子来训练一个模型。...然而，在“eat”这个词之后出现“oranges”或“apples”的概率是相等的。转换图如下： ? 这两个训练句子只能够产生两个新的句子。接下来，我用下面的四个句子训练了另一个模型。...它由两部分组成，一部分用于训练，另一部分用于生成。 训练 训练代码构建了我们稍后用于生成句子的模型。我用字典（给定句子的所有单词）作为模型; 以单词作为关键帧，并将选取下个单词的概率列表作为相应的值。...它首先选择一个随机的启动词，并将其附加到一个列表。然后在字典中搜索它下一个可能的单词列表，随机选取其中一个单词，将新选择的单词附加到列表中。...它继续在可能性的列表中随机选择下一个单词，重复此过程直到它到达结束词，然后停止循环，并输出生成的单词序列或者说鸡汤。
在最初为学院奖构建问答机器人时，我们实现了基于一个自定义函数的相似性搜索，该函数计算两个向量之间的余弦距离。我们将用一个查询替换掉该函数，以在Chroma中搜索存储的集合。...由于我们最感兴趣的是与 2023 年相关的奖项，因此让我们对其进行过滤，并创建一个新的 Pandas data frame 。同时,我们也将类别转换为小写，删除电影值为空的行。...，让我们在 dataframe 中添加一个包含整个提名句子的新列。...这将成为吸收数据时生成嵌入的默认机制。 让我们将 Pandas dataframe 中的文本列转换为可以传递给 Chroma 的 Python 列表。...由于 Chroma 中存储的每个文档还需要字符串格式的 ID ，所以我们将 dataframe 的索引列转换为字符串列表。
总的来说，它的工作原理如下： 你训练一个模型来预测序列中的下一个单词 你给经过训练的模型一个输入 重复上面的步骤 n 次，生成接下来的 n 个单词 ?...B.句子标记 然后，打开每一篇文章，并将每一篇文章的内容添加到列表中。...但是，由于我们的目标是生成句子，而不是生成整篇文章，因此我们将把每一篇文章拆分成一个句子列表，并将每个句子附加到「all_sentences」列表中： all_sentences= [] for file...像往常一样，我们必须首先对 y 进行 one-hot 编码，以获得一个稀疏矩阵，该矩阵在对应于该标记的列中包含 1，在其他位置包含 0： ?...我倾向于在几个步骤中停止训练，以便进行样本预测，并在给定交叉熵的几个值时控制模型的质量。 以下是我的结果： ? 3.生成序列 如果你读到这里，接下来就是你所期望的了：生成新的句子！
假定您对循环神经网络（尤其是LSTM）有很好的了解。本文中的代码是使用Keras库用Python编写的。...然后，我们将创建一个字典，其中单词是键，而相应的向量是值，如下所示： 回想一下，我们在输入中包含3523个唯一词。我们将创建一个矩阵，其中行号将表示单词的序号，而列将对应于单词维度。...在decoder_targets_one_hot输出数组的第一行的第二列中，将插入1。同样，在第二行的第三个索引处，将插入另一个1，依此类推。...最后，output_sentence使用空格将列表中的单词连接起来，并将结果字符串返回给调用函数。...测试模型 为了测试代码，我们将从input_sentences列表中随机选择一个句子，检索该句子的相应填充序列，并将其传递给该translate_sentence()方法。
总的来说，它的工作原理如下： 你训练一个模型来预测序列中的下一个单词 您给经过训练的模型一个输入 重复N次，生成下N个单词 ?...b.句子标记 然后，打开每一篇文章，并将每一篇文章的内容附加到列表中。...但是，由于我们的目标是生成句子，而不是生成整篇文章，因此我们将把每一篇文章分成一个句子列表，并将每个句子添加到“all_sentences”列表中： all_sentences= [] for file...好吧，对于一个句子来说，这看起来相当大吧！由于我的博客包含了一些代码和教程，我希望这一句话实际上是由python代码编写的。...像往常一样，我们必须首先对y进行热编码，以获得一个稀疏矩阵，该矩阵在对应于该标记的列中包含1，在其他位置包含0： ?
返回单词列表 return(words) 接下来，我们需要一种特定的输入格式。 Word2Vec 需要单个句子，每个句子都是一列单词。 换句话说，输入格式是列表的列表。...# 返回句子列表，其中每个句子都是单词列表 # 1....Python 列表中+=和append之间的区别。...在许多应用中，这两者是可以互换的，但在这里它们不是。 如果要将列表列表附加到另一个列表列表，append仅仅附加外层列表; 你需要使用+=才能连接所有内层列表。...对于 4 个 worker，列表中的第一个进程应该是 Python，它应该显示 300-400% 的 CPU 使用率。
为了解决这个问题，我写了一个正则表达式（Regex），用标准化命名来替换所有已知的同义词。...假设我们有一个包含三个单词的句子 I like Python，和一个有四个单词的语料库 {Python，Java，J2ee，Ruby}。...如果每次取出语料库中的一个单词，并检查其在句子中是否出现，这需要四次操作。 is 'Python' in sentence? is 'Java' in sentence......还有另一种和第一种相反的方法。对于句子中的每一个单词，检查其是否在语料库中出现。...用于替换关键词的代码 FlashText 不仅可以提取句子中的关键词还可以对其进行替换。
ELMo试图通过训练两个LSTM语言模型（一个利用从左到右的文本信息，一个利用从右到左的文本信息），并将它们进行连接来解决这个问题。这样虽然在一定程度上取得进步，但还远远不够。 ?...我们首先将“Analytics”替换为“[MASK]”， “[MASK]” 表示将该位置的单词掩盖。...任务很简单，给A和B两个句子，判断B是A之后的下一句，或只是一个随机句子？ 由于这是一个二分类问题，将语料库中的句子分解为句子对就可以得到大量训练数据。...至于如何对整个BERT模型进行微调，我会在另一篇文章中进行介绍。 为了提取BERT的嵌入，我们将使用一个非常实用的开源项目Bert-as-Service： ?...它创建了一个BERT服务器，我们可以在notebook中编写ython代码进行访问。通过该方式，我们只需将句子以列表形式发送，服务器就会返回这些句子的BERT嵌入。
其中N是所有单词的列表，并且每个单词都是单个token，我们将把我们的数据集分解为一个token列表，表示为N。 获得token列表 (表示为N) 后，我们可以应用公式来计算词汇量。...我们将从语料库中选择一个句子以开始: “When you play game of thrones” 作为输入传递的每个字将被表示为一个编码，并且每个对应的整数值将有一个关联的embedding联系到它...现在，每个单词embedding都由5维的embedding向量表示，并使用Excel函数RAND() 用随机数填充值。...维度值表示embedding向量的维度，在我们的情形下，它是5。 继续计算位置embedding，我们将为下一个单词 “you” 分配pos值1，并继续为序列中的每个后续单词递增pos值。...另一方面，线性权重矩阵 (黄色，蓝色和红色) 表示注意力机制中使用的权重。这些矩阵的列可以具有任意数量的维数，但是行数必须与用于乘法的输入矩阵中的列数相同。
假定您对循环神经网络（尤其是LSTM）有很好的了解。本文中的代码是使用Keras库用Python编写的。 ...在decoder_targets_one_hot输出数组的第一行的第二列中，将插入1。同样，在第二行的第三个索引处，将插入另一个1，依此类推。...的states_value使用解码器的新隐藏状态和单元状态更新变量，并将预测字的索引存储在target_seq变量中。...最后，output_sentence使用空格将列表中的单词连接起来，并将结果字符串返回给调用函数。...测试模型 为了测试代码，我们将从input_sentences列表中随机选择一个句子，检索该句子的相应填充序列，并将其传递给该translate_sentence()方法。
为了解决这个问题，我写了一个正则表达式（Regex），用标准化命名来替换所有已知的同义词。...假设我们有一个包含三个单词的句子 I like Python，和一个有四个单词的语料库 {Python，Java，J2ee，Ruby}。...如果每次取出语料库中的一个单词，并检查其在句子中是否出现，这需要四次操作。 is 'Python' in sentence? is 'Java' in sentence? ......还有另一种和第一种相反的方法。对于句子中的每一个单词，检查其是否在语料库中出现。 is 'I' in corpus? is 'like' in corpus?...is 'python' in corpus? 如果句子 m 个单词，意味着需要做 m 次的循环操作。在这个例子中所需的时间步取决于句子中的单词数。而使用字典查询进行 isin corpus ?
NLPAUG nlpag是一个由Edward Ma开发的开源Python库，该库提供了一系列字符、单词和句子的文本增强器，一般情况下只需3-5行代码即可应用。...单词的扩充技术包括用同义词替换单词，插入或删除单词，甚至改变句子中单词的顺序。...nlpag的ReservedAug()函数替换列表中未定义的单词，该列表作为参数传递给reserved_token参数: import nlpaug.augmenter.word as naw...，并将其输入周围环境，或者用预训练语言模型(如BERT、DistilBERT、RoBERTa或XLNet)中的前n个相似单词替换它们。...可以包括源文本中没有出现的新短语和句子。 采用抽象摘要的文本增强可以带来短语结构和内容的多样性和差异性，这可能对训练NLP模型有用的。
清洗的工作往往涉及到搜索和替换关键词。例如，查询文本中是否出现““Python”这一关键词，或是将所有“python“都替换成”“Python”。...FlashText是GitHub上的一个开源Python库，正如之前所提到的，它在提取关键字和替换关键字任务上有着极高的性能。 在使用FlashText时，你首先要给它一个关键词列表。...这份列表将用于在内部建立一个单词查找树的字典（Trie dictionary）。然后你将一个字符串传递给它，并告诉它是要执行替换还是搜索。 对于替换，它将用替换关键字创建一个新字符串。...我们有一个句子，它由三个单词组成——I like Python，并且假设我们有一个四个单词组成的语料库{Python, Java, J2ee, Ruby}。...将花费自己的时间，这就是正则匹配（Regex match）的机制。 还有与第一种方法相反的另一种方法L对于句子中的每个单词，检查它是否存在于语料库中。 如果这个句子有m个词，它就有m个循环。
json文件中，因此我将首先将其读入一个带有json包的字典列表，然后将其转换为一个pandas Dataframe。...现在已经设置好了，我将从清理数据开始，然后从原始文本中提取不同的见解，并将它们添加为dataframe的新列。这个新信息可以用作分类模型的潜在特征。 ?...dataframe现在有一个新列。使用相同的代码从以前，我可以看到有多少不同的语言: ? 即使有不同的语言，英语也是主要的。所以我打算用英语过滤新闻。...我举几个例子: 字数计数:计算文本中记号的数量(用空格分隔) 字符计数:将每个标记的字符数相加 计算句子数:计算句子的数量(以句点分隔) 平均字数:字数除以字数的总和(字数/字数) 平均句子长度:句子长度的总和除以句子的数量...对于每个新闻标题，我将把所有已识别的实体放在一个新列(名为“tags”)中，并将同一实体在文本中出现的次数一并列出。
现在你已经读取了培训集，请查看几条评论： print train["review"][0] 提醒一下，这将显示名为"review"的列中的第一个电影评论。...另一方面，在这种情况下，我们正在解决情感分析问题，并且有可能"!!!"或者":-("可以带有情感，应该被视为单词。在本教程中，为简单起见，我们完全删除了标点符号，但这是你可以自己玩的东西。...这样的词被称为“停止词”；在英语中，它们包括诸如“a”，“and”，“is”和“the”之类的单词。方便的是，Python 包中内置了停止词列表。...")] print words 这会查看words列表中的每个单词，并丢弃在停止词列表中找到的任何内容。...这是为了速度；因为我们将调用这个函数数万次，所以它需要很快，而 Python 中的搜索集合比搜索列表要快得多。 其次，我们将这些单词合并为一段。 这是为了使输出更容易在我们的词袋中使用，在下面。
这段代码的另一个改进是它的结构更好：我们尝试将代码的不同逻辑部分分离到不同的函数中。函数是用def关键字定义的，后跟着一个函数名，后面跟着圆括号中的零个或多个参数。...因此，继续创建一个新文件，并将其命名为“word_weight .json”。 ? 现在，我们需要做的就是告诉Python将这个文件加载到word_weights中。...只需创建一个新的JSON文件，将密钥和秘密存储在字典中，并将其保存为.cred.json： ? 许多推文包含非字母字符。例如，一条推文可能包含&、>或的字符被Twitter转义。...准备好训练数据X, y，当我们创建一个单词输入一个单词输出模型时： X.shape =（句子中的N个单词 - 1,1） y.shape =（句子中的N个单词 - 1,1） ?...((11,), (11,)) 注意，num_class被设置为vocab_size，即N个唯一单词+ 1。y的打印表明，在第0列和第1列中没有包含索引的行。
这段代码的另一个改进是它的结构更好：我们尝试将代码的不同逻辑部分分离到不同的函数中。函数是用def关键字定义的，后跟着一个函数名，后面跟着圆括号中的零个或多个参数。...因此，继续创建一个新文件，并将其命名为“word_weight .json”。 现在，我们需要做的就是告诉Python将这个文件加载到word_weights中。...只需创建一个新的JSON文件，将密钥和秘密存储在字典中，并将其保存为.cred.json： 许多推文包含非字母字符。例如，一条推文可能包含&、>或的字符被Twitter转义。...y的打印表明，在第0列和第1列中没有包含索引的行。这是因为： 在我们原来的句子“data”中没有属于class 0的单词。 索引为1的单词出现在句首，因此它不会出现在目标y中。...它为句子中的每个标记返回一个对象（标记是一个单词或标点符号）。
云服务器
ICP备案
腾讯会议
对象存储
云直播
