Brain js NaN时预测的是单词的组合是一个完整的句子
Brain.js是一个基于JavaScript的机器学习库，它提供了一种简单且灵活的方式来实现神经网络。NaN是JavaScript中的一种特殊数值，表示非数字（Not-a-Number）。在Brain.js中，当输入的训练数据中包含NaN时，预测的结果是单词的组合形成一个完整的句子。
具体而言，使用Brain.js进行单词组合的句子预测可以分为以下步骤：
- 数据准备：收集或生成一系列的训练数据，包含单词的组合以及对应的完整句子。确保训练数据中的单词组合被正确标记，而对应的完整句子没有标记。
- 神经网络设置：创建一个适当的神经网络模型，用于训练和预测。可以选择合适的神经网络结构、层数、节点数等参数，并配置激活函数、损失函数等。
- 数据预处理：将训练数据中的单词组合转换为适合神经网络输入的形式，可以使用词向量化或者独热编码等技术。
- 训练模型：使用准备好的训练数据来训练神经网络模型。通过多次迭代和反向传播算法，不断调整网络权重和偏置，以最小化损失函数。
- 模型评估：使用一部分独立的测试数据来评估训练好的模型的性能和准确度。可以计算预测结果与实际完整句子的差异，如使用交叉熵损失函数等评价指标。
- 预测结果：当使用训练好的模型进行预测时，输入一个包含NaN的单词组合，神经网络会根据已学习到的模式和规律来预测该组合形成的完整句子。
腾讯云提供了多个与机器学习和云计算相关的产品和服务，例如：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tensorflow）：提供了一站式的机器学习平台，支持使用多种深度学习框架，如TensorFlow和PyTorch进行模型训练和部署。
- 腾讯云服务器（https://cloud.tencent.com/product/cvm）：提供了弹性可扩展的云服务器实例，可以满足不同规模和需求的计算任务。
- 腾讯云对象存储（https://cloud.tencent.com/product/cos）：提供了安全可靠的对象存储服务，用于存储和管理大规模的数据集和模型文件。
请注意，以上仅为示例推荐的腾讯云产品，并非广告宣传。在实际应用中，根据具体需求和情况选择合适的产品和服务。
相关·内容
为了学习和娱乐，我想把重点放在brain.js上，但使用的示例与前面描述的不同。我有一个问题，但可能是这个库的方法不好。
也就是说，在json中，我有书名和它们的价格，而在火车中，我提供关键字和它在标题中出现的价格。
我的JSON：
[{ "title": "Bible js", "price": 30 },
{ "title": "Bible php", "price": 25 },
{ "title": "Bible java", "pri
浏览 19提问于2019-08-15得票数 0
1回答
我有个关于CBOW预测的问题。假设我的工作是使用三个周围的单词w(t-3)，w(t-2)，w(t-1)作为输入来预测一个目标词w(t)。一旦模型被训练好，我想在句子后面预测一个单词的缺失。这个模型是否只适用于前三个单词已知，最后一个单词未知的句子？如果我有一个十个字的句子。前9个单词是已知的，我能用9个单词作为输入来预测那个句子中最后一个缺失的单词吗？
浏览 0提问于2018-04-09得票数 2
回答已采纳
1回答
我正在开发一种代码，它可以将句子拆分成单独的单词，然后根据散列关键字搜索单词的存在。我的代码返回100%相同的术语，在匹配之后，我用与匹配关键字相对应的值标记句子中的单词。问题是代码标签的条款，但随机值，而不是我所期望的。此外，在术语和散列键相似但不是100%相同的情况下，我如何编写正则表达式来匹配我的术语和键。注意:我已经将散列键的词干转换为它们的根形式。我可以提供一些例子:如果句子中的术语是协同的或反协同的，并且我的散列键是Synerg，我如何将上面的术语与Synerg匹配。
我的代码如下：
open IN, "C:\\Users\\Desktop\\TM\\clean_c
浏览 2提问于2012-10-24得票数 0
回答已采纳
我是brain js的新手，我正在尝试让它预测一个单词的组合是否是一个完整的句子。https://codepen.io/AtanasBobev/pen/zQzZrP?editors=0010 const config = {
hiddenLayers: [3]
};
const net = new brain.NeuralNetwork(config);
net.train([{input: ["Hello, I'm John Walker."], output: [1]},
{input: ["This is on
浏览 19提问于2019-05-18得票数 0
回答已采纳
我正在读一篇研究论文：基于辅助预测任务的句子嵌入细粒度分析
重点是对编码器译码器和平均字句嵌入进行了比较，验证了句子嵌入的准确性取决于句子长度、字内容和语序三个基本语言特征。
📷
我发现令人惊讶的是，一个句子的平均嵌入词比编码器解码器更能预测一个句子中的单词的存在。此外，如何增加嵌入的大小，使其性能下降。
同样的问题也适用于词序，普通的单词嵌入是如何做到的呢？这些实验可以解释，如果预测是基于词的排列，那么会发生什么，但我觉得这种解释并不直观。简单的avg字嵌入在取平均值时如何能够包含像词序这样的信息来抵消订单信息？
浏览 0提问于2019-06-24得票数 5
基本上，我的代码读取文本文件，将其标记为句子，然后查找出现两个预定义锚词的句子，找到句子中它们之间的距离，然后将距离附加到列，其中列标题是两个预定义单词，行是文件中的句子。或者，如果这两个单词没有出现在句子中，则为空
也就是说，如果句子是“棕色的狐狸跳过懒惰的狗，祝你快乐”。数据框看起来像。
0| brown+jumped | jumped+over | the+dog | over+dog
1|1| null | null | null
2| null | null |2|3
3| null | null
代码在解析短段落时运行良好，但在处理较大的文本文件时，代码需要的时间要长得多。我知道，
浏览 0提问于2015-11-17得票数 0
1回答
我是深度学习和python的新手。我的任务是从用户给出的单词中预测句子的顺序。我看过很多关于单词预测的文章，但很少有关于句子预测的文章，这些文章让我了解了如何在句子中随机预测，但我必须从特定的输入为我的项目生成语义正确的句子。
请帮助我，因为概念对我来说很清楚，但我发现很难code.The指向tensorflow教程解释语言模型的链接。它被设计为在给定先前上下文信息的情况下预测下一个单词。经过训练的模型将流畅地打印出有意义的句子。
我想要建立一个语言模型来“从单词中预测句子的顺序”。例如，如果用户输入“苹果吃人”，我的语言模型应该能够产生语义上正确的句子i-e“人吃苹果”。
浏览 2提问于2017-08-22得票数 0
我想比较从文本文档中包含单个单词的1*232个字符串单元格和包含同一文本中单个句子的1*232个单元格，有谁能帮助我在Matlab中编程吗？例如：“污染”和“树”是两个单独的单元格中的两个词，下面是在单独的单元格中的两个句子: 1.树木减少污染。2.树木可防止水灾。
我想做的是，在比较污染和树木与句子或在我的例子中的"n“语句之后，放0或1，并以矩阵的形式将1和0放在一起。任何帮助都将不胜感激。
浏览 3提问于2015-02-24得票数 0
回答已采纳
我正在尝试过滤我的数据框(医院)，以确定“脑出血”列为True的情况。然后，我想在brain_info列中搜索一个特定的单词(“癌症”)，然后创建一个包含该单词(“癌症”)的新列。 我以前在没有过滤组件的情况下这样做过，但我在这个场景中遇到了问题。 #What I have
| brain bleeding| brain info | |final diagnosis|
|---------------|-------------| --------------
浏览 15提问于2021-03-31得票数 0
回答已采纳
2回答
我如何预测一个句子中缺失的单词？
我见过很多关于使用n克语言模型预测句子中的下一个单词的文章，该模型使用的是一组训练数据中的频率分布。但相反，我想预测一个不一定在句子末尾的缺失词。例如：
我带着我的___散步。
我似乎找不到任何算法利用空白处的单词，我想我可以忽略它们，但它们必须增加一些价值。当然，bi/trigram模型不能预测前两个单词。
我应该使用什么算法/模式？或者用空白处后面的单词没有好处？
浏览 7提问于2016-06-22得票数 4
回答已采纳
2回答
我想知道在做情绪分析时如何使用RNN。
RNN的特点似乎是记住过去的事物，决定现在(未来)的价值，但我认为这种RNN的特征在分析情感时是无用的。
我很好奇，想知道如何通过记忆到目前为止出现的单词来进行情感分析。
我认为训练向量的方法是分析情感的唯一方法，它能显示出特定单词出现多少次。
如果某个RNN模型训练一个句子“好电影”并贴上“正面”标签，它能把一个新句子“电影好”预测成“积极”吗？
另外，如果一个正常的模型(刚刚完全连接的深层神经网络)训练一个句子“好电影”并贴上“正面”标签，这个模型很难将一个新句子“电影好”预测成“积极”吗？
浏览 0提问于2020-10-26得票数 6
我有一些英语文本已经被标记了。例如，文本标记的长度约为20000，并且每个单词(tokenize)都有一个索引。此外，每个索引都有一个标签，作为标记为'b‘的句子中的起始词，在标记为'e’的句子中作为结束词(包括符号)，而其他单词则标记为'o‘。有标记的训练数据和未标记的测试数据。
我的问题是:我们如何使用机器学习方法或深度学习模型来解决测试数据中单词标签的预测问题？我的意思是，我们如何使培训的标签和数据只是一个词的培训？我很困惑。
浏览 0提问于2019-05-04得票数 1
1回答
在为CBOW构造训练数据时，建议使用上下文窗口中心的单词。在句子开头/结尾捕获单词的“最佳”方法是什么(我在引号中放得最好，因为我确信这取决于任务)。我在网上看到的实现执行如下所示：
for i in range(2, len(raw_text) - 2):
context = [raw_text[i - 2], raw_text[i - 1],
raw_text[i + 1], raw_text[i + 2]]
我认为这种做法产生了两个问题。
问题1:该方法将不平衡的焦点放在句子的中间。例如，句子的第一个单词只能出现在一个上下文窗口中，永远不会作为目
浏览 0提问于2020-09-04得票数 0
回答已采纳
1回答
我有一个列，其中有许多不同的字符串，我想要做的是将我指定的所有字符串重命名为一个字符串，这样它们都有相同的字符串。我的数据看起来是这样的：
My_strings
1 I bumped my knee because I fell
2 I fell off my bike but I had a helmet
3 I am alright I just need to be alert
4 If I fall I will get back up
因此，在我的专栏My_strings中，我想寻找包含特定单词的句子。
df.loc[df.T_L_DESC.str
浏览 4提问于2017-04-28得票数 1
回答已采纳
1回答
我正在寻找一种方法来实现在Pytorch中使用LSTM层实现word嵌入网络，这样nn.Embedding层的输入与单词I的向量具有不同的形式。
在我的例子中，每个单词都有一个对应的向量，因此，我的语料库中的句子是一个向量向量。例如，我可能有"King“和向量500，3，18，其中500是单词ID，3是单词颜色，18是字体大小等等。嵌入层的作用是进行一些自动的特征缩减/提取。
如何向嵌入层提供这样的表单数据？或者你有什么更好的建议？
浏览 3提问于2019-10-08得票数 0
回答已采纳
3回答
我想要建立一个语言模型，它应该预测一个句子中的下一个单词，考虑到前一个单词和/或前一个句子。
用例:我想要自动编写报告的。所以模型应该自动完成我正在写的句子。因此，名词和句子开头的单词大写是很重要的。
data ：数据是德语的，包含很多技术术语。
我的文本语料库是德语，我目前正在进行预处理。由于我的模型应该预测语法上正确的句子，所以我决定使用/不使用以下预处理步骤：
不移除塞子
无柠檬化
用数字替换所有表达式
同义词和缩略语的规范化
用罕见的词代替稀有的词
然而，我不知道是否将语料库转换为小写。在网上搜索时，我发现了不同的意见。虽然小写大小写很常见，但它会导致我的
浏览 0提问于2017-08-24得票数 7
回答已采纳
2回答
如果我必须使用预先训练过的字向量作为神经网络的嵌入层(例如。CNN说)，我该如何处理指数0？
详细信息：
我们通常从创建一个零数字二维数组开始。之后，我们从词汇中填写单词的索引。问题是，在我们的词汇中，0已经是另一个单词的索引了(比如说，'i‘是0的索引)。因此，我们基本上是在初始化充满'i‘的整个矩阵，而不是空话。那么，我们如何处理填充所有相同长度的句子呢？
一个容易弹出的想法是，我们可以使用另一个digit=numberOfWordsInVocab+1来衬垫。但这样做不需要更大的尺寸吗？帮帮我!
浏览 0提问于2018-12-25得票数 2
回答已采纳
我是JavaScript的新手，这是我的第一个项目。我从API中获得JSON，它存储在result中。当我将它记录到控制台时，它会返回多个字符串，但在操作DOM时不会返回。
我的代码
let len = result[0].meanings.length
for (let i = 0; i < len; i++) {
const element = result[0].meanings[i];
let len2 = element.definitions.length;
for (let j = 0; j < len2; j++) {
l
浏览 1提问于2021-05-17得票数 0
3回答
假设我必须预测一个句子中的下一个单词，考虑到最初的几个单词。
假设前缀是“我去了_____”。这个前缀很常见，它可能在训练数据中出现10次，但有几个不同的变化：
我上过大学:5
我去了加利福尼亚:3
我去了伦敦:2
在这种情况下，假设我的模型预测“大学”是正确的答案。如果我把准确性作为衡量标准，它仍然只能得到50%的分数，对于相同的输入，数据自然有多个(正确)答案。我该怎么解决这个问题？
浏览 0提问于2018-10-31得票数 0
2回答
我一直在试图理解自我注意，但我发现的一切都不能很好地从高层次上解释这个概念。
假设我们在NLP任务中使用自我注意，所以我们的输入是一个句子。
然后，自我注意可以用来衡量句子中的每个单词对其他单词的“重要性”。
问题是，我不明白这种“重要性”是如何衡量的。重要的是什么？
自我注意算法中的权重训练的目标向量到底是什么？
浏览 0提问于2018-11-06得票数 2
我想复制注意是你所需要的中的PyTorch文件中的转换器。我的问题是关于变压器的解码器分支。如果我正确地理解了原语中的句子和目标语言中的部分/不完整翻译，转换器将负责预测翻译中的下一个标记。例如：
英语(来源)：我喜欢吃巧克力。
西班牙语(目标)：哟阿莫.
翻译中的下一个标记应该是巧克力(因此，完整的翻译将是"Yo comer巧克力“)。因此，在这个例子中，编码器将处理“我爱吃巧克力”这句话，解码器将处理部分翻译"Yo comer“，最后的输出将是整个词汇表中的softmax (希望巧克力是得分最高的标记)。
问题是，在培训期间，我们希望变形金刚学会完整的翻译。这意味着，如果目
浏览 0提问于2019-06-30得票数 0
1回答
文档分类:预处理和多标签
、、、
我有一个关于单词表示算法的问题: word2Vec，doc2Vec和Tf-IDF算法中哪一个更适合处理文本分类任务？我的监督学习分类中使用的语料库由多个句子的列表组成，其中既有短句子，也有长句子。正如在this thread中所讨论的，doc2vec与word2vec的选择是文档长度的问题。至于Tf-Idf与word嵌入，这更多的是文本表示的问题。 我的另一个问题是，如果对于同一个语料库，我有多个标签链接到其中的句子，该怎么办？如果我为同一个句子创建了多个条目/标签，它会影响最终分类算法的决策。我如何告诉模型文档中的每一句话每个标签都是相等的？ 先谢谢你，
浏览 12提问于2020-03-27得票数 1
回答已采纳
我需要用上面的字母输入句子，然后将句子拆分成单词，并对每个单词计数字符a的数目。
我做了这个
clear
sentences=input('Write your sentences: ','s');
low=lower(sentences);
disp('Sentences splitted to words: ');
words=regexp(low,' ','split');
for i=1:length(words)
disp(words(i))
end
现在，我不知道如何计算每个单词分裂后的字符&#
浏览 4提问于2015-06-21得票数 2
回答已采纳
很抱歉，如果以前有人问过这个问题，我只是不知道如何把它作为一个搜索查询。
我有一组文件夹，如下所示：
Brain - Amygdala/ Brain - Spinal cord (cervical c-1)/ Skin - Sun Exposed (Lower leg)/
Brain - Caudate (basal ganglia)/ Lung/ Whole Blood/
我还有一组文件如下所示：
Brain_Amygdala.v7.covariates_output.txt
浏览 0提问于2019-01-21得票数 2
回答已采纳
我正在尝试使用Brain.js来生成文本。
请参阅我的WIP示例： (也请参阅控制台输出)。
我基本上：
生成一个包含所有单词的数组：wordsInOrder
使用排序的唯一单词创建一个dictionaryWords数组。
我从wordsInOrder中创建了这样的培训集：{ input: [0.0326], output: [0.9565] }，其中input是当前单词的字典索引(规范化)，output是以下单词的字典索引。
然后，我通过以下方式生成新单词：
从字典里随便选一个词。
然后运行brainJsNetwork.run([wordValue])函数来生成以
浏览 2提问于2017-09-02得票数 2
回答已采纳
我目前正在一个项目中使用Brain.js，目前它必须一次训练，
使用train()使用一系列培训数据对网络进行培训。网络必须在一次呼叫中大量使用所有数据进行训练()。
这意味着，如果你想在以后添加一些新的数据来改进它，你必须从一开始就重新训练，这显然不是理想的。
是否有类似于brain.js的选项，允许不需要从一开始就开始再培训，或者是否有人正在修改brain.js以允许这样做，或者这是否可能(或者brain.js必须完全重写)，如果是这样的话，对于一般的javascript和编程新手(me)来说，添加这些内容会特别困难，我甚至会从哪里开始。
谢谢你的帮助
另外，有超过1500个声誉的人能为
浏览 0提问于2013-10-15得票数 5
回答已采纳
2回答
下面的代码可以迭代列的句子，在句子中标记关键字，并创建由1和0组成的这些标记的新列。如果存在关键字，则在以标记命名的新列中自动标记1。如果它不存在，但存在另一个关键字，则给它一个0。如果句子没有任何关键字，整行将被删除。
下面的代码有点好，但它仍然缺少关键字，它在部分单词和空白单元格(没有句子的行)上标记和输出1和0。我不知道遗漏了什么？我如何确保它不漏掉关键字，也不标记部分单词和空白句子？
pattern = '|'.join(dict_list)
tags_id = (df['description_summary']
.str.extractall(
浏览 4提问于2021-06-16得票数 1
回答已采纳
2回答
我正在用JS编写一个脚本，它将用于生成一个完整的句子类型的测试。
_______棕狐跳过懒惰的_____.
步骤1:用户将被呈现一个文本框来插入一个句子。
步骤2:将句子分解为实际单词(没有逗号、句号等)为数组。
步骤3:背景中的，我将循环遍历每个单词，并将它们封装在一个锚<a />中。
步骤4:用户将能够点击一个或多个单词来标记它们，以供答题者完成。我会对此做一些验证。
步骤5:的最终结果将是一个带有空格的句子，用于选择带有随机数(1-n)的额外字符的单词，因此单词长度没有确切的提示。
大部分功能我都同意，但我需要把句子分割成准确的单词(大概是使用regex)。
有一些规
浏览 3提问于2012-07-19得票数 1
回答已采纳
2回答
我试图找出字典键是否包含在存储在数据帧列中的句子中。举个例子。我有以下字典：
dictionary = {"yellow":1234, "light blue":112, "orange":34,'blue':1}
和下列数据框架：
df_data = {"sentence": ["the summarine is yellow", "the sky was an amazing light blue, you should have see it",
" the gras
浏览 7提问于2021-05-31得票数 0
回答已采纳
在Word2vec中，我们可以用单词代替句子来进行模型训练吗？
和下面的代码一样，gberg_sents是句子标记模型= Word2Vec(sentences=gberg_sents，size=64，sg=1，window=10，min_count=5，seed=42，workers=8)
就像这样，我们还可以使用单词标记吗？
浏览 0提问于2019-04-30得票数 0
回答已采纳
假设我有一个数据帧 df = pd.DataFrame({'col1': ['Hello, world. Good day','My name is Bob. Call Me','good evening','yep. stack Overflow.',"Ain't McDonald Yo"]})
col1
0 Hello, world. Good day
1 My name is Bob. Call Me
2 g
浏览 16提问于2021-05-08得票数 2
回答已采纳
1回答
我目前正在处理一个命名实体识别任务。我正在使用条件随机场算法对我标记的实体进行分类。我想知道这个算法是不是像BERT一样是双向的？
算法对每个单词的特征包括前一个单词和下一个单词，所以我猜是这样的。这是否也意味着CRF对整个句子进行了预测？还是在每个单词上？
感谢您在这个问题上的任何线索！
浏览 0提问于2019-09-18得票数 2
如果句子只包含相似的单词，或者换句话说，如果窗口大小等于句子大小，word2vec会失败吗？我想这个问题归结为单词to vec是将其他句子中的单词视为否定样本，还是仅将同一句中的单词视为窗口外的单词。
浏览 0提问于2022-02-17得票数 0
1回答
我希望使用CNTK在LSTM中有一个多对一的设置，即一个句子中的每个单词都是一个输入，每个句子的标签就是输出。因此，它是从多个输入到一个输出的映射。然而，中提供的示例是多到多的。我有一些困难，理解在输入格式的变化，必须为我的应用程序。在提供的示例中，句子中的每个单词都有一个与之相关的标签，而在我的应用程序中，我想要一个句子的标签。
把我的句子标签分配给那个句子中的所有单词是正确的吗？是否有更好的替代办法？
浏览 0提问于2016-12-19得票数 4
回答已采纳
2回答
我正在构建一个应用程序，我想让我的应用程序能够在用户输入文本框时读取他们输入的内容，并根据到目前为止的句子向用户呈现两件事。
1)他们正在输入的可能短语的列表，以便轻松地自动完成，我猜我会使用一个预设的短语列表，我可以通过搜索来获得这些建议。
2)根据句子结构或简单地基于键入的最后一个单词，列出最有可能出现在句子中的下一个单词。
我的问题是，还有其他像这样的东西吗？搜索数千个字符串以尽可能快速有效地找到匹配的最佳方法是什么？字符串应该存储在SD卡上的文本文件中，还是直接存储在代码中，或者存储在某种类型的数据库或xml文件中，甚至是cvs文件中？任何想法都会很棒
浏览 0提问于2012-11-27得票数 2
回答已采纳
2回答
用熊猫的数据来替换单词
、、、
我有一个数据框架如下。
ID Word Synonyms
------------------------
1 drove drive
2 office downtown
3 everyday daily
4 day daily
5 work downtown
我正在读一个句子，想用上面定义的同义词替换这个句子中的单词。这是我的代码：
import nltk
import pandas as pd
import string
sdf = pd.read_excel('C:\synonyms.xlsx&#
浏览 3提问于2017-01-24得票数 1
回答已采纳
2回答
我正在尝试训练一个网络，它的输入是包含一些预定义的值的特定字符串，稍后我将从数据库或JSON中提取这些值。我通过将每个字符的ACII值除以1000来标准化数据，这样就得到了一个介于输入字符串中每个字符的0到1之间的值数组。错误是，当我开始训练时，我得到了训练错误: NaN，奇怪的是，如果我只有一个输入，它就能工作，下面是代码。 var brain = require('brain.js');
function normalize(string){
var input = [];
for(let i=0; i<string.length; i++){
i
浏览 18提问于2019-04-17得票数 2
2回答
我正在为OOP考试复习过去的试卷，我遇到了一个问题:下面的类定义可以用来实现类、人和大脑之间的组合关系吗？
abstract class Person{
private Brain brain;
Person(Brain humanBrain) {
brain = humanBrain;
}
}
我的印象是，从给出的代码来看，这两者之间已经存在一种组合关系，然而，由于问题还要求提供代码示例，我认为我错了。解释如何实现组合，以及为什么这已经不被视为两者之间的组合关系，将不胜感激。
浏览 3提问于2018-01-01得票数 2
回答已采纳
字处理器程序具有搜索和替换功能。然而，部分单词(在单词中发现的字符组合)也被替换。为了解决这个问题，我计划删除额外的空格，并使用拆分函数通过使用“”作为分隔符将字符串更改为一个单词数组。
但是，一旦我搜索数组，替换适当的单词，并将数组放回由空格分隔的字符串中，用户的原始格式就会丢失。例如，如果原来的字符串是，“这是一个更高级的高级句子”，和用户希望将"a“替换为" the "，输出将是”这是句子。“，没有额外的空格。
因此，我的问题是，是否有任何方法只搜索和替换整个单词，同时仍保留用户在Visual中的格式(额外空间)。
浏览 6提问于2012-10-22得票数 4
回答已采纳
2回答
我肯定有关于这个的帖子，但我找不到一个人问这个确切的问题。请考虑以下几点：
我们有一本单词词典。
我们得到了许多段落的单词，我希望能够预测一个句子中的下一个单词，给出这个输入。
比如“你好，我叫汤姆”，“他叫曾傑瑞”，“他去没有水的地方”。如果一个单词存在，我们检查哈希表。如果没有，我们将为它分配一个唯一的id，并将其放入哈希表中。这样，我们就可以得到一个uniqueID的列表，而不是将单词的“链”存储为一串字符串。
例如，上面有(0，1，2，3，4)，(5，2，3，6)和(7，8，9，10，3，11，12)。注意，3是" is“，当我们发现新单词时，我们添加了新的唯一
浏览 2提问于2013-09-10得票数 21
回答已采纳
我是一名研究生，正在使用python为我的研究准备我的数据集。我对python的使用不是很有信心，所以我非常感谢您的帮助。
继续上一个问答问题()
我想将这种单词识别应用于数据帧中的一列。
import pandas as pd
from itertools import compress
fruits = ['apple', 'banana', 'cherry']
df = pd.DataFrame({"a":['green apple and red cherry', 'blue', '
浏览 20提问于2018-02-15得票数 0
回答已采纳
给出了一个语料库和测试集，语料库包含10000个完整句子。测试集包含100个不完整句子，其中每个句子有3个连续的单词。我想用ngram训练语料库，并预测测试集的下一个单词。
text = 'dataset.txt'
# Order of the grams
n = 2
ngrams = {}
words = nltk.word_tokenize(text)
for i in range(len(words)-n):
gram = ' '.join(words[i:i+n])
if gram not in ngrams.keys():
浏览 0提问于2018-11-02得票数 1
最近，我开始使用机器学习技术编写代码，并在不同平台上实现的机器学习之间来回往返。我经常使用的框架是Tensorflow (Python)、Tensorflow.js和Brain.js。我对他们有几分怀疑。
为什么大多数人喜欢Tensorflow (Python)而不是Tensorflow.js。Tensorflow.js所没有的Tensorflow有什么特别之处？
我在互联网上见过的大多数人更喜欢使用Tensorflow.js而不是brain.js，尽管brain.js使用JSON对象不会让开发人员陷入麻烦，从而创建张量并进行内存管理等等。为什么人们更喜欢使用Tensorflow.js
浏览 1提问于2018-08-11得票数 39
回答已采纳
1回答
我是NLP的新手。我只有100行文本句子(数据格式中的100行)，每个句子的平均单词长度为10。我想知道什么有趣的洞察力(简单描述高级)可以得到使用NLP技术。我不打算预测任何东西，只想分析并得到一些有趣的见解。
我已经想到了下面的项目，可以用我拥有的样本数据来完成。
计算一个句子中每个单词出现的次数，最后在我的句子列表中找出最常用的(顶部)单词和使用最少的(底部)单词。
使用NER查找每个句子中的实体。在我所拥有的句子中，哪个实体被讨论得最多？
使用文本相似性度量方法找出哪些句子相似。
我能辨认出这句话的感情
LDA能否用来识别句子的主题(平均有10个单词)，而我的数据集本身只有100个句子
浏览 0提问于2021-07-02得票数 1
回答已采纳
1回答
Bert语句嵌入
、、
我试图获得伯特的句子嵌入，但我不太确定我是否做得好。是的，我知道，已经存在这样的工具，如伯特作为服务，但我想自己做，并了解它如何运作。
假设我想从下面的句子"I am“中提取一个从单词嵌入中嵌入的句子。据我所知，伯特以(12，seq_lenght，768)的形式输出。我以(1,768)的形式从最后一个编码器层提取了每个单词嵌入。我现在怀疑的是从这两个字向量中提取句子。如果我有(2,768)，我应该把dim=1和得到一个向量(1,768)吗？或者将两个单词(1,1536)连在一起，并应用一个(平均值)池，得到(1,768)形状的句子向量。我不确定什么是正确的方法是获得这个给定的例子的句子
浏览 2提问于2019-09-30得票数 1
1回答
给出一句：“当我打开门时，它就会自动加热”。
我想把可能的单词列出来？很有可能。
word2vec模型中使用的基本概念是“预测”给定的周围上下文中的单词。
一旦建立了模型，什么是正确的上下文向量操作来执行我对新句子的预测任务？
它只是一个线性和吗？
model.most_similar(positive=['When','I','open','the','door','it','starts' ,
'heating','a
浏览 0提问于2016-01-14得票数 28
回答已采纳
我正在使用对各种推荐系统算法进行评估。我想计算所有可能的用户和项目排列的预测和预测覆盖范围。我的数据是从预定义的分块加载进来的。
我计算预测覆盖范围的策略是
建立一套完整的训练和配合
获取所有用户和项目的列表
遍历列表并做出预测
在无法计算预测覆盖范围的情况下，计算异常。
试图调用data.build_full_trainset())会产生以下错误：
AttributeError: 'DatasetUserFolds' object has no attribute 'build_full_trainset'
是否有方法在从预定义的折叠加
浏览 4提问于2020-08-08得票数 2
回答已采纳
1回答
假设我们有一个RNN模型，它输出在语料库上训练的给定上下文(或没有上下文)的单词的概率。我们可以在一个序列中连锁每个单词的概率，从而得到句子本身的总体概率。但是，由于我们是链式的，句子的概率(或可能性)会随着长度的增加而下降。即使我们使用日志概率，情况也是相同的。
不管怎么说，我们能把这些概率正常化吗？这是我在构建语言模型时所面临的一个有趣的子问题。我有900万个句子的语料库，其长度从2到30不等。但是所有的句子都是有效的，我用这些句子作为语料库来训练LM。
现在，我正在获取一个子集的数据，并对其进行修改，比如将句子洗牌或将其切成两半，加上或附加一个随机单词等等。这是为了制造一个不一定有效的“
浏览 0提问于2018-03-02得票数 2
1回答
基于Keras模型的强化学习
、、、、
我试图在Keras中实现一个Q学习算法。根据这些文章，我找到了这些代码行。
for state, action, reward, next_state, done in sample_batch:
target = reward
if not done:
#formula
target = reward + self.gamma * np.amax(self.brain.predict(next_state)[0])
target_f = self.brain.predict(state)
浏览 0提问于2018-10-27得票数 3
回答已采纳
大家好，各位数据科学家
我正在尝试使用LSTM (使用单词嵌入)来生成一个系统，该系统可以标记一个句子中的每个单词。为此，我给它一组不同大小的句子，使用填充，我使所有的句子都一样大小，以便LSTM可以处理它们。
问题是，LSTM的结果，排除了与填充部分相对应的标签后，给出了与输入不同大小的输出。
所以我的问题是，这是一个架构问题，还是需要更多的培训(更大的批次)？
谢谢你的帮助！
编辑:详细信息：
在下面的图片中，我展示了我的LSTM架构
📷
当运行n个大小的句子(使用一个热编码和单词嵌入)时，我得到一个结果，通常是不同的大小；结果是lstm的最终输出和相应的转换为单词。
此外，我现在也有一些
浏览 0提问于2020-02-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
