在PyTorch Lightning中实现某种predict()方法，在使用forward()执行实际预测之前进行预处理，是否有一种约定 在我的例子中，我有一个由嵌入层和几个完全连接的层组成的文本分类器在传递到嵌入层之前，需要对文本进行标记化。在训练和评估期
浏览 37提问于2021-01-19得票数 1
3回答
当使用来自pytorch的预训练BERT嵌入(然后进行微调)时，是否应该像在任何标准NLP任务中一样对输入到模型中的文本数据进行预处理？例如，是否应该执行词干提取、删除低频词、去大写，还是应该简单地将原始文本传递给“performed ers.BertTokenizer”？
浏览 3提问于2020-09-20得票数 4
我有一个现有的模型，在这个模型中，我加载了一些预先训练好的权重，然后在pytorch中进行预测(一次一个图像)。我正在尝试将它基本上转换为pytorch闪电模块，并对一些事情感到困惑。This is probably suboptimal
self.eval() # prediction mode 我可以从lightning文档中收集到的信息，除了不执行cuda()调用之外，我几乎可以做同样的事情
浏览 263提问于2020-05-03得票数 3
回答已采纳
1回答
标签文本数据的预处理
、、、、
为了训练NLP模型，需要在文本上有命名实体标签的文本数据。在许多情况下，这是由字符偏移(例如。("Android Pay expands to Canada", [(0, 11, 'PRODUCT'), (23, 30, 'GPE')]))，BILUO格式(例如。当一个人想要对这些数据进行预处理时，重要的是将标签保持在正确的位置</
浏览 1提问于2020-07-22得票数 0
default.beamer LaTex beamer的默认模板如下所示：\usetheme{$theme$}对特定主题的测试也有效吗？\usetheme{$theme$} \setbeamertemplate{headline} $endif$在中，我发现了以下内容：XY
如果变量具有非空值，这将在模板中
浏览 7提问于2015-03-10得票数 7
目前，我试图将PreProcessor实现为ANTLR4 for c#，并在查找相关信息时遇到了很大的困难。我在C#项目的C#源代码中的挖掘并没有真正成功，可悲的是.我的目标是保留令牌偏移量(这样就不会被预处理的流抛出列和行)示例来粗略解释： int smthng =2;
smthng += foo(12); /&#
浏览 4提问于2017-05-20得票数 2
1回答
在最初的伯特文件“A.2预培训程序”一节中，提到：最初的BERT实现(Devlin等人，2019)使用了一个大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对<
浏览 0提问于2020-12-11得票数 0
回答已采纳
我想在我的输入函数中执行基本的预处理和标记化。我的数据包含在google云存储存储桶位置(gs://)的csv中，我无法对其进行修改。此外，我希望对我的ml-engine包中的输入文本执行任何修改，以便可以在服务时间复制该行为。我
浏览 3提问于2017-08-13得票数 1
1回答
正在检测字符串中的音乐标题
、、、、
我目前正在用python编写自己的语音助手，使用nltk进行预处理，使用pytorch处理数据。在花了很长时间寻找任何方法之后，我找不到一种方法来从其他口述文本中提取歌曲的标题。因此，我想要实现是在示例中从"Play numb by Linkin Park“中过滤出"Numb”。使用NLP或仅使用神经网络，这是可能的吗？
浏览 1提问于2021-11-22得票数 1
include "cat.h"{ return 0;然后运行g++ -E main.cpp >out.cpp命令并生成预处理输出为什么它包含了dog.h内容，即使它从未在main.cpp文件中使用过
每个处理和编译的顺序是什
浏览 5提问于2016-02-15得票数 1
2回答
它在输入中接收要搜索的文本、要搜索的标记数组、包装找到的匹配项的类：
如果有两个令牌，而后者是前者的一个子字符串，那么只有后者才会被高举。在jsFiddle示例中，尝试以下标记：'ab‘。在jsFiddle示例<
浏览 4提问于2013-05-13得票数 1
回答已采纳
1回答
对于已经以拆分格式给出的大量输入数据，似乎很容易并行化解析器，例如，单个数据库条目的大列表，或者很容易通过快速预处理步骤拆分，例如，解析大型文本中句子的语法结构。似乎更难的是并行解析，它已经需要相当多的工作来定位给定输入中的子结构。常见的编程语言代码看起来就像一个很好的例子。在像Haskell这样的</
浏览 13提问于2018-08-23得票数 6
1回答
我在看NLP预处理。在某种程度上，我想实现一个上下文敏感的单词嵌入，作为识别词义的一种方式，我正在考虑使用来自BERT的输出来这样做。我注意到伯特使用WordPiece标记化(例如，"play“->”play“+ "##ing")。现在，我使用一个在空格/一些标点符号上拆分的标准标记器对我的文本<em
浏览 0提问于2019-07-16得票数 7
回答已采纳
我正试图通过ANTLR预处理我的C++源文件。我想输出一个输入文件，保留原始源文件的所有空格格式，同时在适当的位置插入我自己的一些新源代码。但问题是，对于任何解析器规则，它的$text属性只包含那些从与规则的第一个令牌匹配的位置开始的输入文本。例如，如果这是我的输入(注意<e
浏览 3提问于2011-09-16得票数 1
回答已采纳
1回答
自定义丢失函数的后端实现
、、、、
我有一个有向量输出的神经网络Network。我不使用典型的损失函数，而是实现自己的损失函数，这是类中的一种方法。我关心的主要问题是渐变。由于我采用了自己的自定义损失函数，是否需要对成本函数实现自己的梯度？
一旦我做了数学，我意识到，如果成本是J，那么J的梯度是一个相当简单的函数，就网络的最后一层的梯度而言。如果我使用了一些传统的
浏览 1提问于2021-05-05得票数 1
回答已采纳
我阅读过许多文本监督的分类教程，并为我的数据实现了tidytext、qunateda、tm、text2vec、RTextTools。到现在为止，我有一个尚未解决的谜题。关于何时标记文本数据，似乎还没有达成共识。在火车测试之前还是之后？。在一个堆栈溢出帖子中，一些人认为在拆分之前进行标记甚至是非法的。使用dfm_match函数，quanteda包看
浏览 1提问于2020-09-16得票数 0
1回答
我在这里使用Lucene进行初级过滤，稍后将使用输入数据对匹配文档进行后处理，并定义匹配分数(使用levenshtein)，并且它也适用于模糊。3)收集所有匹配的文档(这将有大量的噪声数据)
4)对每个匹配的文档进行后处理，定义每个匹配的三克标记在输入自由文本数据中的位置，并计算出可能的<em
浏览 1提问于2013-09-06得票数 0
回答已采纳
我对一个困扰我的预处理器有一个小问题，我在文档/预处理器/语言规范中找不到对它的任何解释。、连续行和注释之后，预处理程序处理预处理指令，并将输入划分为预处理标记和空白。为什么/什么规则使cpp (c预处理程序)在'aaa‘和'bbb’之间放置额外的空间，而&#x
浏览 2提问于2015-06-24得票数 8
回答已采纳
我在I中实现了文本识别的tesseract ocr，对输入图像进行了预处理，给出了Tesseract method.It，识别效果较差。tesseract setImage:image];输入图像：
1.如何利用Tesseract提高文本识别率？2
浏览 1提问于2014-08-28得票数 4
抱歉，如果我说的是错的--新的火把。for epoch in range(epochs): computer model etctrainloader = DataLoader(my_data)我的<
浏览 2提问于2020-03-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
