为什么我的NLP模型将错误的单词标记为新实体？
NLP模型将错误的单词标记为新实体可能是由于以下几个原因：
- 数据质量问题：NLP模型的训练数据可能存在噪声或标注错误，导致模型学习到错误的模式。解决方法是通过数据清洗和标注校对来提高数据质量。
- 训练数据不平衡：如果某些实体类型在训练数据中出现频率较低，模型可能没有足够的样本来学习正确的标记。解决方法是增加这些实体类型的训练样本或使用数据增强技术来平衡数据。
- 上下文理解不足：NLP模型可能没有足够的上下文信息来正确判断某个单词是否属于特定实体。解决方法是引入更多的上下文信息，例如使用上下文窗口或引入语言模型来提供更全面的语义理解。
- 特征选择不当：模型可能没有选择到适当的特征来判断单词是否属于实体。解决方法是进行特征工程，尝试不同的特征表示方法，例如词向量、句法特征等。
- 模型复杂度不足：NLP模型可能不够复杂或容量不足以捕捉复杂的语义关系。解决方法是增加模型的复杂度，例如使用更深层的神经网络结构或引入注意力机制等。
对于以上问题，腾讯云提供了一系列相关产品和服务来支持NLP模型的开发和部署：
- 自然语言处理（NLP）平台：腾讯云的NLP平台提供了丰富的自然语言处理功能，包括分词、词性标注、实体识别等，可以帮助开发者构建高效准确的NLP模型。了解更多：腾讯云自然语言处理（NLP）平台
- 机器学习平台：腾讯云的机器学习平台提供了强大的机器学习算法和模型训练工具，可以用于训练和优化NLP模型。了解更多：腾讯云机器学习平台
- 弹性计算服务：腾讯云的弹性计算服务提供了高性能的计算资源，可以用于训练和推理NLP模型。了解更多：腾讯云弹性计算服务
- 数据库服务：腾讯云的数据库服务提供了可靠高效的数据存储和管理，可以用于存储和查询NLP模型所需的数据。了解更多：腾讯云数据库服务
请注意，以上仅为腾讯云提供的一些相关产品和服务，其他云计算品牌商也提供类似的解决方案。
相关·内容
1回答
我是用NER的Open NLP -实体提取的新手，我在Open NLP NER中训练和评估了实体提取的模型，当我给出一个只有一个单词的实体的输入文本时，它工作得很好：“我想买吉百利”
但它不适用于多个单词的场景，例如：“我想但一台苹果MacBook”
如何训练模型来选择多个单词
PS:我知道我需要用NLP中提供的BiGrams做一些相关的事情，但是我怎么用OpenNLP来做呢？
浏览 0提问于2017-06-28得票数 1
1回答
如何设计命名实体识别任务的功能？
、、、、
我正在处理命名实体识别(而不是识别)任务。在这个NLP任务中，给定一个句子，模型必须预测每个单词(又名令牌)是否被命名为实体。使用的数据集是CONLL2003数据集。
最初，我包含了一个功能first-letter-capital，如果令牌的第一个字母大写，它就是1。该模型学习了作为命名实体的每个句子的第一个单词的预测。
因此，我删除了这个特性，并添加了一个功能first-letter-capital-for-non-sentence-start-word，如果一个单词不是句子中的第一个单词，并且有第一个字母为大写，它就是1。这使得模型可以将每个句子的第一个词归类为一个未命名的实体。
当我两个
浏览 0提问于2021-10-11得票数 1
1回答
我正在从事命名实体识别的工作。我评估了基于传统nlp技术构建的库，如MITIE、Stanford NER、NLTK NER等。我还研究了深度学习模型，如word2vec和Glove向量，用于在向量空间中表示单词，它们很有趣，因为它们提供了关于单词上下文的信息，但特别是对于NER任务，我认为它不太适合。因为所有这些矢量模型都创建了一个单词和相应的矢量表示。如果任何单词没有出现在词汇表中，它将不会被识别。假设命名实体很可能不存在，因为它们不受语言的约束。它可以是任何东西。因此，如果有什么深度学习技术在这种情况下是有用的，那就是那些更依赖于句子结构的技术，通过使用标准的英语单词，即忽略命名字段。是否
浏览 1提问于2015-08-25得票数 3
在重新培训模型之前，我们希望在斯坦福NLP或spaCy的培训集中添加一些自定义实体。我们愿意为我们的定制实体贴上标签，但我们希望将这些添加到现有的培训集中，以避免花费太多的时间标记。
我们假设NLP模型是在一个大的标记数据集上进行训练的，其中包括标记为"O“(" other "，即nothing )的单词的标签，以及标记为"DATE”、"PERSON“、" ORGANIZATION”等的单词。我们有一个自定义的组织词集，但在重新培训模型之前，我们希望将这些添加到所有其他标记数据中。
这个是可能的吗？我们怎么能这么做？我们是否需要得到模型培训过的标
浏览 2提问于2018-06-04得票数 0
回答已采纳
我正在尝试将股票代码添加到识别为ORG实体的字符串中。对于每个符号，我这样做：
nlp.matcher.add(symbol, u'ORG', {}, [[{u'orth': symbol}]])
我可以看到这个符号被添加到模式中：
print "Patterns:", nlp.matcher._patterns
但添加之前未识别的任何符号在添加后将无法识别。显然，这些标记已经存在于词汇表中(这就是为什么单词长度不变的原因)。
我应该做些什么不同的事情？我遗漏了什么？
谢谢
下面是我的示例代码：
“练习将股票代码添加为ORG实体的简要代码段”
f
浏览 0提问于2016-10-31得票数 2
我根据如下文档从自定义令牌列表创建了一个Doc对象： import spacy
from spacy.tokens import Doc
nlp = spacy.load("my_ner_model")
doc = Doc(nlp.vocab, words=["Hello", ",", "world", "!"]) 现在如何使用NER模型将命名实体标签写入doc？ 我试着做doc = nlp(doc)，但这对我提高TypeError来说不起作用。 我不能像往常一样将我的单词列表连接到一个纯文本中来执行doc =
浏览 38提问于2019-10-13得票数 1
回答已采纳
我知道spacy 2 alpha (或称为spacy -夜间)是根据单词的上下文构建单词向量的，因此我理解nlp(‘苹果橘子’)和分隔的nlp('apples')和nlp(‘橙子’)中单词的相似度值之间的差异(当然，我对spacy 1和spacy 2使用不同的模型)。但是，我不明白我应该如何调用/输入字符串，让我们把它说成相似方法。
他们改变了数据模型吗？我没有在文档中找到任何东西.我是不是做错了什么--即我的结果合理吗？
当然，我是在独立的虚拟环境中运行这些代码的。
spacy 1-这很好用：
print(nlp('apples').similarity(nl
浏览 3提问于2017-10-06得票数 2
2回答
我正在从文档(Pdfs)中进行命名实体提取。每个pdf包含一组实体(近16个不同类型的实体)
下面是构建NLP和ML模型的步骤：
Step 1：解析文档。收到了近200万张代金币(单词)。利用这些词和CBOW方法建立word2vec模型。
Step 2：通过使用word2vec模型，生成双关词的向量。
Step 3：根据领域，我给单词(向量)贴上了用于培训、验证和测试的标签。
Step 4：利用标注的数据，训练神经网络模型。
Step 5：一旦建立了模型，就给出模型的测试数据(单词)。准确率达85%。
直到现在一切都很顺利。但问题在于下一步。:(
Step 6：
浏览 5提问于2017-10-14得票数 0
回答已采纳
为什么像西班牙语(es_dep_news_trf)这样的语言的空间转换器模型没有命名实体识别。
然而，对于英语(en_core_web_trf)，它是这样的。
代码：
import spacy
nlp=spacy.load("en_core_web_trf")
doc=nlp("my name is John Smith and I work at Apple and I like visiting the Eiffel Tower")
print(doc.ents)
(John Smith, Apple, the Eiffel Tower)
浏览 7提问于2022-07-18得票数 0
回答已采纳
我想知道如何使用来训练一个NLP日志线性模型，用于命名实体识别(NER)。
用于定义条件概率的典型的对数线性模型如下：
通过以下方式：
x:现在这个词
y:被考虑的单词的类别
f:特征向量函数，它将单词x和类y映射到标量向量。
v:特征权重向量
sklearn.linear_model.LogisticRegression能训练出这样的模型吗？
问题是特性取决于类。
浏览 4提问于2015-10-20得票数 6
回答已采纳
我正试着训练新的实体为斯佩西纳。我尝试将我的新实体添加到现有的spacy 'en‘模型中。然而，这影响了'en'和我的新实体的预测模型。
因此，我建立了一个空白模型并训练了实体识别。这个效果很好。然而，它只能预测我训练过的对象，而不能预测常规的spacy实体识别。
比如说我把“马”训练成动物实体。
对于给定的文本
txt ='Did you know that George bought those horses for 10000 dollars?'
我期待着下列实体得到认可
George - PERSON
horses - ANIMAL
10000
浏览 0提问于2019-02-24得票数 15
1回答
我知道这个问题可能不适合这样做，但请让这个问题暂时留在这里。上一次我的问题被转移到交叉验证，它冻结了，没有更多的观点或反馈。
我遇到了一个对我来说没有什么意义的问题。如何通过NLP询问？将IFC模型视为语义丰富的结构化数据。IFC定义了一个基于表达式的实体关系模型，该模型由组织成基于对象的继承层次结构的实体组成。实体的示例包括构建元素、几何学和基本构造。
如何才能将NLP用于这类数据？我觉得NLP一点也不相关。
浏览 2提问于2016-11-04得票数 4
回答已采纳
2回答
我的spacy版本是2.3.7。我有一个现有的自定义NER模型和实体规则管道。我想更新和重新培训这个现有的管道。
创建实体标尺管道的代码如下-
ruler = EntityRuler(nlp)
for i in patt_dict:
ruler.add_patterns(i)
nlp.add_pipe(ruler, name = "entity_ruler")
其中patt_dict是我制作的原始模式字典。
现在，在完成训练之后，现在我有了更多的输入数据，并且希望用新的输入数据来更多地训练模型。
当我稍后加载spacy模型并希望用更多的输入数据重新训练它时，我如何修改上面的
浏览 4提问于2021-07-27得票数 1
回答已采纳
1回答
我正在使用Gensim来训练Word2Vec。我知道单词的相似性取决于单词在句子中是否能相互替代并有意义。但是，可以使用单词相似性来提取实体之间的关系吗？
例如:我有一堆面试文件，在每次面试中，应聘者总是说出他们经理的名字。如果我想从这些面试记录中提取经理的名字，我可以只获得文档中所有人的名字的列表(使用nlp)，并且使用Word2Vec与单词" manager“最相似的名字最有可能是经理。
这个思考过程对Word2Vec有意义吗？如果没有，那么ML解决这个问题的方法是将我的单词嵌入到序列到序列模型中吗？
浏览 5提问于2018-01-26得票数 4
回答已采纳
2回答
我对NLP这个主题是个新手，我被要求使用Mallet执行-named实体识别(NER)。我有一个文本，我给出了其中每个单词的特征向量。我想训练一个模型，稍后我可以在新鲜的文本文件上测试。我的问题是如何创建这样的模型，模型的输入是什么。我可以使用一些代码示例:)谢谢！
浏览 1提问于2011-07-21得票数 2
1回答
我试图使用创建一个新的实体分类“物种”，并列出一个物种名称，例如，他能找到吗？
我找到了一个教程，用于从 (Github代码)中训练新的实体类型。然而，问题是，我不想手动为每个物种的名字创建一个句子，因为这将是非常耗时的。
我创建了下面的培训数据，如下所示：
TRAIN_DATA = [('Bombina',{'entities':[(0,6,'SPECIES')]}),
('Dermaptera',{'entities':[(0,9,'SPECIES')]}),
....
]
我创建培训集
浏览 0提问于2018-05-29得票数 14
1回答
我正在为我的硕士论文开发一个命名实体识别功能。我想利用"en_core_web_sm“语言包来训练识别产品的能力。 在训练模型之前，未经训练的模型("en_core_web_sm")能够识别不同的实体，如“PERSON”、“ORG”、“GPE”、“DATE”、……在“验证句子中。产品偶尔会被识别，但标签通常是不正确的。在训练模型之后，只有'PRODUCT‘类型的实体被识别，而没有其他实体，尽管应该有个人，组织，...被识别。 我感觉我的模型忘记了其他实体，在训练之后只“知道”了产品实体。 这是我的训练代码： #nlp = spacy.load("en_
浏览 22提问于2021-06-23得票数 1
回答已采纳
1回答
训练自定义NER模型
、、、、
我一直在一些文本上训练我的NER模型，并试图在其中找到具有自定义实体的城市。
示例：-
('paragraph Designated Offices Party A New York Party B Delaware paragraph pricing source calculation Market Value shall generally accepted pricing source reasonably agreed parties paragraph Spot rate Spot Rate specified paragraph reasonably agreed
浏览 1提问于2019-12-03得票数 1
根据spacy文档，我试图通过遍历一个句子来获得单词和它的实体标记的位置
import spacy
nlp = spacy.load('en')
doc = nlp(u'London is a big city in the United Kingdom.')
for ent in doc.ents:
print(ent.label_, ent.text)
# GPE London
# GPE United Kingdom
我尝试使用ent.i和ent.idx标记来获取单词的位置，但是这两种方法都不起作用，并给出了以下错误
Attribu
浏览 2提问于2017-09-24得票数 2
回答已采纳
我一直在学习如何通过Wikipedia example here使用Sapcy.io实体链接器。 我从2000篇文章的小训练开始(它运行了20个小时)，但是结果模型不能识别或返回任何kb实体，即使是在训练中使用的文本。 nlp_kb.from_disk("/path/to/nel-wikipedia/output_lt_kb80k_model_vsm/nlp")
text = "Anarchism is a political philosophy and movement that rejects all involuntary, coercive forms
浏览 25提问于2020-09-08得票数 1
回答已采纳
出于好奇，我想问一下，为什么数字"4950“在spaCy v3.1.3中有”名词“的词性( PoS )，使用葡萄牙语中的大模型。它不在GitHub令牌例外文件()中。
nlp = spacy.load('pt_core_news_lg')
doc = nlp('4950')
print(doc[0].text, doc[0].pos_)
#4950 NOUN
有没有办法知道其他的特殊情况是什么？
浏览 16提问于2021-11-11得票数 2
1回答
理解词嵌入的迁移学习
、、、、
我无法想象预先训练过的单词嵌入的迁移学习在NLP任务(比如命名实体识别)中是如何有用的。我正在学习Andrew NG的序列模型课程，他似乎说，如果目标任务的训练集非常少，那么转移单词嵌入的学习将有助于在应用程序中处理训练集中的未知单词。
让我们考虑命名实体识别的任务，
我的问题是，为目标任务设置的很小的训练内容是什么？它们是带有实体标记的单词嵌入还是句子？
他是否认为，如果训练集只是在预先训练过的模型中有嵌入词的标记句，那么训练集中不存在但更接近训练集的单词也会在应用程序中被有效捕获？
考虑一下‘橘子’正在训练中。但是，“苹果”并不是。
所以，在“我喜欢橘子汁”和“我喜欢苹果汁”这两个句子中，
浏览 0提问于2020-07-27得票数 1
假设我有一个字符串，想要标记一些实体，比如组织。
string = I was working as a marketing executive for Bank of India, a 4 months..
string_tagged = I was working as a marketing executive for [Bank of India], a 4 months..
我想要识别标记的实体旁边的单词。如何定位被标记的实体的位置并提取实体旁边的单词？
我的代码：
import spacy
nlp = spacy.load('en')
doc = nlp(s
浏览 0提问于2018-05-17得票数 3
我在浏览spaCy标准en模型的字典时遇到了一个我不理解的不一致之处：
import spacy
nlp = spacy.load('en')
'irritably' in spacy.en.language_data.LEMMA_INDEX['adv'] # True
'irritably' in nlp.vocab # False
到目前为止，这是我在nlp.vocab中唯一找不到的单词。你知道为什么它不在那里吗？这里我的误解是什么？
浏览 1提问于2017-07-27得票数 2
我需要来自Spacy words的所有单词。假设我将spacy模型初始化为 nlp = spacy.load('en') 如何从nlp.vocab获取单词文本
浏览 9提问于2019-02-03得票数 14
回答已采纳
1回答
我试着在tweet上做命名实体识别(nlp)，以确定一条推文是否涉及疾病。为此，我目前正尝试在gensim中创建我自己的word2vec，并导入它们，以便在spacy中训练一个新的ner模型。我的问题是，需要多少数据才能为我的目的创建一个有用的单词向量？
浏览 5提问于2022-09-28得票数 0
我已经看到，NLP模型(如 )利用WordPiece进行令牌化。在playing中，我们将像play和##ing.这样的令牌拆分为有人提到，它涵盖更广泛的范围外词汇(OOV)的词汇.请有人帮我解释一下WordPiece标记化是如何实现的，它是如何有效地处理稀有/OOV单词的？
浏览 0提问于2019-03-27得票数 52
回答已采纳
我想从诺基亚here location api获取商业信息。下面是我的代码：
$NokiaPlaceURL = 'http://places.nlp.nokia.com/places/v1/discover/search?app_id='.APP_ID.'&app_code='.APP_CODE.'&at='.$at.'&q='.$keyword.'&size=10';
//echo $NokiaPlaceURL; exit;
$NokiaPlaceU
浏览 3提问于2013-04-23得票数 1
回答已采纳
假设我有一个包含星期几的数据集:星期六、太阳、星期一等。 我使用了用嵌入替换类别的技术。而在我使用1-hot编码转换“星期”特性之前，实体嵌入为我提供了每一天的向量。 如何在我的模型中使用这些向量？ 类似的问题也适用于NLP分类任务。说之前，我会有一个热编码的所有单词在我的词汇表，所以每一列对应一个单词。现在我有了代表每个单词的向量。这将如何改变模型？例如，我是否需要将3D张量提供给逻辑回归？
浏览 13提问于2020-06-30得票数 0
我试图训练en_core_web_sm模型使用以下代码添加一个新的实体EMAIL：
LABEL = "EMAIL"
TRAIN_DATA = [
(
"My email address is XXXX@gmail.com",
{"entities": [(20, 37, LABEL)]},
),
("you can email me @ XXXXX@ai.xXx.com?", {"entities": [(19,
浏览 0提问于2019-04-01得票数 0
1回答
spacy是如何重新训练模型的？
、、、、
之前的令牌'Modi‘被spacy识别为一个组织，我用下面的代码重新训练它：
import spacy
import random
nlp = spacy.load('en')
nlp.entity.add_label('CELEBRITY')
TRAIN_DATA = [
(u"Modi", {"entities": [(0, 4, "PERSON")]}),
(u"India", {"entities": [(0, 5, "GPE
浏览 20提问于2019-07-23得票数 0
2回答
我有下面这句话：
I want to ____ the car because it is cheap.
我想使用NLP模型来预测缺失的单词。我应该使用哪种NLP模型？谢谢。
浏览 2提问于2019-03-04得票数 8
英语语言模式在德语敬语实体上的表现是否比德语模型更好？
# pip install spacy
# python -m spacy download en
# python -m spacy download de
nlp = spacy.load('en')
# Uncomment line below to get less good results
# nlp = spacy.load('de')
# Process text
text = (u"Das Auto kauft Herr Müller oder Frau Meier, Frank
浏览 0提问于2018-07-25得票数 0
我想使用荷兰模型对命名实体进行识别。
我找到了一个训练有素的模型，但它似乎不能与CoreNLP互操作。
为什么会这样呢？除了英语、汉语和西班牙语之外，我们还能使用核心NLP吗？
浏览 1提问于2015-04-23得票数 1
回答已采纳
1回答
我目前正在使用spaCy来实现NLP (主要是柠檬化和标记化)。所使用的模型是web (2.1.0)。
运行以下代码从查询中检索单词“已清除”的列表
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp(query)
list_words = []
for token in doc:
if token.text != ' ':
list_words.append(token.lemma_)
但是，在运行此代码时，我面临一个主要问题。例如，当查询是“处理茶叶”时。存储在list_
浏览 3提问于2019-04-26得票数 0
回答已采纳
我已经在spacy的5个实体的空白模型上进行了训练，现在我已经用2个新实体创建了一个新数据。在具有5个实体的旧模型上进行训练， nlp.add_label(LABEL) 给出错误： AttributeError：'English‘对象没有'add_label’属性 Spacy版本: 2.1.4 Python : 3.6
浏览 12提问于2019-09-03得票数 1
2回答
我是Python和NLP (使用SpaCy)的新手，所以我希望有人能帮我。我想要在我的文本中检测命名实体，并且在我想从NE中获得5个左右的单词之后检测命名实体。 我已经找到了NEs，但我却无法找到“周围的单词”。 import spacy
nlp=spacy.load("en_core_web_sm")
doc = nlp(open(path to my text).read())
for index, token in enumerate(doc.ents):
if token.label_ == "PERSON" and token.tex
浏览 24提问于2019-06-03得票数 3
1回答
我正在研究NLP方法，将可能具有相同含义的单词/短语组合在一起。例如，在“表被打破”这个句子中，可以用下面的单词/短语来代替，这个句子的意思仍然是一样的。
损坏:损坏，毁坏，破碎，不适合使用，失去一条腿
我想这样做的文本包含特定的领域和口语行话，所以现有的NLP解决方案可能不适合？
我打算这样做，作为命名实体提取和命名实体链接之间的桥梁步骤。
浏览 0提问于2018-11-14得票数 2
下面的演示如何添加实体跨越多个令牌的自定义实体规则。这样做的代码如下：
import spacy
from spacy.pipeline import EntityRuler
nlp = spacy.load('en_core_web_sm', parse=True, tag=True, entity=True)
animal = ["cat", "dog", "artic fox"]
ruler = EntityRuler(nlp)
for a in animal:
ruler.add_patterns([{"
浏览 0提问于2019-08-17得票数 6
回答已采纳
我想做的是：
从文本中标记句子
计算句子中每个单词的命名实体
这就是我到目前为止所做的：
nlp = spacy.load('en')
sentence = "Germany and U.S.A are popular countries. I am going to gym tonight"
sentence = nlp(sentence)
tokenized_sentences = []
for sent in sentence.sents:
tokenized_sentences.append(sent)
for s in
浏览 2提问于2017-11-26得票数 2
回答已采纳
我已经有了一个现有的spaCy模型，我想在运行时用额外的训练数据来改进它。
例如，我的训练模型中的训练dataSet如下所示：
text="Anna lives in Munich and works at BMW"
entity: name=Anna
entity: city=Munich
entity: company=BMW
在我的实现中，在开始新的训练之前，我从现有模型中获取ner：
nlp = spacy.load(modelPath)
ner = nlp.get_pipe('ner')
然后我用新的TrainingData训练我现有
浏览 2提问于2020-07-29得票数 0
2回答
我正在做一个从文本中提取日期/时间实体的项目。我正在使用一个基于规则的系统来提取时态表达式，并将它们固定到一个实际的日期/时间。
我希望解决的问题的第二部分是标记每个发现的实体的角色。例如，考虑以下文本：“下午2点离开，下午4点返回”。我正确地识别了下午2点和4点为日期/时间实体。但是，我不能说实体是“开始时间”、“结束时间”，还是两者都不是。
问题是我该怎么做？
我对NLP和ML很陌生。以下是我的一个想法，如果我走的方向是对的，请告诉我：
该计划是训练一个逻辑回归(或朴素贝叶斯？)使用以下特性的分类器：
每个单词嵌入在日期/时间短语的窗口中的单词的平均值。
日期/时间短语窗口内每个单词的PO
浏览 0提问于2020-01-18得票数 2
回答已采纳
1回答
我有这个文本(代码中的text2 )，它有3个'by‘单词，我想使用Spacy来提取人名(全名，即使是3个单词，一些种族使用长名字，在本例中为2)。代码如下，我的模式显示错误。我的意图是:首先用ORTH修改'by‘这个词，然后告诉程序接下来要做的就是名为PERSON的词性实体。如果有人帮我，我会很高兴的： import spacy
from spacy.matcher import Matcher
matcher = Matcher(nlp.vocab)
text2 = 'All is done by Emily Muller, the leaf is burned
浏览 23提问于2021-03-29得票数 1
1回答
我已经训练了一个名为实体识别模型的定制SpaCy。我使用以下方法将模型保存到磁盘：
nlp.to_disk()
从而将模型保存在文件夹中。是否可以将nlp对象设置为泡菜文件？
浏览 0提问于2020-08-11得票数 1
回答已采纳
我有一个预先训练好的word2vec模型，我将其加载到spacy中以向量化新单词。给定新文本，我执行nlp('hi').vector来获得单词'hi‘的向量。 最终，一个新词需要被矢量化，这在我的预训练模型的词汇表中并不存在。在这个场景中，spacy默认是一个用零填充的向量。我希望能够为OOV术语设置此默认向量。 示例： import spacy
path_model= '/home/bionlp/spacy.bio_word2vec.model'
nlp=spacy.load(path_spacy)
print(nlp('abcdef'
浏览 40提问于2019-08-26得票数 1
回答已采纳
I成功地训练了一个空间实体链接模型(显然是通过限制数据)。
我的问题是如何将kb中实体的描述显示为输出？
import spacy
nlp = spacy.load(r"D:\el model\nlp")
doc = nlp("Amir Khan is a great boxer")
ents = [(e.text, e.label_, e.kb_id_) for e in doc.ents]
print(ents)
浏览 7提问于2019-12-13得票数 0
回答已采纳
在训练了一个模型之后，我试图解析测试树库。不幸的是，这个错误不断出现：
Loading depparse model file: nndep.model.txt.gz ...
###################
#Transitions: 77
#Labels: 38
ROOTLABEL: root
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 25
at edu.stanford.nlp.parser.nndep.Classifier.preCompute(Clas
浏览 0提问于2015-11-16得票数 1
回答已采纳
我有以下熊猫数据帧- df1。列式句子由字符向量组成 Sentence
Hello Xime
Work Yime
New Zime 我使用了一个名为nlp_mod的自然语言处理模型。在对模型进行训练后，我创建了第二个专栏，如下所示 df1["Col1"]=[nlp(i).ents for i in df1["Sentence"]]
Sentence Col1
浏览 24提问于2020-10-01得票数 0
回答已采纳
我正在尝试训练一个自定义的NER模型来识别41个实体(训练集大约有6000行)
当我尝试运行中提供的培训命令时：
java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop austen.prop
这是我面临的错误：
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at edu.stanford.nlp.optimization.AbstractCachingDiffFunction.en
浏览 1提问于2019-07-08得票数 1
回答已采纳
我一直在寻找使用拥抱脸的管道为NER (命名实体识别)。然而，它正在返回实体标签的内部-外部开始(IOB)格式，但.因此，我无法将管道的输出映射回我的原始文本。此外，输出以BERT令牌化格式掩蔽(默认模型为BERT-large)。
例如：
from transformers import pipeline
nlp_bert_lg = pipeline('ner')
print(nlp_bert_lg('Hugging Face is a French company based in New York.'))
产出如下：
[{'word': &#
浏览 8提问于2020-03-30得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
