Spacy Textcat的自定义损失函数
Spacy是一个流行的自然语言处理（NLP）库，其中的Textcat组件用于文本分类任务。Textcat模型可以通过训练来识别文本属于哪个预定义的类别。自定义损失函数是在训练Textcat模型时使用的一种技术，它允许我们根据特定的需求和数据集来定义自己的损失函数。
自定义损失函数的优势在于可以更好地适应特定的文本分类任务。通过定义自己的损失函数，我们可以根据任务的特点和目标来调整模型的训练方式，从而提高分类的准确性和性能。
应用场景：
- 情感分析：通过自定义损失函数，可以训练Textcat模型来对文本进行情感分类，例如判断一段文本是正面的还是负面的情感。
- 主题分类：通过自定义损失函数，可以训练Textcat模型来对文本进行主题分类，例如将新闻文章分类为体育、政治、娱乐等不同的主题。
- 垃圾邮件过滤：通过自定义损失函数，可以训练Textcat模型来对电子邮件进行分类，将垃圾邮件和正常邮件区分开来。
腾讯云相关产品： 腾讯云提供了一系列与自然语言处理相关的产品和服务，可以用于支持Spacy Textcat模型的训练和部署。
- 腾讯云自然语言处理（NLP）：提供了文本分类、情感分析、关键词提取等功能的API接口，可以用于快速实现文本分类任务。 产品链接：https://cloud.tencent.com/product/nlp
- 腾讯云机器学习平台（Tencent Machine Learning Platform，TMLP）：提供了强大的机器学习和深度学习工具，可以用于自定义损失函数的开发和模型训练。 产品链接：https://cloud.tencent.com/product/tmlp
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：提供了高性能的容器集群管理平台，可以用于部署和运行Spacy Textcat模型。 产品链接：https://cloud.tencent.com/product/tke
请注意，以上提到的腾讯云产品仅作为示例，其他云计算品牌商也提供类似的产品和服务，可以根据具体需求选择适合的解决方案。
相关·内容
我正在尝试使用spacy 2.1.3创建一个二进制分类器，为了执行过拟合测试，我想评估测试样本上的损失。在他们的教程中，损失被用作参数，并以某种方式更新： https://github.com/explosion/spaCy/blob/master/examples/training/train_textcat.py#L90 我找不到任何关于如何在我的测试样本上评估它的例子。理想情况下，我希望生成如下所示的图： https://machinelearningmastery.com/learning-curves-for-diagnosing-machine-learning-model-pe
浏览 10提问于2019-06-10得票数 2
我刚刚使用Space3.0训练并实现了一个文本分类器。一切顺利，但我希望可视化矢量化文档([13, 0, 0, 120..etc])，以便更好地理解驱动单词袋(BoW)模型在特定类中对文档进行分类的特性(words)。
nlp = spacy.load('./nlp_single_label_cli/output/model-best')
documents = pd.read_csv(target_directory+'_ocr.csv')
...
test_texts = documents['text'].values
test_d
浏览 7提问于2022-03-28得票数 1
1回答
我正在尝试加载我之前训练过的spaCy文本分类模型。训练完成后，模型被保存到en_textcat_demo-0.0.0.tar.gz文件中。 我想在jupyter笔记本上使用这个模型，但是当我这样做的时候 import spacy
spacy.load("spacy_files/en_textcat_demo-0.0.0.tar.gz") 我得到了 OSError: [E053] Could not read meta.json from spacy_files/en_textcat_demo-0.0.0.tar.gz 在这里加载模型的正确方法是什么？
浏览 23提问于2021-07-27得票数 1
回答已采纳
1回答
我正在尝试进行多类分类，使用crowdflower文本分类.Below是我的代码：
from __future__ import unicode_literals, print_function
from __future__ import unicode_literals
from pathlib import Path
import pandas as pd
import spacy
from spacy.util import minibatch, compounding
def main(model=None, output_dir=None, n_iter=20):
浏览 9提问于2018-02-25得票数 3
5回答
我一直在努力练习从本教程中学到的东西：()使用PyCharm。
这一行：
textcat.add_label("pos")
生成一个警告：找不到引用'add_label‘in '( Doc ) -> DocAC.26 (Doc) -> Doc'
我理解这是因为"nlp.create_pipe()“生成一个Doc，而不是一个字符串，但是(本质上是因为我不知道在这种情况下该做什么！)无论如何，我运行了这个脚本，但是我从这一行中得到了一个错误：
textcat = nlp.create_pipe("textcat", con
浏览 5提问于2021-03-24得票数 6
1回答
空间-变压器回归输出
、、、
我希望有一个回归输出，而不是分类。例如:不需要n个类，而是需要从0到1的浮点输出值。
下面是来自package页面的极简示例：
import spacy
from spacy.util import minibatch
import random
import torch
is_using_gpu = spacy.prefer_gpu()
if is_using_gpu:
torch.set_default_tensor_type("torch.cuda.FloatTensor")
nlp = spac
浏览 5提问于2020-03-19得票数 1
回答已采纳
1回答
我的语料库中有一些短语需要spacy来忽略(希望避免过度匹配)。它们是相当简单的正则表达式公式，我也可以用Spacy's基于规则的匹配的格式来编写。
在进入NER和TextCat管道之前，我希望在我的模型中将匹配标记为停用词。我看到了如何编写匹配器，但我不确定如何将其合并到我的模型中？我只是将其添加为管道吗？
谢谢!
浏览 15提问于2018-02-23得票数 3
1回答
SpaCy二进制文本分类
、、、
我有两个文件夹的数据集。其中一个包含与个人信息(如姓名、电子邮件、地址等)相关的文档(文本、pdfs)，另一个包含非个人信息。
我必须使用Spacy训练一个基于这两个文件夹的模型。因此，当我们预测一个给定的文档时，它应该在这两个文件夹之间进行预测。
我试着写了很多借鉴吉顿的代码，但似乎什么都没有用。
所以，有人能给我一个代码样本来根据上面给出的信息来训练一个模型并进行预测吗？
我在下面的代码上做了一些操作
import spacy
from spacy import displacy
from spacy.util import minibatch, compounding
train_da
浏览 0提问于2019-07-22得票数 0
1回答
斯佩西的伯特模型学不到
、、、、
我一直在尝试使用spaCy的预先训练的伯特模型( de_trf_bertbasecased_lg )来提高我的分类项目的准确性。我过去经常用de_core_news_sm从头开始构建一个模型，一切都很好:我的准确率在70%左右。但现在我使用的是伯特预培训模型，我获得了0%的准确率。我不认为它有那么糟糕的效果，所以我假设我的代码只是一个问题。我可能错过了一些重要的东西，但我想不出是什么。我以中的代码为例。
这是我的代码：
import spacy
from spacy.util import minibatch
from random import shuffle
spacy.require_
浏览 3提问于2020-05-21得票数 2
回答已采纳
我目前正在构建一个带有自定义NER、实体链接器和Textcat组件的spacy管道。对于我的实体链接器组件，我已经修改了candidate_generator()以适应我的用例。我借鉴了的演示项目。下面是我的custom_functions代码。
import spacy
from functools import partial
from pathlib import Path
from typing import Iterable, Callable
from spacy.training import Example
from spacy.tokens import DocBin
fro
浏览 1提问于2022-05-16得票数 0
回答已采纳
我正在尝试转换到Spacy 3.0的训练配置文件框架，但在调整设置以适应我想要做的事情时遇到了麻烦。简单地说，我想使用一个开箱即用的textcat模型(比方说，词袋)，但传入由预先训练的转换器(例如，bert base base)生成的词嵌入，而不进行任何微调。到目前为止，我一直在使用Spacy网站上提供的texcat配置模板。 任何帮助都将不胜感激。如有必要，我可以提供更多详细信息。谢谢!
浏览 21提问于2021-03-22得票数 1
回答已采纳
我正在尝试用spaCy编写一个最小的文本分类器。我编写了以下代码片段来训练文本分类器(不训练整个NLP管道)：
import spacy
from spacy.pipeline import TextCategorizer
nlp = spacy.load('en')
doc1 = u'This is my first document in the dataset.'
doc2 = u'This is my second document in the dataset.'
gold1 = u'Category1'
gold2
浏览 0提问于2018-05-15得票数 1
使用textcat进行spacy文本分类的例子很少。类似这样的东西
def load_data(limit=0, split=0.8):
train_data = train
np.random.shuffle(train_data)
train_data = train_data[-limit:]
texts, labels = zip(*train_data)
cats = [{'POSITIVE': bool(y)} for y in labels]
split = int(len(train_data) * spli
浏览 12提问于2019-08-10得票数 0
1回答
这是一个简单的代码，它是从教程文档中提取的(或多或少)。一旦我使用下面的训练代码训练了NER模型，我就在for循环中使用nlp(sentence).ents来获取命名实体。如您所见，我使用了一个空白模型spacy.blank('en') --这是因为我要添加新的实体。但是没有从测试集中检测到任何实体。
import spacy
import random
from spacy.util import compounding
from spacy.util import minibatch
def get_batches(train_data, model_type):
浏览 2提问于2019-01-28得票数 1
2回答
在阅读了并做了之后，我想我会做一个小演示。原来我的模特不想训练。这是密码
import spacy
import random
import json
TRAINING_DATA = [
["My little kitty is so special", {"KAT": True}],
["Dude, Totally, Yeah, Video Games", {"KAT": False}],
["Should I pay $1,000 for the iPhone X?", {"K
浏览 3提问于2019-05-23得票数 6
回答已采纳
1回答
我正在尝试使用spaCy训练一个基本的文本分类模型。我有一个文本列表，我想建立一个模型，将文本分类为outcome1或outcome2。假设我的数据是这样的：
texts = ["This is the first example text",
"This is the second example text",
"This is yet another text"]
y = ["outcome2", "outcome1", "outcome1"]
我的问题是，我
浏览 9提问于2021-07-23得票数 5
我正在尝试用SpaCy训练一个文本分类管道： import spacy
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe("textcat", last=True)
other_pipes = [pipe for pipe in nlp.pipe_names if pipe != 'textcat']
with nlp.disable_pipes(*other_pipes):
optimizer = nlp.begin_training()
# training logic 但是，
浏览 155提问于2021-02-25得票数 4
回答已采纳
问题：--我有数以百万计的记录需要使用一堆spacy textcat_multilabel模型进行转换。
// sudo code
for model in models:
nlp = spacy.load(model)
for groups_of_records in records: // millions of records
new_data = nlp.pipe(groups_of_records) // data is getting processed bulk
// process data
bulk_cre
浏览 17提问于2022-05-19得票数 1
2回答
我在装有python3的windows系统上运行spaCy v2.x。我没有管理员权限，因此我必须将管道调用为： nlp = en_core_web_sm.load() 当我在*nix机器上运行相同的脚本时，我可以像这样加载管道： nlp = spacy.load('en', disable = ['ner', 'tagger', 'parser', 'textcat']) 我所做的就是标记化，所以我不需要整个管道。在windows机器上，如果我像这样加载管道： nlp = en_core_web_sm.load
浏览 55提问于2018-12-20得票数 10
回答已采纳
1回答
我正在构建一个SpaCy管道，并希望将句子拆分为单独的Doc对象。根据，定制管道组件以单个Doc对象作为输入，并返回单个Doc对象。然而，我想输入文本的段落/部分，让SpaCy管道将每个Doc的句子作为自己的Doc传递给管道的下一个组件。这似乎是不可能的，我希望找到一个解决办法。
我们希望这样做，因为我们已经培训了一个textcat组件，它对与我们的用例相关的句子进行分类。但是，没有在textcat组件之前拆分句子，我们只能得到对整个Doc对象的预测。
本质上，我想做以下工作，但是将其封装为一个SpaCy @Language.component
relevant_sents = []
for
浏览 14提问于2022-06-07得票数 2
回答已采纳
我一直在遵循spaCy的文本分类快速入门指南。
假设我有一个非常简单的数据集。
TRAIN_DATA = [
("beef", {"cats": {"POSITIVE": 1.0, "NEGATIVE": 0.0}}),
("apple", {"cats": {"POSITIVE": 0, "NEGATIVE": 1}})
]
我正在训练一个管道来对文本进行分类。它经过训练，损失率很低。
textcat = nlp.create_pipe("p
浏览 12提问于2019-08-06得票数 2
回答已采纳
1回答
关于示例中使用的小型批处理，我有一个问题。
主训练回路如下所示：
for i in range(n_iter):
losses = {}
# batch up the examples using spaCy's minibatch
batches = minibatch(train_data, size=compounding(4., 32., 1.001))
for batch in batches:
texts, annotations = zi
浏览 0提问于2019-01-13得票数 1
2回答
在加载手套模型时，我面临以下属性错误：
用于加载模型的代码：
nlp = spacy.load('en_core_web_sm')
tokenizer = spacy.load('en_core_web_sm', disable=['tagger','parser', 'ner', 'textcat'])
nlp.vocab.vectors.from_glove('../models/GloVe')
当尝试加载手套模型时，获取以下属性错误：
AttributeError: '
浏览 8提问于2022-03-17得票数 2
回答已采纳
因此，我使用Spacy 3.0来训练基本上所有管道与自定义数据。奇怪的是，Spacy似乎从另一个模型(可能是en_core_web_md )中获取了NER管道的实体。所以，如果我在spacy中输入“谁是兵营奥巴马”这个句子，它就会检测到个人实体的名字，这不是我想要的行为，因为我只想和自己的实体一起工作。
不过，我似乎找不出它为什么要来源这些实体，这是我的配置：
[paths]
train = "trainer/data/sent_train.spacy"
dev = "trainer/data/sent_train.spacy"
vectors = "e
浏览 6提问于2022-03-27得票数 1
1回答
我想知道--如果我正在进行文本分类(例如，使用SpaCy，使用textcat-multi )，如果一个NER组件在管道中，那么这些结果会改进吗？我的想法是:如果像“高级Javascript Developer”这样的句子被归类为"A“(或任何其他类别)，如果Javascript被标记为"Programming Language”实体或类似的，那么textcat会把它取出来，然后用它来表示，例如"Python“这样的句子，因为该实体(并且也将被归类为"A")而类似吗？当然，假设Python也是一个“编程语言”实体。
我对它的理解是，textcat组件将接受
浏览 7提问于2022-04-29得票数 1
在spacy的文本分类示例中，有两个标签指定了正和阴性。因此，猫的得分被表示为
cats = [{"POSITIVE": bool(y), "NEGATIVE": not bool(y)} for y in labels]
我正在使用多标签分类，这意味着我有两个以上的标签标记在一个文本中。我增加了我的标签
textcat.add_label("CONSTRUCTION")
为了指定我用过的猫分数
cats = [{"POSITIVE": bool(y), "NEGATIVE": not bool(y)} for y
浏览 5提问于2020-06-12得票数 4
嗨，我正在用新的SpaCy模型en_pytt_bertbaseuncased_lg实现一个多分类模型(5个类)。新管道的代码如下：
nlp = spacy.load('en_pytt_bertbaseuncased_lg')
textcat = nlp.create_pipe(
'pytt_textcat',
config={
"nr_class":5,
"exclusive_classes": True,
}
)
nlp.add_pipe(textcat, last = T
浏览 2提问于2019-08-13得票数 5
回答已采纳
1回答
我正在设置一个带有多个标签的spaCy spancategorizer。我已经为不同的标签使用doc.span[label]注释了我的培训数据，并将其保存为列车/开发数据。当我运行培训时，我会收到此错误：
ValueError:未初始化的组件“spancat”的E143标签。可以通过调用add_label或向组件的initialize方法提供一批有代表性的示例来解决这一问题。
我已经在配置文件的components.spancat spans_key部分中添加了标签。
我已经生成了一个示例对象，它也包含标签，但是这些标签也是不被识别的。
def get_examples():
for
浏览 6提问于2022-09-08得票数 1
回答已采纳
这段代码在使用Spacy 2.3.1时工作正常，但在使用Spacy 3.0.1时在第三行抛出异常(我们还将scispacy从.0.2.5更新为0.4.0：
entity_linker = UmlsEntityLinker(resolve_abbreviations=True)
nlp = spacy.load('en_core_sci_sm')
nlp.add_pipe(entity_linker)
例外是：
ValueError at /scispacy/label_text/ E966 nlp.add_pipe现在使用注册组件工厂的字符串名称，而不是可调用组件。预期的字符
浏览 7提问于2021-03-05得票数 0
回答已采纳
背景
我试图在Google笔记本中训练一个multiclass (标签是相互排斥的)文本分类模型。这些课程是
正向
负面
中性
我将培训数据形成为指定的注释格式。
下面是我所做的注释示例
[.
.
["Happy #MothersDay to all ... ", {'cats': {'NEUTRAL': 1.0}}],
["Happy mothers day ..", {"cats": {"POSITIVE": 1.0}}],
.
.]
问题
当我尝试使用spacy中的选项调试
浏览 2提问于2020-05-25得票数 0
回答已采纳
2回答
是否有人按时间顺序列出了由
import spacy
nlp = spacy.load('en_core_web_sm')
doc = nlp(text)
我可以看到nlp.pipe_names的主要组件
['tagger', 'parser', 'ner']
和一个按字母顺序排列的nlp.factories工厂操作列表
{'merge_entities': <function spacy.language.Language.<lambda>>,
'merge_noun_chunk
浏览 1提问于2018-09-28得票数 2
回答已采纳
我正在尝试创建带有专用类和“蝴蝶结”架构的TextCategorizer，但是由于版本问题，它抛出了下面的错误，我的python版本是3.8，我的spacy版本也是3.2.3，请有人帮我解决这个问题。
######## Main method ########
def main():
# Load dataset
data = pd.read_csv(data_path, sep='\t')
observations = len(data.index)
# print("Dataset Size: {}".format(obs
浏览 22提问于2022-03-06得票数 1
回答已采纳
1回答
我正在试验信息提取的空间，并希望返回给定的标记，例如介词对象(pobj)和任何化合物。
在下面的例子中，我试图编写返回“雷达旋转”的代码。
到目前为止，我已经尝试过：
#component/assy
import spacy
# load english language model
nlp = spacy.load('en_core_web_sm', disable=['ner','textcat'])
def component(text):
doc = nlp(text)
for token in doc:
浏览 8提问于2022-05-11得票数 0
1回答
我目前正在训练一个多标签文本分类的SpaCy模型。有6个标签:愤怒、期待、厌恶、恐惧、joy、悲伤、惊讶和信任。数据集超过200 K。然而，每一时期都需要4个小时。我想知道是否有一种方法可以优化训练并加快速度，也许我在这里跳过了一些可以改进模型的东西。
TRAINING_DATA
TRAIN_DATA = list(zip(train_texts, [{"cats": cats} for cats in final_train_cats]))
[...
{'cats': {'anger': 1,
'anticipation
浏览 3提问于2020-09-04得票数 1
回答已采纳
我正在尝试在一些培训数据上创建一个自定义模型。为此，我想培训一个自定义文本分类模型。这是我的方法(简化)：
首先，我有一些训练数据，看起来如下：
train_data = [('Some text....', {'cats': {'POSITIVE': True, 'NEGATIVE': False}}), ("Another text......", {'cats': {'POSITIVE': True, 'NEGATIVE': False}})]
然后，我尝试创建
浏览 0提问于2021-02-19得票数 0
我试过运行下面的命令，它显示要求已经满足，但我仍然无法加载'en_core_web_sm‘。我也尝试过从anaconda prompt和jupyter notebook下载这个库。 nlp = spacy.load('en_core_web_sm',disable=['ner','textcat']) Python版本- Python 3.8.3 任何帮助都将不胜感激。 命令截图： ? 错误屏幕截图： ? anaconda提示的屏幕截图： ?
浏览 80提问于2020-11-06得票数 0
回答已采纳
关于上一篇关于stackoverflow 的文章，我的问题已经部分解决了，我想分享一下在实现解决方案后出现的问题。
如果我去掉nr_class参数，我会得到这个错误：
ValueError: operands could not be broadcast together with shapes (1,2) (1,5)
我实际上认为这会发生，因为我没有指定nr_class参数。这是正确的吗？
再说一次我的多类模型代码：
nlp = spacy.load('en_pytt_bertbaseuncased_lg')
textcat = nlp.create_pipe(
&#
浏览 6提问于2019-08-14得票数 6
回答已采纳
1回答
我曾经训练过一个spacy textcat模型，但后来我意识到有一些不正确的训练数据:来自一个类别的数据碰巧被标记为另一个类别。我的问题是，在没有再培训的情况下，是否可以将这些训练样本从模型中删除？有点像nlp.update()，但反过来呢？会很感激你的帮助！
浏览 0提问于2020-04-01得票数 1
回答已采纳
我正在尝试使用spacy_langdetect包，我能找到的唯一示例代码是()：
import spacy
from spacy_langdetect import LanguageDetector
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(LanguageDetector(), name='language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)
浏览 9提问于2021-03-19得票数 11
回答已采纳
正如我被警告过的那样，SpaCy中的文档有点难以阅读。我没有软件工程师/ CS的背景，所以我真的很纠结。
我想使用SpaCy的textcat_multilabel (tm)。我已经知道了如何设置配置，以及如何训练数据w/o CLI。我还知道tm希望SpaCy为培训数据(和dev ==验证数据)提供自己的二进制格式。我知道我应该使用DocBin，但我不知道如何做到这一点。我找不到任何这里来告诉我分类器是如何想要数据的，如何告诉分类器哪些是特征，哪些是标签，如何提供标签(因为它是多标签，对我来说不太明显，我看到的少数教程是多类而不是多标签)。
如果有人能告诉我怎么做的话，那就太好了。甚至把我指向正
浏览 0提问于2023-04-19得票数 2
到目前为止，我一直在使用spacy 2.3.1，并且为我的自定义语言类训练和保存了几条管道。但是现在使用Spacy3.0和spacy.load('model-path')，我面临着一些问题，比如config.cfg file not found和其他类型的错误。
我是否要在升级后从零开始训练模特？是否有任何一步一步的迁移培训模型指南？
浏览 0提问于2021-04-18得票数 3
回答已采纳
尝试将csv中的数据转换为DocBin，以使用以下块训练具有textcat_multilabel组件的模型： def convert_cat_annontation_from_sentinelle_db(output_path, nlp, input_path, cats_empty):
#Takes in a csv file resulting from the SQL query qry_export_rdp_annotations.sql
db = db = DocBin() # create a DocBin object
annotated_data =
浏览 83提问于2021-08-18得票数 1
1回答
在将下列代码应用于数据集中的一列时，我发现存在一些困难：
import spacy
import pandas as pd
nlp = spacy.load('en_core_web_sm',disable=['ner','textcat'])
def f(text):
pos = ""
for token in text:
pos += token.pos_ + " "
return pos
df['Structure']= df.Low_Senten
浏览 3提问于2020-11-06得票数 1
回答已采纳
使用Scorer在我的测试集上获得分数时，会遇到以下错误
TypeError: score()采用两个位置参数，但给出了3个
import spacy
from spacy.tokens import Span
from spacy import displacy
from spacy.training import *
from spacy.scorer import Scorer
from spacy.util import minibatch, compounding
def evaluate(ner_model, testing_data):
scorer = Scor
浏览 0提问于2021-04-23得票数 2
回答已采纳
我在google上运行关系提取空间模型，当我使用!spacy project run all或!spacy project run train_cpu时，它可以工作，但是当我运行!spacy project run train_gpu时，它会返回以下错误：
================================= train_gpu =================================
Running command: /usr/bin/python3 -m spacy train configs/rel_trf.cfg --output training --path
浏览 10提问于2022-01-22得票数 1
我试图确定Spacy的文本分类器是否可以学习一个简单的逻辑来检测连续两个单词的存在："jhon“。经过训练后，对于这个实验，唯一重要的结果是训练样本中使用的相同文本的输出，但我一直无法让它与" jhon“而不是”match“相匹配。在分类过程中，spacy的textcat不能考虑令牌的顺序吗？
培训、评价和测试集是这4个样本的重复：
rows.append(["jhon died", 1])
rows.append(["died jhon", 0])
rows.append(["died", 0])
浏览 7提问于2022-11-21得票数 0
回答已采纳
1回答
基于Spacy的新闻文章文本分类
、、、、
Dataset：包含1500数据的Csv文件，列为(文本、标签)，其中文本是尼泊尔语的新闻文章，Label是其类型(健康、世界、旅游、天气等)。
我正在使用来训练我的文本分类模型。到目前为止，我已经将数据集转换为如下所示的数据格式
然后通过代码转换成可接受的空间格式。
dataset['tuples'] = dataset.apply(
lambda row: (row['Text'],row['Labels']), axis=1)
training_data = dataset['tuples'].tolist()
这
浏览 3提问于2020-06-09得票数 0
回答已采纳
每次我在Kaggle上运行下面的代码时，我都会得到ValueError。这是因为新版本的v3 of SpaCy
import scispacy
import spacy
import en_core_sci_lg
from spacy_langdetect import LanguageDetector
nlp = en_core_sci_lg.load(disable=["tagger", "ner"])
nlp.max_length = 2000000
nlp.add_pipe(LanguageDetector(), name='language_
浏览 10提问于2021-03-02得票数 6
回答已采纳
1回答
为了进行一项类似的研究，我正在使用已经被标记的数据(而不是spacy)。我需要使用这些令牌作为输入，以确保我全面处理相同的数据。我希望将这些标记添加到spaCy的标记中，但以下操作失败了：
import spacy
nlp = spacy.load('en', disable=['tokenizer', 'parser', 'ner', 'textcat'])
sent = ['I', 'like', 'yellow', 'bananas']
do
浏览 1提问于2018-10-02得票数 2
回答已采纳
1回答
我试图为这个数据集的每一行添加一个新列，包括句子的结构：
Sentence
I ate an apple pie, yesterday.
I ate an orange, yesterday.
I eat a lemon, today.
为了将此函数应用于每一行，我编写了以下内容：
def stru():
nlp = spacy.load('en_core_web_sm',disable=['ner','textcat'])
doc = nlp(file.Sentence)
pos =
浏览 1提问于2020-09-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
