Spacy - nlp.pipe()返回生成器
Spacy是一个开源的自然语言处理（NLP）库，它提供了一套强大的工具和算法，用于处理和分析文本数据。其中，nlp.pipe()是Spacy库中的一个函数，它用于对文本进行批量处理，并返回一个生成器。
生成器是一种特殊的迭代器，它可以逐个生成数据，而不是一次性生成所有数据。这种方式在处理大量文本数据时非常高效，因为它可以避免一次性加载和处理所有文本数据，而是按需生成和处理每个文本。
使用nlp.pipe()函数可以实现对大量文本进行快速的NLP处理，例如分词、词性标注、命名实体识别等。它接受一个文本列表作为输入，并返回一个生成器，每次迭代生成一个包含处理结果的Doc对象。
Spacy库的优势在于其高度优化的性能和内存使用，使得它能够处理大规模的文本数据。它还提供了丰富的预训练模型和语言资源，可以用于各种NLP任务，如文本分类、信息抽取、情感分析等。
对于Spacy库中的nlp.pipe()函数，腾讯云没有直接对应的产品或服务。然而，腾讯云提供了一系列与自然语言处理相关的产品和服务，如腾讯云智能语音、腾讯云智能机器翻译等，可以帮助开发者实现更多的NLP功能。您可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多相关产品和服务的详细信息。
相关·内容
8回答
腾讯智能云为开发者带来哪些便利？
腾讯云、服务、开发、开发者、腾讯
腾讯云在云+未来峰会上推出了智能云。使得普通开发者能够快速上手进行开发。能够有效节省自身开发成本，我想知道究竟带来了哪些便利？有哪些服务极大提升了开发效率和用户体验？
浏览 881提问于2018-05-24
1回答
如何在spaCy中使用生成器对象？
python-3.x、nlp、spacy
第一次在这里使用NLP的经验。我有大约50万条推特。我试图使用spacy删除停止词、狐猴化等，然后将处理过的文本传递给分类模型。由于数据的大小，我需要多个处理才能以合理的速度完成这一任务，但一旦获得生成器对象，就无法知道该如何处理它。
在这里，我加载spacy并通过标准管道传递数据：
nlp = spacy.load('en')
tweets = ['This is a dummy tweet for stack overflow',
'What do we do with generator objects?']
spacy
浏览 0提问于2018-10-14得票数 2
回答已采纳
1回答
如何异步输入spaCy管道？
python、spacy
我想设置一个spaCy管道，它可以进行一些解析和注释。我的文档来源是一个远程存储，因此获取文档是相对昂贵的。
由于我想注释很多文档，所以我想以流的方式异步地处理它们。
在像往常一样设置管道时，代码首先获得所有文档，然后在管道中解析它。
如何将文档流到管道中？
import spacy
def get_docs_from_remote(size):
// obtain number of documents from remote storage
for document in result:
yield(document['text'])
n
浏览 1提问于2022-08-19得票数 0
回答已采纳
1回答
如何使用spaCy (nlp.pipe)进行预处理来修复大型数据集的缓慢性能
python、python-multiprocessing、spacy、joblib
我在spaCy 2.1中遇到了一个问题，它需要很长时间来预处理一些英语和德语文本，以便在与机器翻译相关的项目中使用它们。在使用正则表达式做了简单的清理之后，我正在使用spaCy的nlp.pipe()函数来执行一些过程(词汇化，用词性标记每个单词，以及拆分我自己开发的德语复合词)，但问题是这需要很长时间，我想知道是否有更好的方法来加快速度。 我使用的数据集非常大:包括Project Gutenberg的英语和德语电子书，以及精选的两种语言的新闻文章和整个维基百科数据库。我在我的大学的HPC网格上运行这段代码，在那里我可以为每个作业分配多达40个CPU核心和250 of，或者选择高达RTX 20
浏览 43提问于2019-07-01得票数 2
1回答
基于此链接：Is it possible to use spacy with already tokenized input? 我可以让Spacy接受标记化的文档作为输入，并进一步处理文档。代码如下： def nlp_process(self, token_tuple):
# token_tuple = ("This is a test", ['This','is','a','test'])
doc = Doc(self.nlp.vocab, words=token_tuple[1])
fo
浏览 30提问于2020-06-27得票数 0
回答已采纳
1回答
如何让spacy读取数据框中的整个列？
pandas、dataframe、spacy
这是我使用的代码，但我希望它通过数据框中名为"full_text“的列进行编码，而不是遍历单个句子。 nlp = spacy.load("es_core_news_sm")
doc = nlp('el secretario de estado de eeuu')
for token in doc:
print(token.text, token.pos_,)
浏览 16提问于2021-06-28得票数 0
显然，for doc in nlp.pipe(sequence)比运行for el in sequence: doc = nlp(el) ..快得多
我的问题是，我的序列实际上是一个元组序列，它包含spacy转换为文档的文本，但也包含我希望作为文档属性添加到spacy文档中的附加信息(我将为Doc注册这些属性)。
我不确定如何修改spacy管道，以便第一阶段真正从元组中挑选一项来运行记号程序并获取文档，然后让其他一些函数使用元组中的其余项将功能添加到现有文档中。
浏览 13提问于2019-07-16得票数 1
回答已采纳
1回答
如何使用nlp.pipe模式加快spacy管道的速度？
python-3.x、spacy
继spacy的之后，我一直试图使用nlp.pipe模式来加速我的管道。不过，我发现，与连续运行相比，无论我设置什么batch_size，速度都没有提高。
我想知道这个问题是在我头上，还是批次不起作用？
我正在30000条文本上测试这种行为，平均长度为1500个字符，我已经测试了5,50,500,5000批大小，但没有结果。
所以我计时：
for text in texts:
doc = nlp(text)
VS
doc_gen = nlp.pipe(texts, batch_size, n_threads)
使用n_threads -1 &2测试批次大小为5，50,500,500
浏览 0提问于2019-10-10得票数 4
回答已采纳
1回答
使用链接的语义相似性找到从一个维基百科页面到另一个维基百科页面的路径(Spacy)
python、natural-language-processing、wikipedia
我在很长一段时间里第一次重新开始编写代码，所以我理解如果你眼睁睁地看着这段代码。这一切都很有效，但我很感谢您提供的任何提示(如何改进python代码、如何更好地使用Spacy的语义相似向量特性、如何使其工作得更快等)。
代码的主要产品是list_of_matches列表，它显示了我是如何从一个页面到另一个页面的。很明显，这个例子从“青蛙”到“水晶”，但理论上可以是任何东西。
import spacy
import wikipedia
import en_core_web_lg
nlp = en_core_web_lg.load()
word_1 = 'frog'
word_2
浏览 0提问于2021-03-15得票数 1
1回答
用nlp.pipe处理文本需要几个小时
python、text、nlp、spacy
我的数据集中有300.000篇新闻文章，我正在使用en_core_web_sm进行词性标记、解析和ner提取。然而，这需要花费大量的时间，而且似乎永远不会完成。 代码正在运行，但速度非常慢。当我对我的数据集650篇文章进行采样时，需要37秒，6500篇文章需要6分钟。然而，我真的需要我的300.000篇文章的完整数据集在合理的时间内完成… texts = df["content"]
for doc in nlp.pipe(texts, n_process=2, batch_size=100, disable=["senter","attribute_r
浏览 25提问于2021-11-03得票数 1
回答已采纳
2回答
如何从Spacy获得更好的引理
python、nlp、wordnet、spacy、lemmatization
"PM“可以是”pm(时间)“，也可以是”首相“。
我想抓住后者。我想让“总理”的引理返回“首相”。我如何使用spacy来完成这个任务？
返回意外引理的示例：
>>> import spacy
>>> #nlp = spacy.load('en')
>>> nlp = spacy.load('en_core_web_lg')
>>> doc = nlp(u'PM means prime minister')
>>> for word in doc:
浏览 1提问于2017-12-04得票数 3
回答已采纳
1回答
NLP，spaCy:提高文档相似度的策略
nlp、similarity、spacy
一句背景：我有来自自动转录演讲的文本数据，我想比较它们的内容的相似性(例如，他们正在谈论的内容)来进行聚类和推荐。我对NLP很陌生。
data ：我使用的数据是可用的。对所有懒惰的人来说
clone https://github.com/TMorville/transcribed_data
下面是将其放入df的代码片段：
import os, json
import pandas as pd
from pandas.io.json import json_normalize
def td_to_df():
path_to_json = '#FILL OUT
浏览 0提问于2018-06-07得票数 7
回答已采纳
3回答
将csv文件中的列加载到spaCy中
python、pandas、numpy、nltk、spacy
我是spaCy和NLTK的新手，所以如果这看起来是一个愚蠢的问题，我提前道歉。
根据spaCy教程，我必须使用以下命令将文本加载到文档中。
doc = nlp(u'Hello, world. Natural Language Processing in 10 lines of code.')
然而，我在sql server或excel上有很多以表格格式存储的文本。它基本上有两列。第一列有一个唯一的标识符。第二栏有一个简短的文本。
如何将它们加载到spaCy中？是否需要将它们转换为Numpy数组或Pandas数据帧，然后将其加载到文档中？
提前感谢您的帮助！
浏览 4提问于2017-04-17得票数 2
1回答
比三个月前，斯派西·莱马提泽突然返回了其他价值，词汇不再变成单数形式了。
python、spacy、lemmatization
几个月前，我用了空格来混淆大量的文字。今天，我不得不重播剧本，文字的输出也发生了变化，多数情况下，复数形式的单词不再变成单数。我试图用一个更简单的用例和“皇后”这个词来重现这个问题，它分为以下几个方面：
import spacy
nlp = spacy.load('en_core_web_lg')
sentence = "queen queenhat queens queen"
test = nlp(sentence)
for word in test:
print(word.lemma_)
它的输出是:女王，皇后，王后，王后
如果我移除最后一个
浏览 7提问于2022-02-14得票数 1
回答已采纳
1回答
NLP词性标注
python、nlp、nltk、stanford-nlp、spacy
我正在使用NLP进行一个聊天机器人项目。我正在使用spacy，我想在句子中得到标记的位置。目前，我正在使用以下代码
en = spacy.load("en_core_web_md")
pos_sent = "lib/lzma.py this module provides classes and convenience functions for compressing and decompressing data using the lzma compression algorithm."
pos_sent = en(pos_sent)
for token i
浏览 5提问于2022-03-22得票数 0
2回答
天文文本处理(NLP)从何处开始
nlp、text-processing、devanagari
我是Devnagaric NLP的新手，有没有任何小组或资源可以帮助我开始使用Devnagaric语言(主要是尼泊尔语或类似的印地语)的NLP。我希望能够为天成字开发字体，也可以做一些字体处理应用程序。如果任何人(在这个领域工作)，可以给我一些建议，然后将非常感谢。提前感谢
浏览 4提问于2017-02-15得票数 1
2回答
Python的NLTK与相关的Java库？
java、python、information-retrieval、nltk、wordnet
我在以前的Java项目中使用过LingPipe、斯坦福的NER、RiTa和各种句子相似库，这些库侧重于文本(前)处理(索引、xml、主题检测等)。大量的英文文本(大约10,000个文档加起来超过1 1gb的文本)。也许我不是一个好的Java程序员，但是当我切换到不同的语料库时，我发现自己输入了很多代码并使用了很多库。总体而言，我觉得可能有更好的工具来完成这项工作。
我想我的问题是，切换到Python和NLTK进行信息检索/语言处理会对我有好处吗？或者有足够的利弊让它变得非常主观？NLTK是否足够直观，可以快速学习？
我会弄脏自己的手，但在接下来的几天里，我将无法使用个人电脑。
浏览 4提问于2011-04-08得票数 10
回答已采纳
1回答
spacy自定义标记器不对单词分组
python、nlp、spacy
使用spacy，我试图将三个不同的令牌合并到一个令牌中。
例如，下面的代码将两个不同的标记"bell“"peper”转换成一个标记“贝尔胡椒”(我认为我的代码不是正确的方法)。
text='extra-virgin olive oil bell pepper Parmesan Cheese onion red bell pepper carrots cloves, beans fennel bulb parsnips vegetable broth broccoli florets macaroni Parmesan cheese'
import spacy
浏览 6提问于2021-03-04得票数 1
回答已采纳
5回答
掌握NLP:阅读列表
nlp、reference-request、books
我在网上搜索过，有数百条关于该读什么的建议。随着时间的推移，新的更高质量的技术被发布，所以我想知道2018年什么是相关的？
我的背景是4年的BSc在数学和统计(顶级大学)+1年的作用在数据科学(建立预测模型，无NLP)。
如有可能，请将其分为章节/阅读部分。
背景(历史，例如哲学)
理论(数学)
实用(使用Tensorflow和其他NLP库来构建算法)
我有几个我想做的附带项目：
建立一个回答多项选择题的算法
例如，给出一个问题：
哪种不是水果? 1)苹果2)黄瓜
我希望NLP理解否定，并发现问题的主题是水果。那我可能会加入谷歌搜索API之类的东西。
将“关键字”搜索的列表分类为类别。
让我们
浏览 0提问于2018-08-04得票数 7
1回答
将多个spacy textcat_multilabel模型组合成一个textcat_multilabel模型
python-3.x、nlp、spacy、spacy-3
问题：--我有数以百万计的记录需要使用一堆spacy textcat_multilabel模型进行转换。
// sudo code
for model in models:
nlp = spacy.load(model)
for groups_of_records in records: // millions of records
new_data = nlp.pipe(groups_of_records) // data is getting processed bulk
// process data
bulk_cre
浏览 17提问于2022-05-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
