腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
tokenize
($s)是否与
tokenize
($s,‘')相同?
、
、
解释了
tokenize
的单个参数版本 调用fn:
tokenize
($input)等同于调用fn:
tokenize
(fn:normalize-space($input), ' ')),其中第二个参数是单个空格字符(x20然而,当我尝试使用count(
tokenize
('1 2 3')), count(
tokenize
('1 2 3'))和Sa
浏览 5
提问于2018-09-18
得票数 2
回答已采纳
1
回答
nltk wordpunct_
tokenize
vs word_
tokenize
、
有人知道nltk的wordpunct_
tokenize
和word_
tokenize
之间的区别吗?我使用的是nltk=3.2.4,但wordpunct_
tokenize
的文档字符串中没有任何东西可以解释这种不同。我在nltk的文档中也找不到这方面的信息(也许我没有搜索到正确的位置!)。
浏览 2
提问于2018-05-09
得票数 18
回答已采纳
2
回答
xquery fn:当前日期()格式
、
<?xml version="1.0" encoding="UTF-8"?> <books> <title>The Story of my Life </title> </book> <title>XM
浏览 1
提问于2014-03-28
得票数 0
2
回答
word_tokenizer的多处理NLTK -函数从未完成
、
、
、
from nltk.
tokenize
import word_
tokenize
import time #word
tokenize
pool = mp.Pool(processes=8)word_tokens = pool.map(word_
tokenize
, text_to_process) f
浏览 4
提问于2016-02-19
得票数 1
1
回答
从nltk导入word_
tokenize
和从nltk.
tokenize
导入word_
tokenize
?
、
word_
tokenize
之间有什么区别,一个直接从nltk导入,另一个从nltk的令牌包导入?
浏览 0
提问于2019-07-29
得票数 0
回答已采纳
1
回答
将原始文本转换为nltk.Text后可以形成句子吗?
、
通常将文件数据转换为nltk.Text的方法如下:raw=f.read()text
浏览 0
提问于2016-10-14
得票数 0
2
回答
String.prototype.
tokenize
=标记化;
我正在尝试用java对xpl语言进行词法分析,发现但是我不知道这行代码是做什么的!
浏览 3
提问于2012-05-17
得票数 1
5
回答
在python计数频率中未定义名称'word_
tokenize
‘
、
as csvimport pandas as pdfrom nltk.
tokenize
import sent_
tokenize
result = chardet.detect(f.read()) a = file_band['extracted'].st
浏览 1
提问于2018-05-25
得票数 3
1
回答
使用
tokenize
迭代
、
root> <xsl:for-each select="
tokenize
"correspondents" select="." as="xs:string"/> <xsl:variable name="c
浏览 28
提问于2019-02-01
得票数 0
回答已采纳
2
回答
xsl和
tokenize
with a word
、
、
、
我使用的是str:
tokenize
(),但是分隔符可能只有一个字符,即使分隔符由更多的字符组成,
tokenize
()也会搜索分隔符中列出的字符。Delimiter : |@@| str:
tokenize
(&InputStringstr:
tokenize
()做错了什么?
浏览 2
提问于2018-11-18
得票数 0
1
回答
如何在Python中为包含文本的列编写for循环?
、
、
import pandas as pdimport nltkfrom nltk import
tokenize
, columns = ['Text']) 我想要做的是将sent_
tokenize
()应用到"Text“列中的每个元素。到目前为止,我尝试了这个和一些变体: sentences = [] sentences =
tokeni
浏览 20
提问于2021-01-12
得票数 0
回答已采纳
2
回答
为什么我不能标记或从nltk导入令牌?
、
、
我收到以下ImportError:---->2 from nltk.
tokenize
import
tokenize
ImportError: cannot import name '
tokenize
' from 'nltk.
tokenize
'
浏览 8
提问于2022-03-27
得票数 0
回答已采纳
1
回答
如何使用Monad.Writer进行跟踪?
、
、
我的代码如下所示:
tokenize
t token | h ==' ' = addToken token (
tokenize
r "") | h == '"' = let (t'
浏览 2
提问于2016-10-03
得票数 0
1
回答
标记/取消标记python字符串代码,使其与交互模式兼容。
、
、
我有这样的python代码,具有这样的结构。 if True: print "donedef main: if True:否则,
浏览 2
提问于2014-01-17
得票数 1
回答已采纳
1
回答
如何在toeknize2控制器上应用所需的验证?
、
如何在
tokenize
2控制器上应用所需的字段验证,这里的主要问题是选择控件,但它显示为文本框。插件链接: <select class="
tokenize
-demo" multiple> <option value> <option value
浏览 4
提问于2017-07-18
得票数 0
回答已采纳
2
回答
Python 3:标记化库更改
、
、
、
根据这一点:应该使用,而不是
tokenize
.
tokenize
。>>> a = list(
tokenize
.generate_tokens(io.BytesIO("1\n".encode()).readline))a = list(
tokenize
.
tokenize
(io.BytesIO("1\n"
浏览 0
提问于2012-05-20
得票数 1
回答已采纳
4
回答
下载什么才能使nltk.
tokenize
.word_
tokenize
工作?
、
我将在集群上使用nltk.
tokenize
.word_
tokenize
,在这个集群中,我的帐户受到空间配额的限制。您能建议nltk.
tokenize
.word_
tokenize
的最小(或几乎最小)依赖项是什么吗?
浏览 1
提问于2016-05-08
得票数 22
回答已采纳
1
回答
nltk 'module‘对象在MAC OS中不可调用
我不能在nltk中调用函数,但我确信我已经在python中安装了nltk,如下图所示然后我测试我的nltk在哪里我不知道我该怎么办,
浏览 0
提问于2017-09-25
得票数 0
2
回答
句子标记器检索范围
、
、
是否可以在sent_
tokenize
上运行span_
tokenize
方法sentences = nltk.sent_
tokenize
(text
浏览 13
提问于2019-07-11
得票数 1
回答已采纳
1
回答
python导入将执行本地文件
/
tokenize
.py ?!无意间,在当前目录中有一个名为“
tokenize
.py”的python脚本。通过执行foo.py,导入行也触发要执行的
tokenize
.py。我猜本地目录有优先级,html.parser模块也有
tokenize
.py……什么是避免将来发生这种冲突的适当方法?编辑:我运行python 3.3.2
浏览 0
提问于2014-01-23
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
总结!实用Python文本预处理代码
Python NLP入门教程
神级程序员花了三个礼拜来整理的资料!带来Python NLP入门教程!
理顺3大步骤,精读4大核心,3分钟入门自然语言处理
python自然语言处理:(三)加工原料文本
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券