修改NLTK word_tokenize以防止括号的标记化
修改NLTK word_tokenize以防止括号的标记化
提问于 2016-05-09 05:59:54
我有以下main.py。
#!/usr/bin/env python
# vim: set noexpandtab tabstop=2 shiftwidth=2 softtabstop=-1 fileencoding=utf-8:
import nltk
import string
import sys
for token in nltk.word_tokenize(''.join(sys.stdin.readlines())):
#print token
if len(token) == 1 and not token in string.punctuation or len(token) > 1:
print token输出如下所示。
./main.py <<< 'EGR1(-/-) mouse embryonic fibroblasts'
EGR1
-/-
mouse
embryonic
fibroblasts有没有人知道有没有这样的方法来稍微修改一下记号赋予器？谢谢。
回答 1
Stack Overflow用户
发布于 2016-05-09 08:25:25
NLTK中的默认word_tokenize()函数是基于正则表达式替换序列的TreebankWordTokenizer。
更具体地说，当涉及到在括号之间添加空格时，TreebankWordTokenizer使用以下正则表达式替换：
PARENS_BRACKETS = [
(re.compile(r'[\]\[\(\)\{\}\<\>]'), r' \g<0> '),
(re.compile(r'--'), r' -- '),
]
for regexp, substitution in self.PARENS_BRACKETS:
text = regexp.sub(substitution, text)例如：
import re
text = 'EGR1(-/-) mouse embryonic fibroblasts'
PARENS_BRACKETS = [
(re.compile(r'[\]\[\(\)\{\}\<\>]'), r' \g<0> '),
(re.compile(r'--'), r' -- '),
]
for regexp, substitution in PARENS_BRACKETS:
text = regexp.sub(substitution, text)
print text输出
EGR1 ( -/- ) mouse embryonic fibroblasts因此，回到“黑客”NLTK word_tokenize()函数，您可以尝试类似这样的操作来取消PARENS_BRACKETS替换的影响：
>>> from nltk.tokenize import TreebankWordTokenizer
>>> tokenizer = TreebankWordTokenizer()
>>> tokenizer.PARENS_BRACKETS = []
>>> text = 'EGR1(-/-) mouse embryonic fibroblasts'
>>> tokenizer.tokenize(text)
['EGR1(-/-)', 'mouse', 'embryonic', 'fibroblasts']页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/37108656
复制相关文章
相似问题
nltk word_tokenize:为什么在单词标记之前要进行句子标记化？
使用nltk word_tokenize进行标记化后重新连接语句like original
NLTK Python word_tokenize
使用nltk word_tokenize时出错
NLTK词与word_tokenize的比较
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
