完全标记化句子，包括标点符号、缩写和连字符单词
我想完全标记化一句话：“半衰期最长的元素是铀-234”教授说。
我想要这个输出：
['"', 'The', 'element', 'with', 'the', 'longests', 'half-life', 'isn't', 'Uranium-234', '"', 'said', 'the', 'professor', '.']这里所有的标点符号都是分开的，但是像“is‘t”和“but’t”这样的单词是一个记号。连字符连接的单词也被视为一个标记，这正是我想要的。
目前我正在使用它来标记化它：
p = re.compile(r"\w+(?:'\w+)?|[^\w\s]")
p.findall(s)这给出了输出：
['"', 'The', 'element', 'with', 'the', 'longest', 'half', '-', 'life', 'isn't', 'Uranium', '-', '234', '"', 'said', 'the', 'professor', "."]这样我就不能将连字符连接的单词标记为一个标记。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-02-28 21:46:21
使用
字符类，并且您忘记了下划线：
\w+(?:['-]\w+)?|[^\w\s]|_请参见
证明
..。
解释
--------------------------------------------------------------------------------
\w+ word characters (a-z, A-Z, 0-9, _) (1 or
more times (matching the most amount
possible))
--------------------------------------------------------------------------------
(?: group, but do not capture (optional
(matching the most amount possible)):
--------------------------------------------------------------------------------
['-] any character of: ''', '-'
--------------------------------------------------------------------------------
\w+ word characters (a-z, A-Z, 0-9, _) (1 or
more times (matching the most amount
possible))
--------------------------------------------------------------------------------
)? end of grouping
--------------------------------------------------------------------------------
| OR
--------------------------------------------------------------------------------
[^\w\s] any character except: word characters (a-
z, A-Z, 0-9, _), whitespace (\n, \r, \t,
\f, and " ")
--------------------------------------------------------------------------------
| OR
--------------------------------------------------------------------------------
_ '_'Python代码
import re
regex = r"\w+(?:['-]\w+)?|[^\w\s]|_"
test_str = "\"The element with the longest half-life is Uranium-234\" said the professor."
print(re.findall(regex, test_str))结果
：
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66414047
复制相关文章
相似问题
如何删除标点符号，但在Java中保留首字母缩写和连字符单词？
spaCy -连字符单词的标记化
单词标记化NLTK缩写问题
将链接添加到每个单词，包括标点符号、缩写和Unicode。
Regex:在句子中标记小数、缩写和简短形式的单词。
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
社区富文本编辑器全新改版！诚邀体验～
全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验
腾讯云开发者
