如何从Countvectorizer token_pattern中保留#hashtag和@提及特征器
提问于 2019-02-19 08:30:41
我使用sklearn库从tweet中提取字数。但我对丢弃一些特殊字符有点问题。我想保留CountVectorizer对象中的“#”和“@”字符。
默认的token_pattern参数是：token_pattern='(?u)\b\w\w+\b'
例如在这个语料库上。
['@terör @terör #terör ak @terör ali ali ...']...the输出为：
['ak', 'ali', 'terör', ...]CountVectorizer的默认正则表达式删除了特殊字符。如何保留这些字符？
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-02-19 08:30:41
我用来改变参数；
token_pattern=r'\b\w\w+\b|(?<!\w)@\w+|(?<!\w)#\w+')输出结果符合预期；
['@terör', '#terör', ...]页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54761797
复制相关文章
腾讯云开发者
