开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >nlp文本常见预处理方法

nlp文本常见预处理方法

CodeInHand

发布于 2018-10-23 11:09:59

1.2K0

发布于 2018-10-23 11:09:59

举报

文章被收录于专栏：Pytorch实践Pytorch实践

1. 去除标点

2. 圆角转半角

3. 判断是否为unicode的中文

4. 判断是否为英文unicode编码

5. 判断是否为数字的unicode编码

6. 判断是否为常用标点

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2018-10-11，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CodeInHand 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

1. 去除标点
2. 圆角转半角
3. 判断是否为unicode的中文
4. 判断是否为英文unicode编码
5. 判断是否为数字的unicode编码
6. 判断是否为常用标点