首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >文本数据预处理:可能需要关注这些点

文本数据预处理:可能需要关注这些点

原创
作者头像
风兮177
修改2023-02-02 11:58:11
9620
修改2023-02-02 11:58:11
举报
文章被收录于专栏:风兮NLP风兮NLP

本文关键词:文本数据预处理、中文文本预处理、自然语言处理

摘要: 要进行自然语言处理相关工作,文本数据预处理是个必不可少的过程。本文将对文本数据预处理相关的内容进行归纳整理,主要包括以下4个方面内容:

  • 文本数据获取
  • 常规文本数据预处理
  • 任务相关的文本数据预处理
  • 文本预处理工具

1、文本数据获取

“巧妇难为无米之炊”,要做文本数据处理,首先需要获得文本数据。对于此问题,大家可以“八仙过海,各显神通”,借助一切合法、合理方式收集数据集。一般的,可以通过:自有数据整理、公开数据爬取和开源数据引用三个渠道获取数据。

  • 自有数据:收集整理自有或者组织内部的可用数据集。
  • 爬取数据:爬虫是获取数据的重要手段,但是在执行该操作前需遵守相关法规和Robots协议,在爬取数据后合法应用数据。通常,可以通过requests、BeautifulSoup4和Selenium等python工具完成绝大多数爬取任务。

图片豆瓣电影评论爬取可参考:

https://www.cnblogs.com/fengxi177/p/16939376.html


  • 开源数据:当前已有很多公开的NLP数据集支撑相关的研究和应用分析,如github项目:

项目名

项目链接

项目概述

CLUEDatasetSearch

收集了众多中英文NLP数据集

funNLP

分门别类的组织了众多的NLP数据集和项目

awesome-chinese-nlp

收集了中文自然语言处理相关资料

Chinese_medical_NLP

收集了医疗NLP领域(主要关注中文)评测数据集与论文相关资源

由此,在收集好原始数据集后便可进行后续相关的NLP分析了。

特别的,数据集可以保存为txt、json、csv、tsv、sql表等等格式,只要你喜欢,都可以(哈哈哈,有些格式可能会比较占用内存,较大数据集时需要留意)。

图片此处分享一个csv超大文件数据读取技巧,即利用pandas的chunksize分块读取。

import pandas as pd

df = pd.read_csv("data.csv", chunksize=10000)  # 每次读取1w行数据
for df_chunk in df:
    print(df_chunk)

2、常规文本数据预处理

文本数据作为一种非结构化数据,除了特别处理过的数据集,大多数直接收集的文本数据会掺杂或多或少的无用信息,如果直接将其进行相关的文本分析于建模是无益的。通常,需要先对文本数据进行预处理操作。

文本数据预处理的主要目的一般有两个,即:

(1)将文本数据清洗干净(标准自定)

(2)将文本数据格式化(需求自定)

2.1 将文本数据清洗干净
  • 空格换行符,利用replace操作将原始文本中的空格、tab键、换行符\n、\r等与文本无关的字符直接替换为空。
  • 无用信息剔除,如:停用词表构建。
  • 标点符号去除,利用正则表达式去除标点符号,中英文标点符号可以通过如下两个方式获取。 中文标点符号:from zhon.hanzi import punctuation (需要安装包:pip install zhon) 英文标点符号:from string import punctuation 特别的,文本情感分析中,可保留有情感倾向的标点符号,如:?和!
  • 在噪声数据中提取需要数据,利用正则表达式完成数据提取。如:只需要提取汉字时可以利用正则\u4e00-\u9fa5
  • 简体繁体转换,可安装包:pip install opencc
  • 英文数据:词形还原、大小写转换等 (推荐python包:NLTK)
2.2 将文本数据格式化
  • 文本分句,根据标点符号分句。
  • 文本分段,根据换行符或其他数据规律分段。
  • 文本根据字段存储:半结构化文本数据存储
  • excel数据提取,推荐安装python包pandas,pip install pandas docx格式数据提取,推荐安装python包python-docx,pip install python-docx
  • pdf数据提取,可安装包pdfminer.six,pip install pdfminer.six

至此,经过常规预处理后,文本数据会变的比较干净与规整,可以用于后续nlp研究与应用。(说明,适用于自己任务的操作才是必须的,其他的参照奥卡姆剃刀“如无必要,勿增实体”)。

3、任务相关的文本数据预处理

前面介绍了通常情况下文本预处理可能涉及的注意点,但是要真正的做好数据预处理,应该与具体的任务相结合起来。比如:数据不平衡问题,数据增强问题、数据标注问题等等。

3.1 不平衡问题
  • 不平衡分类问题:实际应用中数据存在长尾分布现象,需要注意处理不平衡分类问题。python包imbalanced-learn提供了几个不错的过采样和欠采样方法,可以试用。
  • 不平衡回归问题,一篇好文链接:https://zhuanlan.zhihu.com/p/369627086

特别的,如需获得泛化性能好的模型,首先需要关注解决不平衡问题。

3.2 数据增强问题

数据太少,那就需要利用规则和算法增强数据,使数据多样化。

3.3 数据标注问题
  • 人工标注,好处:毕竟人多力量大,有多少人工有多少智能。坏处:成本昂贵。
  • 主动学习标注,目的:通过一定的技术手段和方法降低标注成本。具体的,可利用单个机器学习模型或集成学习的思想,提取需要人工审核标注的数据。
  • 标注平台与工具:可开发相应的自动化预标注平台,通过人工审核获得标注后的高质量数据集。

4、一些可用的文本预处理工具

对于文本预处理工作,目前已有一些专门的工具包,功能比较多样,大家可以试用一下,提升自己处理数据的效率和质量。

5、总结

本文对文本预处理,特别是中文文本预处理做了一个简要的概述,希望于相关的nlper有所帮助。后续,将依次递进分享相应的NLP文章,敬请关注。


你是如何看待“文本预处理”的呢? 欢迎关注留言讨论

实用自然语言处理
实用自然语言处理

特别的,如本文有疏漏,麻烦留言指出,以期校正提升。

如看到文章的小伙伴有感兴趣的nlp主题,欢迎留言交流讨论,共同撰文分享。


原文首发于微信公众号:实用自然语言处理


原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、文本数据获取
  • 2、常规文本数据预处理
    • 2.1 将文本数据清洗干净
      • 2.2 将文本数据格式化
      • 3、任务相关的文本数据预处理
        • 3.1 不平衡问题
          • 3.2 数据增强问题
            • 3.3 数据标注问题
            • 4、一些可用的文本预处理工具
            • 5、总结
            相关产品与服务
            NLP 服务
            NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档