# 人工智能之语言领域

第三章 文本预处理

---

> @[TOC](文章目录)

---

# 前言 文本预处理

文本预处理是自然语言处理（NLP）流程中的**基石环节**。原始文本往往包含噪声、格式混乱、语言差异等问题，若不经过清洗和规范化，会严重影响后续模型的性能。本章将系统介绍文本预处理的核心技术，涵盖通用清洗、中英文特有处理、标注与数据增强，并辅以代码实现与可视化流程图。

---

## 3.1 原始文本清洗

### 3.1.1 特殊字符与噪声去除

**噪声来源**：

- HTML 标签（`<div>`, `&nbsp;`）
- 表情符号（😊）、颜文字（^_^）
- 非打印字符（`\x00`, `\u200b`）
- 广告、URL、邮箱、电话号码

**处理策略**：

- 正则表达式（Regex）匹配清除
- 使用专用库（如 `html.unescape`, `ftfy`）

```python
import re
import html

def clean_text(text):
    # 解码 HTML 实体
    text = html.unescape(text)
    # 去除 URL
    text = re.sub(r'https?://\S+|www\.\S+', '', text)
    # 去除邮箱
    text = re.sub(r'\S+@\S+', '', text)
    # 去除非中文、英文、数字、基本标点
    text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9\s\.,!?;:\"\']', ' ', text)
    # 合并多个空格
    text = re.sub(r'\s+', ' ', text).strip()
    return text

raw = "点击链接👉https://example.com！客服微信：abc123 😊"
print(clean_text(raw))
# 输出：点击链接 客服微信
```

> ✅ 提示：保留必要标点（如句号、问号）对句法分析至关重要。

---

### 3.1.2 格式标准化：大小写统一、标点规范

**目标**：减少词汇变体，提升模型泛化能力。

- **英文**：通常转为小写（`Apple → apple`），但专有名词需谨慎（如 “iPhone” 不宜转为 “iphone”）。
- **中文**：无需大小写处理，但需统一标点：
  - 全角 ↔ 半角（“，” vs “,”）
  - 中文引号“” vs 英文引号 ""

```python
import unicodedata

def normalize_punctuation(text):
    # 全角转半角（仅对 ASCII 范围）
    normalized = ''
    for char in text:
        if '\uFF01' <= char <= '\uFF5E':
            normalized += chr(ord(char) - 0xFEE0)
        else:
            normalized += char
    return normalized

text = "你好，世界！Ｗｅｌｃｏｍｅ　ｔｏ　ＮＬＰ！"
print(normalize_punctuation(text))  # 你好,世界!Welcome to NLP!
```

> ⚠️ 注意：在命名实体识别（NER）任务中，**不应强制转小写**，以免丢失关键信息。

---

### 3.1.3 文本去重与异常样本筛选

**去重类型**：

- **完全重复**：两行文本完全相同
- **近似重复**：语义相同但表述不同（如“我喜欢AI” vs “我热爱人工智能”）

**异常样本**：

- 空文本、超短文本（<3 字符）
- 超长文本（可能含爬虫噪声）
- 语言混杂（中英夹杂无意义）

```python
import pandas as pd

df = pd.DataFrame({"text": ["", "AI is great!", "AI is great!", "a", "自然语言处理很有趣"]})

# 完全去重
df_dedup = df.drop_duplicates(subset=["text"])

# 过滤异常
df_clean = df_dedup[
    (df_dedup["text"].str.len() >= 3) &
    (df_dedup["text"].str.len() <= 512)
]

print(df_clean)
```

> 🔍 进阶：使用 **MinHash + LSH** 检测近似重复（适用于大规模语料）。

---

## 3.2 中文文本特有处理

### 3.2.1 中文分词技术

中文无空格分隔，**分词（Word Segmentation）** 是首要步骤。

#### 3.2.1.1 基于规则的分词（正向/逆向最大匹配）

- **原理**：从词典中匹配最长词
- **正向最大匹配（MM）**：从左到右
- **逆向最大匹配（RMM）**：从右到左（通常效果更好）

```python
def rmm_segment(text, dic, max_len=5):
    words = []
    i = len(text)
    while i > 0:
        matched = False
        for l in range(min(max_len, i), 0, -1):
            word = text[i-l:i]
            if word in dic or len(word) == 1:
                words.append(word)
                i -= l
                matched = True
                break
        if not matched:
            words.append(text[i-1])
            i -= 1
    return words[::-1]

dic = {"自然语言", "处理", "自然", "语言", "处理很", "有趣"}
text = "自然语言处理很有趣"
print(rmm_segment(text, dic))  # ['自然语言', '处理很', '有趣']
```

> ❌ 缺陷：无法处理未登录词（OOV），如新词“元宇宙”。

---

#### 3.2.1.2 基于统计的分词（HMM、CRF）

- **HMM（隐马尔可夫模型）**：将分词视为序列标注（B: 词首, M: 词中, E: 词尾, S: 单字词）
- **CRF（条件随机场）**：考虑上下文特征，效果优于 HMM

```python
# 使用 jieba 的 HMM 模式（内部实现）
import jieba

text = "自然语言处理很有趣"
print(list(jieba.cut(text, HMM=True)))  # ['自然语言', '处理', '很', '有趣']
```

> 📊 CRF 分词工具：**THULAC**、**LAC**（百度）、**pkuseg**

---

#### 3.2.1.3 基于深度学习的分词

- **BiLSTM-CRF**：当前主流架构
- **预训练模型微调**：BERT + CRF 头

```mermaid
graph LR
    Input[字符序列] --> Embedding[Char Embedding]
    Embedding --> BiLSTM[BiLSTM Encoder]
    BiLSTM --> CRF[CRF Decoder]
    CRF --> Output[B/M/E/S 标签序列]
```

> 💡 实践建议：直接使用 **LTP** 或 **HanLP**，其内置深度学习分词器：

```python
# HanLP 示例（需安装 hanlp）
# import hanlp
# tokenizer = hanlp.load('CTB6_CONVSEG')
# print(tokenizer("自然语言处理很有趣"))  # ['自然语言', '处理', '很', '有趣']
```

---

### 3.2.2 停用词与低频词处理

- **停用词（Stopwords）**：无实义功能词（“的”、“了”、“在”）
- **低频词**：出现次数极少，可能是噪声或拼写错误

**处理方式**：

- 加载停用词表过滤
- 设定词频阈值（如 TF < 3 则丢弃）

```python
# 加载中文停用词表（示例）
stopwords = set(["的", "了", "在", "是", "我", "有"])

def remove_stopwords(words, stopwords):
    return [w for w in words if w not in stopwords and len(w.strip()) > 0]

words = ["我", "喜欢", "的", "自然语言", "处理"]
print(remove_stopwords(words, stopwords))  # ['喜欢', '自然语言', '处理']
```

> 📚 常用停用词表：哈工大停用词表、百度停用词表、四川大学机器智能实验室停用词表。

---

### 3.2.3 繁简转换与异体字归一化

- **繁简转换**：确保语料统一（如“處理” → “处理”）
- **异体字**：“裡” → “里”，“爲” → “为”

```python
# 使用 opencc 进行繁简转换
# pip install opencc-python-reimplemented
from opencc import OpenCC

cc = OpenCC('t2s')  # Traditional to Simplified
text = "自然語言處理很有趣！"
print(cc.convert(text))  # 自然语言处理很有趣！
```

> ✅ 应用场景：跨地区文本融合（如港台+大陆数据）。

---

## 3.3 英文文本特有处理

### 3.3.1 词形还原（Lemmatization）

将词还原为其**词典原形（lemma）**，考虑词性：

- “better” → “good”（需 POS 信息）
- “running” → “run”

```python
from nltk.stem import WordNetLemmatizer
from nltk import pos_tag, word_tokenize
from nltk.corpus import wordnet

def get_wordnet_pos(treebank_tag):
    if treebank_tag.startswith('J'): return wordnet.ADJ
    elif treebank_tag.startswith('V'): return wordnet.VERB
    elif treebank_tag.startswith('N'): return wordnet.NOUN
    elif treebank_tag.startswith('R'): return wordnet.ADV
    else: return wordnet.NOUN

lemmatizer = WordNetLemmatizer()
text = "The better runners are running faster."
tokens = word_tokenize(text.lower())
pos_tags = pos_tag(tokens)

lemmas = [lemmatizer.lemmatize(w, get_wordnet_pos(p)) for w, p in pos_tags]
print(lemmas)  # ['the', 'good', 'runner', 'be', 'run', 'fast', '.']
```

---

### 3.3.2 词干提取（Stemming）

通过**启发式规则**截断词尾，速度快但粗糙：

- “running” → “run”
- “university” → “univers”（错误！）

```python
from nltk.stem import PorterStemmer
stemmer = PorterStemmer()
print(stemmer.stem("running"))   # run
print(stemmer.stem("university"))  # univers
```

> ✅ 适用场景：信息检索（IR）；❌ 不适合需要精确语义的任务。

---

### 3.3.3 拼写纠错

常用方法：

- **编辑距离（Levenshtein Distance）**
- **语言模型打分**（选择概率最高的修正）

```python
# 使用 pyspellchecker（基于编辑距离 + 词频）
# pip install pyspellchecker
from spellchecker import SpellChecker

spell = SpellChecker()
misspelled = spell.unknown(['naturall', 'langauge'])
for word in misspelled:
    print(f"{word} → {spell.correction(word)}")
# naturall → natural
# langauge → language
```

> 🔮 高级方案：使用 BERT 的掩码语言模型（MLM）进行上下文感知纠错。

---

## 3.4 文本标注与数据增强

### 3.4.1 常用标注类型

| 标注类型 | 说明 | 示例 |
|--------|------|------|
| **实体标注（NER）** | 标记人名、地点、组织等 | `[马云]PER 创立了 [阿里巴巴]ORG` |
| **情感标注** | 标记正面/负面/中性 | “产品很棒！” → POS |
| **句法标注** | 词性（POS）、依存关系 | “吃/VV 苹果>NN” |

---

### 3.4.2 标注工具与标注规范制定

**主流工具**：

- **BRAT**：支持实体、关系、事件标注（Web 界面）
- **Label Studio**：多模态标注平台
- **Doccano**：开源，支持 NER、文本分类

**标注规范要点**：

- 明确定义标签边界（如“北京大学”是一个 ORG 还是两个？）
- 处理嵌套实体（如“[美国[总统拜登]]”）
- 多人标注时计算 **Kappa 系数** 评估一致性

---

### 3.4.3 数据增强方法

用于缓解小样本问题：

| 方法 | 原理 | 代码示意 |
|------|------|--------|
| **回译（Back Translation）** | 中→英→中，生成 paraphrase | 使用 Google Translate API |
| **同义词替换** | 用 WordNet/Hownet 替换 | 见下文 |
| **随机插入/删除/交换** | 扰动词序 | EDA（Easy Data Augmentation） |

```python
# 同义词替换（英文，基于 WordNet）
from nltk.corpus import wordnet
import random

def synonym_replacement(words, n=1):
    new_words = words.copy()
    random_word_list = list(set([word for word in words if word.isalpha()]))
    random.shuffle(random_word_list)
    num_replaced = 0
    for random_word in random_word_list:
        synonyms = []
        for syn in wordnet.synsets(random_word):
            for lemma in syn.lemmas():
                if lemma.name() != random_word:
                    synonyms.append(lemma.name().replace("_", " "))
        if len(synonyms) >= 1:
            synonym = random.choice(synonyms)
            new_words = [synonym if word == random_word else word for word in new_words]
            num_replaced += 1
        if num_replaced >= n:
            break
    return new_words

sentence = "I love natural language processing".split()
print(synonym_replacement(sentence, n=2))
# 可能输出：['I', 'adore', 'natural', 'linguistic', 'processing']
```

> 🌐 中文增强：可用 **同义词词林** 或 **W2V 近邻词** 替换。

---

## 预处理流水线

```mermaid
flowchart TD
    A[原始文本] --> B{语言类型?}
    B -- 中文 --> C[繁简转换]
    B -- 英文 --> D[转小写?]
    C --> E[文本清洗]
    D --> E
    E --> F[分词/Tokenize]
    F --> G[停用词过滤]
    G --> H[词形还原/词干提取]
    H --> I[拼写纠错]
    I --> J[标准化输出]
```

---

## 小结

文本预处理是 NLP 成功的关键前提。它不仅包括通用清洗，还需针对**中英文特性**采取不同策略。随着大模型兴起，部分预处理（如分词）被 subword tokenizer（如 BPE）替代，但在**可控性、可解释性、资源受限场景**下，传统预处理仍不可或缺。高质量的预处理 = 更少的噪声 + 更强的信号 = 更好的模型性能。

---

---

# 资料关注

咚咚王



《Python 编程：从入门到实践》
《利用 Python 进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第 3 版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow 机器学习实战指南》
《Sklearn 与 TensorFlow 机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python 深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习 +(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论 第 2 版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨 +&+ 张孜铭
《AIGC 原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战 AI 大模型》
《AI 3.0》

文本预处理是自然语言处理（NLP）流程中的基石环节。原始文本往往包含噪声、格式混乱、语言差异等问题，若不经过清洗和规范化，会严重影响后续模型的性能。本章将系统介绍文本预处理的核心技术，涵盖通用清洗、中英文特有处理、标注与数据增强，并辅以代码实现与可视化流程图。

人工智能之语言领域 自然语言处理 第三章 文本预处理

技术岗

人工智能

文本预处理是NLP的关键环节，涵盖噪声去除、格式标准化、分词等技术。中文处理包括繁简转换、分词和停用词过滤，英文处理涉及词形还原和拼写纠错。数据增强方法如同义词替换可提升模型性能。

自然语言处理

计算机视觉

智能创作

机器学习

深度学习

大数据

Python

2026新春采购季

ai-class

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之语言领域 自然语言处理 第三章 文本预处理-腾讯云开发者社区-腾讯云

人工智能之语言领域自然语言处理第三章文本预处理

人工智能之语言领域自然语言处理第三章文本预处理

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域 自然语言处理 第三章 文本预处理

人工智能之语言领域 自然语言处理 第三章 文本预处理

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域自然语言处理第三章文本预处理

人工智能之语言领域自然语言处理第三章文本预处理