首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >pandas 处理中文文本的 7 个写法:清洗、提取与打标签

pandas 处理中文文本的 7 个写法:清洗、提取与打标签

原创
作者头像
用户12907474
发布于 2026-11-20 11:23:57
发布于 2026-11-20 11:23:57
90
举报

平时做数据分析,最常碰到的不是数值,而是一列一列的文本:用户评论、售后留言、表单里的备注。这类数据写起来随意,全角半角混着用,空格、换行、制表符到处都是,还有一部分干脆是空的。直接拿去统计,结果往往对不上。

这篇笔记把我自己处理中文文本时反复用到的 7 个写法整理了一下。所有代码都基于同一份手写的示例数据,在 Python 3.9.6 + pandas 2.3.3 下实际跑过,下面贴的输出就是运行结果。分词部分额外用了 jieba 0.42.1。

准备:一份 30 条的示例评论

先造一份小数据:6 个品类、每类 5 条评论,再加一列用户自己填的「标签」。为了贴近真实情况,我故意在里面放了一些脏数据:全角字母和数字(OK、USB、10000mAh)、首尾多余空格、行首的全角空格、末尾的制表符、两条缺失值和一条空字符串。标签列的分隔符也是五花八门,有英文分号、中文分号、英文逗号、中文逗号和斜杠。

代码语言:python
复制
import pandas as pd

pd.set_option("display.unicode.east_asian_width", True)
pd.set_option("display.width", 120)

reviews = pd.DataFrame({
    "id": range(1, 31),
    "品类": ["耳机"] * 5 + ["台灯"] * 5 + ["电饭煲"] * 5
          + ["充电宝"] * 5 + ["保温杯"] * 5 + ["键盘"] * 5,
    "评论": [
        "音质不错,降噪效果也可以,就是戴久了耳朵有点疼。",
        "  蓝牙连接很稳定,OK!  ",
        "续航只有4小时,和描述的不一样,差评。",
        None,
        "降噪一般般,低音还行。性价比高。",
        "灯光柔和,不闪,晚上看书眼睛不累。",
        "做工有点粗糙,底座有毛刺。",
        "亮度可以调三档,USB供电很方便。",
        "收到的时候灯罩裂了,申请退货。",
        "",
        "煮饭很香,预约功能好用,容量3L够三口之家。",
        "内胆涂层两个月就掉了,质量太差。",
        "外观好看,  就是按键有点不灵敏。",
        "物流很快,第二天就到了,包装完好。",
        "煮粥会溢出来,清洗麻烦。",
        "容量10000mAh,实际能给手机充两次多。",
        "有点重,放包里不太方便。",
        "充电速度快,支持快充,好评!",
        "用了一周就充不进电了,联系售后说要寄回检测。",
        None,
        "保温效果很好,早上装的热水晚上还是烫的。",
        "杯盖漏水,放包里把书弄湿了,差评。",
        "颜色和图片有色差,其他都还好。",
        "物流太慢了,等了一个星期。",
        "容量刚好,500ml,女生用合适。",
        "手感很好,打字声音不大,适合办公室。",
        "有几个键不灵,退货了。",
        "灯效好看,就是线有点短。\t",
        "性价比很高,这个价位很难挑出毛病。",
        "\u3000\u3000客服回复很及时,问题当天就解决了。",
    ],
    "标签": [
        "音质;降噪", "连接, 音质", "续航", None, "降噪,性价比",
        "护眼", "做工", "亮度/供电", "物流;破损", "",
        "口感,容量", "质量", "外观;按键", "物流", "清洗",
        "容量", "重量", "充电速度;快充", "质量,售后", "售后",
        "保温", "漏水", "外观", "物流", "容量",
        "手感,静音", "按键;退货", "外观, 线长", "性价比", "售后",
    ],
})
print(reviews.shape)
print(reviews.head())
代码语言:plaintext
复制
(30, 4)
   id  品类                                              评论          标签
0   1  耳机  音质不错,降噪效果也可以,就是戴久了耳朵有点疼。     音质;降噪
1   2  耳机                          蓝牙连接很稳定,OK!      连接, 音质
2   3  耳机            续航只有4小时,和描述的不一样,差评。          续航
3   4  耳机                                              None          None
4   5  耳机                  降噪一般般,低音还行。性价比高。  降噪,性价比

开头那两行 set_option 建议每次处理中文都加上。display.unicode.east_asian_width 打开以后,pandas 会按中文字符占两个宽度来对齐列,不然打印出来的表格是歪的,看起来很费劲。

写法一:全角转半角、清理空白

文本清洗的第一步通常是统一字符。很多人会直接用 str.normalize("NFKC"),它确实能把全角字母数字转成半角,但有一个容易忽略的副作用:中文逗号、感叹号这些全角标点也会一起被转成英文标点。

代码语言:python
复制
s = reviews["评论"]
print(s[[1, 7, 29]].tolist())

nfkc = s.fillna("").str.normalize("NFKC")
print(nfkc[[1, 7, 29]].tolist())
代码语言:plaintext
复制
['  蓝牙连接很稳定,OK!  ', '亮度可以调三档,USB供电很方便。', '\u3000\u3000客服回复很及时,问题当天就解决了。']
['  蓝牙连接很稳定,OK!  ', '亮度可以调三档,USB供电很方便。', '  客服回复很及时,问题当天就解决了。']

可以看到「,」变成了「,」,「!」变成了「!」,句号「。」却没变,因为它本身不属于全角 ASCII 区。如果后面要按中文标点断句,或者只是希望文本看起来一致,这个结果就不太理想。

我更常用的做法是自己建一张映射表,只转换全角数字、全角大小写字母和全角空格,然后交给 str.translate。全角字符和对应半角字符的编码正好相差 0xFEE0,所以一个循环就能生成。接着用正则 \s+ 把连续的空白(包括空格、制表符、换行,以及转换后的全角空格)合并成一个空格,最后 strip 去掉首尾。

代码语言:python
复制
# 只把全角数字、字母和全角空格转成半角,中文标点保持不动
table = {0x3000: 0x20}
for start, end in [(0xFF10, 0xFF19), (0xFF21, 0xFF3A), (0xFF41, 0xFF5A)]:
    for cp in range(start, end + 1):
        table[cp] = cp - 0xFEE0

clean = (
    s.fillna("")
     .str.translate(table)
     .str.replace(r"\s+", " ", regex=True)
     .str.strip()
)
reviews["评论_清洗"] = clean
reviews["字数"] = clean.str.len()
print(reviews.loc[[1, 7, 12, 15, 29], ["评论_清洗", "字数"]])
print("空评论:", (reviews["字数"] == 0).sum(), "条")
代码语言:plaintext
复制
                               评论_清洗  字数
1                   蓝牙连接很稳定,OK!    11
7        亮度可以调三档,USB供电很方便。    17
12       外观好看, 就是按键有点不灵敏。    16
15  容量10000mAh,实际能给手机充两次多。    22
29    客服回复很及时,问题当天就解决了。    17
空评论: 3 条

几个要点:

  • 先 fillna("") 再做字符串操作,这样后面的结果都是字符串,不会混进缺失值;
  • str.len() 统计的是字符数,一个汉字算 1;
  • 第 13 条中间的两个空格被合并成了一个。如果你的场景里中文之间的空格完全没有意义,也可以直接替换成空字符串。

清洗后的列我单独存成 评论_清洗,原始列保留不动,方便后面对照和排查。

写法二:str.contains 按关键词筛选

清洗完,最常见的需求是「把包含某些词的评论找出来」。str.contains 默认把参数当正则处理,所以多个关键词用竖线连起来就是「任意一个命中」。

不过有个坑:如果列里有缺失值,str.contains 在缺失的位置返回的也是缺失值,而不是 False,拿它去做布尔索引会直接报错。

代码语言:python
复制
try:
    reviews[reviews["评论"].str.contains("差评")]
except ValueError as e:
    print("报错:", e)
代码语言:plaintext
复制
报错: Cannot mask with non-boolean array containing NA / NaN values

解决办法有两个:一是像上一节那样先清洗、填充空字符串;二是加上 na=False,让缺失值直接算作不匹配。

代码语言:python
复制
c = reviews["评论_清洗"]

bad = c.str.contains("差评|质量|退货")
print(reviews.loc[bad, ["id", "评论_清洗"]])

print(reviews["评论"].str.contains("差评", na=False).sum())
print(c.str.contains("usb", case=False).sum())
print(c.str.contains(".").sum(), c.str.contains(".", regex=False).sum())
代码语言:plaintext
复制
    id                              评论_清洗
2    3  续航只有4小时,和描述的不一样,差评。
8    9         收到的时候灯罩裂了,申请退货。
11  12       内胆涂层两个月就掉了,质量太差。
21  22     杯盖漏水,放包里把书弄湿了,差评。
26  27                 有几个键不灵,退货了。
2
1
27 0

后面三行分别演示了 na=False、忽略大小写的 case=False,以及 regex=False 的作用。最后一行很能说明问题:同样是查一个点号,按正则理解它匹配任意字符,27 条非空评论全部命中;关掉正则以后按字面查找,一条都没有。如果关键词里可能带有点号、问号、加号、括号这类符号,一定要想清楚是按正则还是按字面匹配。

写法三:str.extract 从文本里抽字段

售后留言里常常混着订单号、金额、日期,格式还不统一:有的写「2026-11-03」,有的写「2026/11/05」,有的写「2026年11月8日」。str.extract 配合命名分组,可以一次把这些信息抽成单独的列,分组名会直接成为列名,用中文也没问题。

代码语言:python
复制
tickets = pd.Series([
    "订单DD202611030017申请退款,金额129.5元,下单时间2026-11-03",
    "订单号:DD202611051203,退款 89 元,2026/11/05 下单",
    "想换货,订单DD202611080456,2026年11月8日买的",
    "催一下发货,下单好几天了",
    "退款金额 239.00元 订单 DD202611120088 日期 2026.11.12",
    "订单DD202611150321、DD202611150322 两单一起退,合计 58元",
])

info = pd.concat([
    tickets.str.extract(r"(?P<订单号>DD[0-9]{12})"),
    tickets.str.extract(r"(?P<金额>[0-9]+(?:[.][0-9]+)?)\s*元"),
    tickets.str.extract(r"(?P<年>20[0-9]{2})[-/.年](?P<月>[0-9]{1,2})[-/.月](?P<日>[0-9]{1,2})"),
], axis=1)
print(info)
代码语言:plaintext
复制
           订单号    金额    年   月   日
0  DD202611030017   129.5  2026   11   03
1  DD202611051203      89  2026   11   05
2  DD202611080456     NaN  2026   11    8
3             NaN     NaN   NaN  NaN  NaN
4  DD202611120088  239.00  2026   11   12
5  DD202611150321      58   NaN  NaN  NaN

日期那条正则用 [-/.年] 和 [-/.月] 同时兼容了三种写法。注意在方括号里点号就是普通字符,不需要转义。金额的正则里,小数部分写成 (?:[.][0-9]+)?:括号开头的 ?: 表示这一组只用来分组、不单独生成列,末尾的问号表示小数部分可有可无。

抽出来的都是字符串,还要再转一下类型才能计算。金额用 pd.to_numeric;日期可以把年、月、日三列改名成 year、month、day,再直接交给 pd.to_datetime,抽不到的行会变成 NaT,不影响其他行。

代码语言:python
复制
info["金额"] = pd.to_numeric(info["金额"])
info["日期"] = pd.to_datetime(
    info[["年", "月", "日"]].rename(columns={"年": "year", "月": "month", "日": "day"})
)
print(info[["订单号", "金额", "日期"]])

all_orders = tickets.str.extractall(r"(?P<订单号>DD[0-9]{12})")
print(all_orders.tail(3))
print(all_orders.groupby(level=0).size().to_dict())
代码语言:plaintext
复制
           订单号   金额       日期
0  DD202611030017  129.5 2026-11-03
1  DD202611051203   89.0 2026-11-05
2  DD202611080456    NaN 2026-11-08
3             NaN    NaN        NaT
4  DD202611120088  239.0 2026-11-12
5  DD202611150321   58.0        NaT
                 订单号
  match                
4 0      DD202611120088
5 0      DD202611150321
  1      DD202611150322
{0: 1, 1: 1, 2: 1, 4: 1, 5: 2}

str.extract 只取第一个匹配。像第 6 条那样一条留言里有两个订单号,就要用 str.extractall,它返回一个两层索引的表,第二层 match 表示这是该行的第几个匹配。再按第一层分组计数,就能知道每条留言里有几个订单号。

写法四:split + explode 拆分多值字段

「标签」这类多值字段很常见,一个单元格里塞了好几个值。处理思路是:先用 str.split 按分隔符切成列表,再用 explode 把列表展开成多行,每个值占一行,之后就能正常计数、分组。

分隔符不统一的时候,str.split 同样可以传正则,配合 regex=True 一次处理多种分隔符。

代码语言:python
复制
tags = (
    reviews["标签"]
    .fillna("")
    .str.split(r"[;;,,/]", regex=True)
    .explode()
    .str.strip()
)
tags = tags[tags != ""]
print(len(tags))
print(tags.value_counts().head(6))

long = reviews[["id", "品类"]].join(tags.rename("标签项"))
print(pd.crosstab(long["标签项"], long["品类"]).loc[["容量", "物流", "售后", "外观"]])
代码语言:plaintext
复制
40
标签
物流    3
售后    3
外观    3
容量    3
音质    2
按键    2
Name: count, dtype: int64
品类    保温杯  充电宝  台灯  电饭煲  耳机  键盘
标签项                                          
容量         1       1     0       1     0     0
物流         1       0     1       1     0     0
售后         0       2     0       0     0     1
外观         1       0     0       1     0     1

explode 之后,每个标签项都保留了原来那一行的索引,所以可以直接 join 回原表,拿到它对应的 id 和品类,再用 pd.crosstab 做一张交叉表,看每类商品各自被提到哪些问题。

拆完以后要记得 strip 一下,因为「连接, 音质」这种写法里逗号后面跟了空格。空字符串也要过滤掉,不然空标签会被当成一个值算进去。

写法五:jieba 分词后统计词频

评论正文没有现成的分隔符,想统计高频词就得先分词。jieba 的 lcut 直接返回列表,用 map 作用在每一行上,得到一列「词列表」,后面依然是 explode 加 value_counts 的套路。

代码语言:python
复制
import jieba

jieba.setLogLevel(60)
for w in ["降噪", "性价比", "充不进电"]:
    jieba.add_word(w)

stop = {"就是", "有点", "一个", "这个", "可以", "还是", "其他"}

def cut(text):
    return [w for w in jieba.lcut(text) if len(w) > 1 and w not in stop]

reviews["词"] = reviews["评论_清洗"].map(cut)
print(reviews.loc[[0, 18], ["评论_清洗", "词"]].to_string())

words = reviews["词"].explode().dropna()
print(words.value_counts().head(8))
代码语言:plaintext
复制
                                           评论_清洗                                        词
0   音质不错,降噪效果也可以,就是戴久了耳朵有点疼。      [音质, 不错, 降噪, 效果, 戴久, 耳朵]
18      用了一周就充不进电了,联系售后说要寄回检测。  [一周, 充不进电, 联系, 售后, 寄回, 检测]
词
容量      3
方便      2
包里      2
性价比    2
差评      2
好看      2
物流      2
晚上      2
Name: count, dtype: int64

这里有三个实际处理时一定会遇到的问题:

  1. 专有词被切碎。 「充不进电」默认会被切成「充不进」和「电」两段,用 jieba.add_word 加进词典就能保持完整,品类相关的专有词都可以这样补充。
  2. 单字和标点太多。 我用 len(w) > 1 一刀切掉了单字词,标点也顺带被去掉了。如果你的分析需要保留「好」「差」这样的单字评价,就不要这么做,改用停用词表。
  3. 停用词要按场景调。 示例里的停用词表只有几个词,真实项目一般会从通用停用词表开始,再根据跑出来的高频词逐步补充。比如上面结果里的「包里」「晚上」对分析没太大意义,下一轮就可以加进去。

jieba.setLogLevel(60) 用来关掉 jieba 首次加载词典时打印的日志,不影响结果。

写法六:按关键词规则打标签

有了清洗后的文本,可以用一组关键词规则给每条评论打上「质量」「物流」「售后」「好评」之类的标签。思路是每个标签对应一组关键词,用 str.contains 生成一列布尔值,最后再把命中的标签名拼成一个字符串。

代码语言:python
复制
import re

rules = {
    "质量": ["质量", "掉了", "不灵", "漏水", "裂了", "毛刺", "充不进电"],
    "物流": ["物流", "发货", "包装"],
    "售后": ["退货", "售后", "客服"],
    "好评": ["好评", "不错", "很好", "好看", "性价比"],
}
c = reviews["评论_清洗"]
for name, kws in rules.items():
    reviews["是否_" + name] = c.str.contains("|".join(map(re.escape, kws)))

flag_cols = ["是否_" + k for k in rules]
reviews["标签汇总"] = reviews[flag_cols].apply(
    lambda row: "、".join(k for k, hit in zip(rules, row) if hit), axis=1
)
print(reviews.loc[[0, 8, 11, 18, 21, 29], ["id", "标签汇总"]])
print(reviews[flag_cols].sum())
代码语言:plaintext
复制
    id    标签汇总
0    1        好评
8    9  质量、售后
11  12        质量
18  19  质量、售后
21  22        质量
29  30        售后
是否_质量    7
是否_物流    2
是否_售后    4
是否_好评    8
dtype: int64

这里有两个小细节。第一,拼正则之前用 re.escape 处理每个关键词,这样即使关键词里带了点号、括号这类符号,也会按字面匹配,不会意外变成正则语法。第二,一条评论可能同时命中多个标签,比如第 9 条「灯罩裂了,申请退货」既是质量问题,也是售后问题。所以我保留了每个标签的布尔列,方便后面 sum 统计数量;同时生成一个汇总列,方便人工翻看。

关键词规则看起来简单,但胜在可解释、好调整。数据量不大、类别比较固定的时候,这往往是最省事的做法。规则写好后,建议随机抽几十条人工核对一遍,看看有没有误判和漏判,再回头补关键词。

写法七:缺失值和文件编码

最后说两个经常让人摸不着头脑的问题。

第一个是缺失值。很多人习惯先 astype(str) 再处理文本,但这样会把缺失值变成字符串 "None" 或 "nan",它们会被当成正常文本参与统计,字数还算成 4 或 3。pandas 自带的 string 类型能保留缺失值 <NA>,空字符串和缺失也能区分开。

代码语言:python
复制
print(reviews["评论"].astype(str)[[3, 9]].tolist())
print(reviews["评论"].astype(str).str.len()[[3, 9]].tolist())

st = reviews["评论"].astype("string")
print(st[[3, 9]].tolist())
print(st.str.len()[[3, 9]].tolist())
print("缺失", st.isna().sum(), "条,空串", (st == "").sum(), "条")
代码语言:plaintext
复制
['None', '']
[4, 0]
[<NA>, '']
[<NA>, 0]
缺失 2 条,空串 1 条

第二个是编码。从一些老系统或者用 Excel 另存的 CSV,经常是 GBK 编码,直接 read_csv 会报 UnicodeDecodeError。下面用一段内存里的 GBK 字节模拟这种情况。

代码语言:python
复制
import io

raw = "id,评论\n1,音质不错\n2,物流太慢\n".encode("gbk")
try:
    pd.read_csv(io.BytesIO(raw))
except UnicodeDecodeError as e:
    print("读取失败:", e)
print(pd.read_csv(io.BytesIO(raw), encoding="gbk"))
bad = pd.read_csv(io.BytesIO(raw), encoding_errors="replace")
print(bad.columns.tolist(), bad.iloc[:, 1].tolist())

out = io.BytesIO()
reviews[["id", "评论_清洗", "标签汇总"]].to_csv(out, index=False, encoding="utf-8-sig")
print(out.getvalue()[:3])
代码语言:plaintext
复制
读取失败: 'utf-8' codec can't decode byte 0xc6 in position 3: invalid continuation byte
   id      评论
0   1  音质不错
1   2  物流太慢
['id', '����'] ['���ʲ���', '����̫��']
b'\xef\xbb\xbf'

能看出来三件事:

  • 报错时指定 encoding="gbk" 就能正常读取。如果不确定编码,可以先试 utf-8,失败再试 gbk;
  • encoding_errors="replace" 不会报错,但会把读不懂的字节换成替换符,结果是一堆乱码,只适合先看看文件大概长什么样,不要用它来读正式数据;
  • 导出给别人用 Excel 打开的 CSV,建议用 encoding="utf-8-sig"。它会在文件开头写入 3 个字节的 BOM 标记,Excel 靠它识别出 UTF-8,中文就不会乱码。

小结

把上面的写法串起来,就是我处理一列中文文本时的固定顺序:

  1. 读取时先确认编码,读进来后看一眼缺失值和空字符串各有多少;
  2. 统一全角半角、合并空白,清洗结果存成新列,原始列保留;
  3. 用 str.contains 快速筛选,记得 na=False,想清楚是否按正则匹配;
  4. 用 str.extract 或 extractall 抽出结构化字段,再转成数值和日期类型;
  5. 多值字段用 split 加 explode 展开;正文先分词,再 explode 计数;
  6. 用关键词规则打标签,抽样核对后再迭代规则。

这些写法本身都不复杂,但顺序和细节处理好,后面的统计结果才靠得住。尤其是缺失值和全角半角,前面省掉的一步,往往要在后面花更多时间排查。

如果你在处理中文文本时也有常用的技巧或者踩过的坑,欢迎在评论区交流。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 准备:一份 30 条的示例评论
  • 写法一:全角转半角、清理空白
  • 写法二:str.contains 按关键词筛选
  • 写法三:str.extract 从文本里抽字段
  • 写法四:split + explode 拆分多值字段
  • 写法五:jieba 分词后统计词频
  • 写法六:按关键词规则打标签
  • 写法七:缺失值和文件编码
  • 小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档