平时做数据分析,最常碰到的不是数值,而是一列一列的文本:用户评论、售后留言、表单里的备注。这类数据写起来随意,全角半角混着用,空格、换行、制表符到处都是,还有一部分干脆是空的。直接拿去统计,结果往往对不上。
这篇笔记把我自己处理中文文本时反复用到的 7 个写法整理了一下。所有代码都基于同一份手写的示例数据,在 Python 3.9.6 + pandas 2.3.3 下实际跑过,下面贴的输出就是运行结果。分词部分额外用了 jieba 0.42.1。
先造一份小数据:6 个品类、每类 5 条评论,再加一列用户自己填的「标签」。为了贴近真实情况,我故意在里面放了一些脏数据:全角字母和数字(OK、USB、10000mAh)、首尾多余空格、行首的全角空格、末尾的制表符、两条缺失值和一条空字符串。标签列的分隔符也是五花八门,有英文分号、中文分号、英文逗号、中文逗号和斜杠。
import pandas as pd
pd.set_option("display.unicode.east_asian_width", True)
pd.set_option("display.width", 120)
reviews = pd.DataFrame({
"id": range(1, 31),
"品类": ["耳机"] * 5 + ["台灯"] * 5 + ["电饭煲"] * 5
+ ["充电宝"] * 5 + ["保温杯"] * 5 + ["键盘"] * 5,
"评论": [
"音质不错,降噪效果也可以,就是戴久了耳朵有点疼。",
" 蓝牙连接很稳定,OK! ",
"续航只有4小时,和描述的不一样,差评。",
None,
"降噪一般般,低音还行。性价比高。",
"灯光柔和,不闪,晚上看书眼睛不累。",
"做工有点粗糙,底座有毛刺。",
"亮度可以调三档,USB供电很方便。",
"收到的时候灯罩裂了,申请退货。",
"",
"煮饭很香,预约功能好用,容量3L够三口之家。",
"内胆涂层两个月就掉了,质量太差。",
"外观好看, 就是按键有点不灵敏。",
"物流很快,第二天就到了,包装完好。",
"煮粥会溢出来,清洗麻烦。",
"容量10000mAh,实际能给手机充两次多。",
"有点重,放包里不太方便。",
"充电速度快,支持快充,好评!",
"用了一周就充不进电了,联系售后说要寄回检测。",
None,
"保温效果很好,早上装的热水晚上还是烫的。",
"杯盖漏水,放包里把书弄湿了,差评。",
"颜色和图片有色差,其他都还好。",
"物流太慢了,等了一个星期。",
"容量刚好,500ml,女生用合适。",
"手感很好,打字声音不大,适合办公室。",
"有几个键不灵,退货了。",
"灯效好看,就是线有点短。\t",
"性价比很高,这个价位很难挑出毛病。",
"\u3000\u3000客服回复很及时,问题当天就解决了。",
],
"标签": [
"音质;降噪", "连接, 音质", "续航", None, "降噪,性价比",
"护眼", "做工", "亮度/供电", "物流;破损", "",
"口感,容量", "质量", "外观;按键", "物流", "清洗",
"容量", "重量", "充电速度;快充", "质量,售后", "售后",
"保温", "漏水", "外观", "物流", "容量",
"手感,静音", "按键;退货", "外观, 线长", "性价比", "售后",
],
})
print(reviews.shape)
print(reviews.head())(30, 4)
id 品类 评论 标签
0 1 耳机 音质不错,降噪效果也可以,就是戴久了耳朵有点疼。 音质;降噪
1 2 耳机 蓝牙连接很稳定,OK! 连接, 音质
2 3 耳机 续航只有4小时,和描述的不一样,差评。 续航
3 4 耳机 None None
4 5 耳机 降噪一般般,低音还行。性价比高。 降噪,性价比开头那两行 set_option 建议每次处理中文都加上。display.unicode.east_asian_width 打开以后,pandas 会按中文字符占两个宽度来对齐列,不然打印出来的表格是歪的,看起来很费劲。
文本清洗的第一步通常是统一字符。很多人会直接用 str.normalize("NFKC"),它确实能把全角字母数字转成半角,但有一个容易忽略的副作用:中文逗号、感叹号这些全角标点也会一起被转成英文标点。
s = reviews["评论"]
print(s[[1, 7, 29]].tolist())
nfkc = s.fillna("").str.normalize("NFKC")
print(nfkc[[1, 7, 29]].tolist())[' 蓝牙连接很稳定,OK! ', '亮度可以调三档,USB供电很方便。', '\u3000\u3000客服回复很及时,问题当天就解决了。']
[' 蓝牙连接很稳定,OK! ', '亮度可以调三档,USB供电很方便。', ' 客服回复很及时,问题当天就解决了。']可以看到「,」变成了「,」,「!」变成了「!」,句号「。」却没变,因为它本身不属于全角 ASCII 区。如果后面要按中文标点断句,或者只是希望文本看起来一致,这个结果就不太理想。
我更常用的做法是自己建一张映射表,只转换全角数字、全角大小写字母和全角空格,然后交给 str.translate。全角字符和对应半角字符的编码正好相差 0xFEE0,所以一个循环就能生成。接着用正则 \s+ 把连续的空白(包括空格、制表符、换行,以及转换后的全角空格)合并成一个空格,最后 strip 去掉首尾。
# 只把全角数字、字母和全角空格转成半角,中文标点保持不动
table = {0x3000: 0x20}
for start, end in [(0xFF10, 0xFF19), (0xFF21, 0xFF3A), (0xFF41, 0xFF5A)]:
for cp in range(start, end + 1):
table[cp] = cp - 0xFEE0
clean = (
s.fillna("")
.str.translate(table)
.str.replace(r"\s+", " ", regex=True)
.str.strip()
)
reviews["评论_清洗"] = clean
reviews["字数"] = clean.str.len()
print(reviews.loc[[1, 7, 12, 15, 29], ["评论_清洗", "字数"]])
print("空评论:", (reviews["字数"] == 0).sum(), "条") 评论_清洗 字数
1 蓝牙连接很稳定,OK! 11
7 亮度可以调三档,USB供电很方便。 17
12 外观好看, 就是按键有点不灵敏。 16
15 容量10000mAh,实际能给手机充两次多。 22
29 客服回复很及时,问题当天就解决了。 17
空评论: 3 条几个要点:
fillna("") 再做字符串操作,这样后面的结果都是字符串,不会混进缺失值;str.len() 统计的是字符数,一个汉字算 1;清洗后的列我单独存成 评论_清洗,原始列保留不动,方便后面对照和排查。
清洗完,最常见的需求是「把包含某些词的评论找出来」。str.contains 默认把参数当正则处理,所以多个关键词用竖线连起来就是「任意一个命中」。
不过有个坑:如果列里有缺失值,str.contains 在缺失的位置返回的也是缺失值,而不是 False,拿它去做布尔索引会直接报错。
try:
reviews[reviews["评论"].str.contains("差评")]
except ValueError as e:
print("报错:", e)报错: Cannot mask with non-boolean array containing NA / NaN values解决办法有两个:一是像上一节那样先清洗、填充空字符串;二是加上 na=False,让缺失值直接算作不匹配。
c = reviews["评论_清洗"]
bad = c.str.contains("差评|质量|退货")
print(reviews.loc[bad, ["id", "评论_清洗"]])
print(reviews["评论"].str.contains("差评", na=False).sum())
print(c.str.contains("usb", case=False).sum())
print(c.str.contains(".").sum(), c.str.contains(".", regex=False).sum()) id 评论_清洗
2 3 续航只有4小时,和描述的不一样,差评。
8 9 收到的时候灯罩裂了,申请退货。
11 12 内胆涂层两个月就掉了,质量太差。
21 22 杯盖漏水,放包里把书弄湿了,差评。
26 27 有几个键不灵,退货了。
2
1
27 0后面三行分别演示了 na=False、忽略大小写的 case=False,以及 regex=False 的作用。最后一行很能说明问题:同样是查一个点号,按正则理解它匹配任意字符,27 条非空评论全部命中;关掉正则以后按字面查找,一条都没有。如果关键词里可能带有点号、问号、加号、括号这类符号,一定要想清楚是按正则还是按字面匹配。
售后留言里常常混着订单号、金额、日期,格式还不统一:有的写「2026-11-03」,有的写「2026/11/05」,有的写「2026年11月8日」。str.extract 配合命名分组,可以一次把这些信息抽成单独的列,分组名会直接成为列名,用中文也没问题。
tickets = pd.Series([
"订单DD202611030017申请退款,金额129.5元,下单时间2026-11-03",
"订单号:DD202611051203,退款 89 元,2026/11/05 下单",
"想换货,订单DD202611080456,2026年11月8日买的",
"催一下发货,下单好几天了",
"退款金额 239.00元 订单 DD202611120088 日期 2026.11.12",
"订单DD202611150321、DD202611150322 两单一起退,合计 58元",
])
info = pd.concat([
tickets.str.extract(r"(?P<订单号>DD[0-9]{12})"),
tickets.str.extract(r"(?P<金额>[0-9]+(?:[.][0-9]+)?)\s*元"),
tickets.str.extract(r"(?P<年>20[0-9]{2})[-/.年](?P<月>[0-9]{1,2})[-/.月](?P<日>[0-9]{1,2})"),
], axis=1)
print(info) 订单号 金额 年 月 日
0 DD202611030017 129.5 2026 11 03
1 DD202611051203 89 2026 11 05
2 DD202611080456 NaN 2026 11 8
3 NaN NaN NaN NaN NaN
4 DD202611120088 239.00 2026 11 12
5 DD202611150321 58 NaN NaN NaN日期那条正则用 [-/.年] 和 [-/.月] 同时兼容了三种写法。注意在方括号里点号就是普通字符,不需要转义。金额的正则里,小数部分写成 (?:[.][0-9]+)?:括号开头的 ?: 表示这一组只用来分组、不单独生成列,末尾的问号表示小数部分可有可无。
抽出来的都是字符串,还要再转一下类型才能计算。金额用 pd.to_numeric;日期可以把年、月、日三列改名成 year、month、day,再直接交给 pd.to_datetime,抽不到的行会变成 NaT,不影响其他行。
info["金额"] = pd.to_numeric(info["金额"])
info["日期"] = pd.to_datetime(
info[["年", "月", "日"]].rename(columns={"年": "year", "月": "month", "日": "day"})
)
print(info[["订单号", "金额", "日期"]])
all_orders = tickets.str.extractall(r"(?P<订单号>DD[0-9]{12})")
print(all_orders.tail(3))
print(all_orders.groupby(level=0).size().to_dict()) 订单号 金额 日期
0 DD202611030017 129.5 2026-11-03
1 DD202611051203 89.0 2026-11-05
2 DD202611080456 NaN 2026-11-08
3 NaN NaN NaT
4 DD202611120088 239.0 2026-11-12
5 DD202611150321 58.0 NaT
订单号
match
4 0 DD202611120088
5 0 DD202611150321
1 DD202611150322
{0: 1, 1: 1, 2: 1, 4: 1, 5: 2}str.extract 只取第一个匹配。像第 6 条那样一条留言里有两个订单号,就要用 str.extractall,它返回一个两层索引的表,第二层 match 表示这是该行的第几个匹配。再按第一层分组计数,就能知道每条留言里有几个订单号。
「标签」这类多值字段很常见,一个单元格里塞了好几个值。处理思路是:先用 str.split 按分隔符切成列表,再用 explode 把列表展开成多行,每个值占一行,之后就能正常计数、分组。
分隔符不统一的时候,str.split 同样可以传正则,配合 regex=True 一次处理多种分隔符。
tags = (
reviews["标签"]
.fillna("")
.str.split(r"[;;,,/]", regex=True)
.explode()
.str.strip()
)
tags = tags[tags != ""]
print(len(tags))
print(tags.value_counts().head(6))
long = reviews[["id", "品类"]].join(tags.rename("标签项"))
print(pd.crosstab(long["标签项"], long["品类"]).loc[["容量", "物流", "售后", "外观"]])40
标签
物流 3
售后 3
外观 3
容量 3
音质 2
按键 2
Name: count, dtype: int64
品类 保温杯 充电宝 台灯 电饭煲 耳机 键盘
标签项
容量 1 1 0 1 0 0
物流 1 0 1 1 0 0
售后 0 2 0 0 0 1
外观 1 0 0 1 0 1explode 之后,每个标签项都保留了原来那一行的索引,所以可以直接 join 回原表,拿到它对应的 id 和品类,再用 pd.crosstab 做一张交叉表,看每类商品各自被提到哪些问题。
拆完以后要记得 strip 一下,因为「连接, 音质」这种写法里逗号后面跟了空格。空字符串也要过滤掉,不然空标签会被当成一个值算进去。
评论正文没有现成的分隔符,想统计高频词就得先分词。jieba 的 lcut 直接返回列表,用 map 作用在每一行上,得到一列「词列表」,后面依然是 explode 加 value_counts 的套路。
import jieba
jieba.setLogLevel(60)
for w in ["降噪", "性价比", "充不进电"]:
jieba.add_word(w)
stop = {"就是", "有点", "一个", "这个", "可以", "还是", "其他"}
def cut(text):
return [w for w in jieba.lcut(text) if len(w) > 1 and w not in stop]
reviews["词"] = reviews["评论_清洗"].map(cut)
print(reviews.loc[[0, 18], ["评论_清洗", "词"]].to_string())
words = reviews["词"].explode().dropna()
print(words.value_counts().head(8)) 评论_清洗 词
0 音质不错,降噪效果也可以,就是戴久了耳朵有点疼。 [音质, 不错, 降噪, 效果, 戴久, 耳朵]
18 用了一周就充不进电了,联系售后说要寄回检测。 [一周, 充不进电, 联系, 售后, 寄回, 检测]
词
容量 3
方便 2
包里 2
性价比 2
差评 2
好看 2
物流 2
晚上 2
Name: count, dtype: int64这里有三个实际处理时一定会遇到的问题:
jieba.add_word 加进词典就能保持完整,品类相关的专有词都可以这样补充。len(w) > 1 一刀切掉了单字词,标点也顺带被去掉了。如果你的分析需要保留「好」「差」这样的单字评价,就不要这么做,改用停用词表。jieba.setLogLevel(60) 用来关掉 jieba 首次加载词典时打印的日志,不影响结果。
有了清洗后的文本,可以用一组关键词规则给每条评论打上「质量」「物流」「售后」「好评」之类的标签。思路是每个标签对应一组关键词,用 str.contains 生成一列布尔值,最后再把命中的标签名拼成一个字符串。
import re
rules = {
"质量": ["质量", "掉了", "不灵", "漏水", "裂了", "毛刺", "充不进电"],
"物流": ["物流", "发货", "包装"],
"售后": ["退货", "售后", "客服"],
"好评": ["好评", "不错", "很好", "好看", "性价比"],
}
c = reviews["评论_清洗"]
for name, kws in rules.items():
reviews["是否_" + name] = c.str.contains("|".join(map(re.escape, kws)))
flag_cols = ["是否_" + k for k in rules]
reviews["标签汇总"] = reviews[flag_cols].apply(
lambda row: "、".join(k for k, hit in zip(rules, row) if hit), axis=1
)
print(reviews.loc[[0, 8, 11, 18, 21, 29], ["id", "标签汇总"]])
print(reviews[flag_cols].sum()) id 标签汇总
0 1 好评
8 9 质量、售后
11 12 质量
18 19 质量、售后
21 22 质量
29 30 售后
是否_质量 7
是否_物流 2
是否_售后 4
是否_好评 8
dtype: int64这里有两个小细节。第一,拼正则之前用 re.escape 处理每个关键词,这样即使关键词里带了点号、括号这类符号,也会按字面匹配,不会意外变成正则语法。第二,一条评论可能同时命中多个标签,比如第 9 条「灯罩裂了,申请退货」既是质量问题,也是售后问题。所以我保留了每个标签的布尔列,方便后面 sum 统计数量;同时生成一个汇总列,方便人工翻看。
关键词规则看起来简单,但胜在可解释、好调整。数据量不大、类别比较固定的时候,这往往是最省事的做法。规则写好后,建议随机抽几十条人工核对一遍,看看有没有误判和漏判,再回头补关键词。
最后说两个经常让人摸不着头脑的问题。
第一个是缺失值。很多人习惯先 astype(str) 再处理文本,但这样会把缺失值变成字符串 "None" 或 "nan",它们会被当成正常文本参与统计,字数还算成 4 或 3。pandas 自带的 string 类型能保留缺失值 <NA>,空字符串和缺失也能区分开。
print(reviews["评论"].astype(str)[[3, 9]].tolist())
print(reviews["评论"].astype(str).str.len()[[3, 9]].tolist())
st = reviews["评论"].astype("string")
print(st[[3, 9]].tolist())
print(st.str.len()[[3, 9]].tolist())
print("缺失", st.isna().sum(), "条,空串", (st == "").sum(), "条")['None', '']
[4, 0]
[<NA>, '']
[<NA>, 0]
缺失 2 条,空串 1 条第二个是编码。从一些老系统或者用 Excel 另存的 CSV,经常是 GBK 编码,直接 read_csv 会报 UnicodeDecodeError。下面用一段内存里的 GBK 字节模拟这种情况。
import io
raw = "id,评论\n1,音质不错\n2,物流太慢\n".encode("gbk")
try:
pd.read_csv(io.BytesIO(raw))
except UnicodeDecodeError as e:
print("读取失败:", e)
print(pd.read_csv(io.BytesIO(raw), encoding="gbk"))
bad = pd.read_csv(io.BytesIO(raw), encoding_errors="replace")
print(bad.columns.tolist(), bad.iloc[:, 1].tolist())
out = io.BytesIO()
reviews[["id", "评论_清洗", "标签汇总"]].to_csv(out, index=False, encoding="utf-8-sig")
print(out.getvalue()[:3])读取失败: 'utf-8' codec can't decode byte 0xc6 in position 3: invalid continuation byte
id 评论
0 1 音质不错
1 2 物流太慢
['id', '����'] ['���ʲ���', '����̫��']
b'\xef\xbb\xbf'能看出来三件事:
encoding="gbk" 就能正常读取。如果不确定编码,可以先试 utf-8,失败再试 gbk;encoding_errors="replace" 不会报错,但会把读不懂的字节换成替换符,结果是一堆乱码,只适合先看看文件大概长什么样,不要用它来读正式数据;encoding="utf-8-sig"。它会在文件开头写入 3 个字节的 BOM 标记,Excel 靠它识别出 UTF-8,中文就不会乱码。把上面的写法串起来,就是我处理一列中文文本时的固定顺序:
str.contains 快速筛选,记得 na=False,想清楚是否按正则匹配;str.extract 或 extractall 抽出结构化字段,再转成数值和日期类型;split 加 explode 展开;正文先分词,再 explode 计数;这些写法本身都不复杂,但顺序和细节处理好,后面的统计结果才靠得住。尤其是缺失值和全角半角,前面省掉的一步,往往要在后面花更多时间排查。
如果你在处理中文文本时也有常用的技巧或者踩过的坑,欢迎在评论区交流。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。