首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Python处理中文标点符号

中文文本中可能出现的标点符号来源比较复杂,通过匹配等手段对他们处理的时候需要格外小心,防止遗漏。以下为在下处理中文标点的时候采用的两种方法: 中文标点集合 比较常见标点有这些: 1 !?...@[\\]^_`{|}~ 因此,比如需要将所有标点符号去除,可以进行以下操作: 1 2 3 4 >>> import re >>> from zhon.hanzo import punctuation...如果想去除重复的符号而只保留一个,那么可以用\1指明:比如 1 >>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8")) 你也可以手工指定这些标点符号...punctuation) line = re.sub(re_punctuation, "", line) return line.strip() 清洗完毕后,有时候我们希望按照多个标点符号来分割

8.8K40

基于PaddlePaddle训练中文标点符号模型

中文标点符号模型 本想是基于PaddleSpeech开发的中文标点符号模型,默认使用的预训练模型为ernie-3.0-medium-zh。...该模型可以用于语音识别结果添加标点符号,使用案例PPASR。...如果想自定义数据集,可以参考这个数据集的格式进行制作,注意在制作标点符号列表punc_vocab时,不需要加上空格,项目默认会加上空格的。...7.6. [2022-09-14 19:20:49.433919 INFO ] export_model:main:43 - 模型导出成功,保存在:models/pun_models 给文本添加标点符号...使用导出的预测模型为文本添加标点符号,通过text参数指定中文文本,实现添加标点符号,这可以应用在语音识别结果上面,具体可以参考PPASR语音识别项目。

1.3K20

中文字符与中文标点符号判断

字符集介绍 CJK中文字符和中文标点判断 主要内容: Java Character类介绍; Unicode 简介及 UnicodeBlock 与 UnicodeScript区别和联系 如何判断汉字及中文标点符号...做中文信息处理,经常会遇到如何判断一个字是否是中文,或者是否是中文的标点符号等。...Character.UnicodeScript.HAN) { return true; } return false; } 类似的,扩展开去还可以判别中文标点符号...因为中文的标点符号主要存在于以下5个UnicodeBlock中, U2000-General Punctuation (百分号,千分号,单引号,双引号等) U3000-CJK Symbols and Punctuation...冒号,分号等等) UFE30-CJK Compatibility Forms (主要是给竖写方式使用的括号,以及间断线﹉,波浪线﹌等) UFE10-Vertical Forms (主要是一些竖着写的标点符号

3K10
领券