首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python处理中文标点符号

    中文文本中可能出现的标点符号来源比较复杂,通过匹配等手段对他们处理的时候需要格外小心,防止遗漏。以下为在下处理中文标点的时候采用的两种方法: 中文标点集合 比较常见标点有这些: 1 !?...@[\\]^_`{|}~ 因此,比如需要将所有标点符号去除,可以进行以下操作: 1 2 3 4 >>> import re >>> from zhon.hanzo import punctuation...如果想去除重复的符号而只保留一个,那么可以用\1指明:比如 1 >>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8")) 你也可以手工指定这些标点符号...punctuation) line = re.sub(re_punctuation, "", line) return line.strip() 清洗完毕后,有时候我们希望按照多个标点符号来分割

    9.1K40

    基于PaddlePaddle训练中文标点符号模型

    中文标点符号模型 本想是基于PaddleSpeech开发的中文标点符号模型,默认使用的预训练模型为ernie-3.0-medium-zh。...该模型可以用于语音识别结果添加标点符号,使用案例PPASR。...如果想自定义数据集,可以参考这个数据集的格式进行制作,注意在制作标点符号列表punc_vocab时,不需要加上空格,项目默认会加上空格的。...7.6. [2022-09-14 19:20:49.433919 INFO ] export_model:main:43 - 模型导出成功,保存在:models/pun_models 给文本添加标点符号...使用导出的预测模型为文本添加标点符号,通过text参数指定中文文本,实现添加标点符号,这可以应用在语音识别结果上面,具体可以参考PPASR语音识别项目。

    1.5K20
    领券