对话短文本语义匹配-冠军代码

小布助手是OPPO公司为欧加集团三品牌手机和IoT设备自研的语音助手，为用户提供了有趣、贴心、便捷的对话式服务。意图识别是对话系统中的一个核心任务，而对话短文本语义匹配是意图识别的主流算法方案之一。本赛道要求参赛队伍根据脱敏后的短文本query-pair，预测它们是否属于同一语义。

冠军方案

源代码获取方式

关注微信公众号 datayx 然后回复 语义配匹 即可获取。

AI项目体验地址 https://loveai.tech

数据

本项目没有提供数据，如果需要数据，请到天池比赛主页下载

https://tianchi.aliyun.com/competition/entrance/531851/introduction

预训练模型准备

• 下载预训练模型
  • nezha-base: https://drive.google.com/file/d/1HmwMG2ldojJRgMVN0ZhxqOukhuOBOKUb/view?usp=sharing
  • nezha-large: https://drive.google.com/file/d/1EtahNvdjEpugm8juFuPIN_Fs2skFmeMU/view?usp=sharing
  • uer/bert-base: https://share.weiyun.com/5QOzPqq
  • uer/bert-large: https://share.weiyun.com/5G90sMJ
  • macbert, chinese-bert-wwm-ext, chinese-roberta-wwm-ext-large https://huggingface.co/models
• 预训练模型开源仓库
  • https://github.com/dbiir/UER-py
  • https://github.com/huawei-noah/Pretrained-Language-Model
• 下载并解压, 解压到文件夹 data, 文件夹结构如下:

• 预训练模型md5

环境准备

• torch==1.7.0
• transformers=4.3.0.rc1
• simpletransformers==0.51.15
• TensorRT-7.2.1.6

端到端训练脚本

cd code
bash ./run.sh