小布助手对话短文本语义匹配

向AI转型的程序员都关注了这个号👇👇👇

机器学习AI算法工程   公众号：datayx

小布助手是OPPO公司为欧加集团三品牌手机和IoT设备自研的语音助手，为用户提供了有趣、贴心、便捷的对话式服务。意图识别是对话系统中的一个核心任务，而对话短文本语义匹配是意图识别的主流算法方案之一。

训练数据

训练数据包含输入query-pair，以及对应的真值。初赛训练样本10万，复赛训练样本30万，这份数据主要用于参赛队伍训练模型，为确保数据的高质量，每一个样本的真值都有进行人工标注校验。每行为一个训练样本，由query-pair和真值组成，每行格式如下：

• query-pair格式：query以中文为主，中间可能带有少量英文单词（如英文缩写、品牌词、设备型号等），采用UTF-8编码，未分词，两个query之间使用\t分割。
• 真值：真值可为0或1，其中1代表query-pair语义相匹配，0则代表不匹配，真值与query-pair之间也用\t分割。

训练数据样本举例（空白间隔为\t）：

测试数据

脱敏后的query-pair数据，初赛采用A/B榜的方式，A榜和B榜样本规模分别为2.5万，发布时间以赛制为准，初赛队伍根据初赛B榜排名择优进入复赛；复赛同样采用A/B榜的方式，样本规模5万（与初赛不重复），复赛队伍根据复赛B榜排名择优进入现场答辩。

测试数据样本举例（空白间隔为\t）

冠军方案

• 全部 代码  ,方案详情 获取方式：
• 关注微信公众号 datayx  然后回复 语义匹配  即可获取。

预训练模型准备

• 下载预训练模型
  • nezha-base: https://drive.google.com/file/d/1HmwMG2ldojJRgMVN0ZhxqOukhuOBOKUb/view?usp=sharing
  • nezha-large: https://drive.google.com/file/d/1EtahNvdjEpugm8juFuPIN_Fs2skFmeMU/view?usp=sharing
  • uer/bert-base: https://share.weiyun.com/5QOzPqq
  • uer/bert-large: https://share.weiyun.com/5G90sMJ
  • macbert, chinese-bert-wwm-ext, chinese-roberta-wwm-ext-large https://huggingface.co/models
• 预训练模型开源仓库
  • https://github.com/dbiir/UER-py
  • https://github.com/huawei-noah/Pretrained-Language-Model
• 下载并解压, 解压到文件夹 data, 文件夹结构如下

环境准备

• torch==1.7.0
• transformers=4.3.0.rc1
• simpletransformers==0.51.15
• TensorRT-7.2.1.6

端到端训练脚本

cd code
bash ./run.sh

不同版本方案

• 方案一: 预训练(多个模型) + finetune-分类(多个模型) + 生成软标签 + 训练regression模型(软标签，单模型) cd code bash ./train.sh 初赛使用的该方案，初赛成绩为0.9220；
• 方案二: 预训练(多个模型) + 加载预训练参数，初始化一个大模型 + 训练分类模型(单模型) pipeline/pipeline_b.py 训练一个144层模型(6 * 12 + 24 * 3); 该模型单模型在复赛A榜成绩0.9561；推理平均时间15ms；
• 方案三: 预训练(多个模型) + finetune-分类(多个模型) + 平均融合 pipeline/pipeline_d.py 融合6个bert-base + 3个bert-large模型； 该模型在复赛A榜没测试，B榜成绩0.9593；推理平均时间15ms；

机器学习算法AI大数据技术 搜索公众号添加： datanlp长按图片，识别二维码

阅读过本文的人还看了以下文章：
TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank，用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解，通俗易懂！

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门：基于Python的理论与实现》高清中文PDF+源码

《深度学习：基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频，从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材

笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！
《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享

重要开源！CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师，你的面试为什么过不了？

前海征信大数据算法：风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

VGG16迁移学习，实现医学图像识别分类工程项目
特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七)：图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分？

Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师（共四面）通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）

python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源深度学习、机器学习、数据分析、python 搜索公众号添加： datayx