芒果TV商品意图识别top3思路分享
比赛简介
主办方提供了商品名称和用户query数据供选手进行模型训练，希望选手能够设计出一套高效、精准的商品意图识别模型，以帮助提升电商搜索的效果，改善顾客的购买体验。
其中提供了两份数据，一个是goods_data.csv是商品名称数据，一个是query_data.csv是用户query数据，共39470条
前期我们做的尝试比较多，后面差不多烂尾了，庆幸b榜还在第一页，下面介绍下我们队伍的比赛思路。
数据处理
由于本赛题数据分类一个质量比较高的goods数据，一个是用户场景下的query数据（相对有噪音），前期我们尝试单独训练goods或者query数据效果不是很好，goods数据容易过拟合，query数据比较难收敛，后续实验我们选择将两份数据进行合并训练，效果得到明显提升。
文本长度统计如下：商品名称数据中 文本字符长度最大为39，最小为6。我们在训练中选择了覆盖绝大部分数据长度的大小26，其余没有做过多尝试。
数据划分
由于本赛题的样本的标签分布不均衡，我们采用多折分层采样的方式进行划分训练集，然后输入到模型进行训练，直接采用sklearn的StratifiedKFold
from sklearn.model_selection import StratifiedKFold
模型设计
由于Bert等预训练模型变体效果要好于传统NLP建模方法，我们一开始实验是从预训练模型开始建模的，对比了几个模型变体之间的效果，其中本次比赛给出的baseline ernie模型效果比较好，尝试了开放的ernie3.0效果不如1.0；其次nezha 效果和chinese-roberta-wwm也不错。
- ernie-1.0
- nezha
- chinese-roberta-wwm
训练优化
我们尝试了一些NLP训练优化方法，
- 对抗训练：尝试了FGM/PGD，其中PGD没有效果，FGM在chinese-roberta-wwm模型有提升效果
class FGM():
def __init__(self, model):
self.model = model
self.backup = {}
def attack(self, epsilon=1., emb_name='word_embeddings'):
# emb_name这个参数要换成你模型中embedding的参数名
for name, param in self.model.named_parameters():
if param.requires_grad and emb_name in name:
self.backup[name] = param.data.clone()
norm = torch.norm(param.grad)
if norm != 0 and not torch.isnan(norm):
r_at = epsilon * param.grad / norm
param.data.add_(r_at)
def restore(self, emb_name='emb.'):
# emb_name这个参数要换成你模型中embedding的参数名
for name, param in self.model.named_parameters():
if param.requires_grad and emb_name in name:
assert name in self.backup
param.data = self.backup[name]
self.backup = {}- 模型泛化：加入了MultiDropout、Rdrop，其中Rdrop在nezha模型提升比较明显
import torch.nn.functional as F
# define your task model, which outputs the classifier logits
model = TaskModel()
def compute_kl_loss(self, p, q, pad_mask=None):
p_loss = F.kl_div(F.log_softmax(p, dim=-1), F.softmax(q, dim=-1), reduction='none')
q_loss = F.kl_div(F.log_softmax(q, dim=-1), F.softmax(p, dim=-1), reduction='none')
# pad_mask is for seq-level tasks
if pad_mask is not None:
p_loss.masked_fill_(pad_mask, 0.)
q_loss.masked_fill_(pad_mask, 0.)
p_loss = p_loss.sum()
q_loss = q_loss.sum()
loss = (p_loss + q_loss) / 2
return loss
# keep dropout and forward twice
logits = model(x)
logits2 = model(x)
# cross entropy loss for classifier
ce_loss = 0.5 * (cross_entropy_loss(logits, label) + cross_entropy_loss(logits2, label))
kl_loss = compute_kl_loss(logits, logits2)
# carefully choose hyper-parameters
loss = ce_loss + α * kl_loss- ema在nezha模型有提升效果
class EMA():
def __init__(self, model, decay):
self.model = model
self.decay = decay
self.shadow = {}
self.backup = {}
def register(self):
for name, param in self.model.named_parameters():
if param.requires_grad:
self.shadow[name] = param.data.clone()
def update(self):
for name, param in self.model.named_parameters():
if param.requires_grad:
assert name in self.shadow
new_average = (1.0 - self.decay) * param.data + self.decay * self.shadow[name]
self.shadow[name] = new_average.clone()
def apply_shadow(self):
for name, param in self.model.named_parameters():
if param.requires_grad:
assert name in self.shadow
self.backup[name] = param.data
param.data = self.shadow[name]
def restore(self):
for name, param in self.model.named_parameters():
if param.requires_grad:
assert name in self.backup
param.data = self.backup[name]
self.backup = {}
# 初始化
ema = EMA(model, 0.999)
ema.register()
# 训练过程中，更新完参数后，同步update shadow weights
def train():
optimizer.step()
ema.update()
# eval前，apply shadow weights；eval之后，恢复原来模型的参数
def evaluate():
ema.apply_shadow()
# evaluate
ema.restore()模型融合
为了避免模型抖动，我们主要依赖线下cv分数以及a榜分数，对模型设置权重进行加权融合，具体融合方式如下：
其中preden1可以是模型融合的结果，然后基于它的分数再去分配其他两个单模的分数
比赛结论
本次比赛数据因为长度比较短以及粒度为实体名词级别的，ernie效果比较好，确实是意外之喜。由于时间问题有些想法还是没有去做尝试，主要有：
- 数据增强
- AWP对抗训练
- 投票融合等
希望其他前排大佬可以多多交流