各位小伙伴中午好~
不知不觉走到2018年的尾声啦0 0
咱们赛博智能公众号也开通了半年有余。在这半年里,我们共计发布了科研成果类推送16篇,其他类型推送22篇,关注人数已达四位数。
感谢一路走来各位朋友的帮助与支持,抱拳へ
祝大家在新的一年里万事如意,科研顺利哦(〃'▽'〃)
小编
「AI Challenger 全球 AI 挑战赛」是面向全球人工智能人才的开源数据集和编程竞赛平台,首届 AI Challenger 全球 AI 挑战赛于 2017 年举办。AI Challenger 2018 由创新工场、搜狗、美团点评、美图公司联合主办。今年有上万支团队参赛, 覆盖 81 个国家、1100 所高校、990 家公司。
2018年各赛道参赛队与提交情况
图源 | leiphone.com
竞赛成果
2018年12月19日,第二届AI Challenger全球AI挑战赛落下帷幕,中科院电子所赛博智能团队的张鸿志(队名:do something)参与了细粒度用户评论情感分析赛道的竞赛,并在总决赛中获得亚军。
荣誉奖杯
总结与体会
通过对整个比赛总结和分析,我们将整个模型中较为有效的策略概括为以下几点:
多任务学习:入围决赛的四支队伍均采用了多任务建模方法。对于该任务,采用多任务建模来避免分别训练20个分类器,是模型快速迭代的关键。在多任务学习框架下,需要注意共享和独占参数数目的权衡。在实验中我们发现将SRU/GRU/LSTM层设置为共享层、特征抽取与分类层设置为独占层,可获得一个不错的基线模型。
SRU:在上下文建模中,较LSTM、CNN和Transformer,N-BiSRU也是一个不错的选择(if not better)。我们的模型训练一个epoch需要5-6分钟,同等参数规模的GRU模型需要13分钟左右(GPU:1080ti),而实际上GRU模型需要更多参数才能收敛到好的结果。
Dropwords:Dropwords是一种简单有效的数据增强方法。
阈值调整:在竞赛中,针对不平衡数据集,调整分类阈值是一个简单有效的策略。
ToDo:进一步探索ELMO和BERT等预训练方法在细粒度情感分析任务上的作用
我们在这里分享竞赛答辩PPT,以便大家交流。
作者简介
张鸿志,博士生,2014年由吉林大学保送至中国科学院电子学研究所直博,研究方向包括基于深度学习的知识图谱问答、文本问答及信息抽取等。
作者:张鸿志
编辑:王鑫沂
尹文昕
领取专属 10元无门槛券
私享最新 技术干货