首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

从语言模型到XLNet的知识点笔记

前段时间一直在忙产品上线的事情,对于NLP领域的新宠“Pretrain+Finetune”范式以及BERT、XLNet等模型都是零零散散的了解,很多细节一知半解,趁着这几天有些时间,索性把相关的paper都从头看一遍,加深理解。大规模Pretrain加小规模Finetune其实并不是最近才有的Pipeline,几年前在CV领域已被提出并证实其在Transfer方面的效果。但CV领域的Pretrain是基于大规模的监督数据,而在NLP领域,标注数据是非常稀缺的,因此才一直不愠不火。直到BERT的推出,基于非监督语言模型的Pretrain才逐渐火爆(毕竟无监督的语料数据太容易获得了),因此笔者就从LM开始,把最近一些前沿的重点工作做下简单的总结,也算是做下笔记加深印象。

02

【腾讯安全峰会】7大BG,9年沉淀,只为一个腾讯梦

经过台风“海马”的一轮肆虐后,这几天深圳的天气格外晴朗。今天,由腾讯安全平台部、腾讯学院举办的“第九届腾讯安全技术峰会”正式揭开了序幕。 说起这次峰会还有个小插曲:由于上周五台风对深圳的正面袭击,峰会改期到了今天。小伙伴们都惊呼:这可真是应了这次峰会的主题——“风起”!那么,这一波“大风”吹来了什么?这场持续了9年的企鹅聚会今年讲什么?现在就随现场小编一起来看看~ 风云际会 7大BG共同吹响安全集结号 一进入会场,就发现峰会的签到环节存在不少巧思。参会嘉宾刷卡签到后,自己的头像就会闪现在大屏幕上,来自7

09
领券