首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

从语言模型到XLNet的知识点笔记

前段时间一直在忙产品上线的事情,对于NLP领域的新宠“Pretrain+Finetune”范式以及BERT、XLNet等模型都是零零散散的了解,很多细节一知半解,趁着这几天有些时间,索性把相关的paper都从头看一遍,加深理解。大规模Pretrain加小规模Finetune其实并不是最近才有的Pipeline,几年前在CV领域已被提出并证实其在Transfer方面的效果。但CV领域的Pretrain是基于大规模的监督数据,而在NLP领域,标注数据是非常稀缺的,因此才一直不愠不火。直到BERT的推出,基于非监督语言模型的Pretrain才逐渐火爆(毕竟无监督的语料数据太容易获得了),因此笔者就从LM开始,把最近一些前沿的重点工作做下简单的总结,也算是做下笔记加深印象。

02

开源应用中心 | Bitwarden_rs让你管理账号密码不再烦恼

在互联网盛行的时代,账号密码信息的有效管理和我们的切身利益是紧密关联。随着登录注册过的网站和应用越来越多,账号和密码的管理也渐渐成为了我们上网体验的一大痛点,我们迫切需要一个安全、快速、方便的密码长期保存方式来统一管理账号信息。密码管理软件也就应运而生。经过一番调研发现,目前比较流行的密码管理器主要被 1Password、LastPass、Enpass、KeePass及各种浏览器自带功能瓜分。但是前面提到软件要么收费高,要么存在严重的安全漏洞,要么用户体验不尽人意,而对于拥有多平台多设备的用户来说很难找到一个既好用有免费的密码管理软件,直到遇见了BitWarden_rs。

04
领券