AI部落联盟

20 篇文章
7.4K 次阅读
10 人订阅

全部文章

AI部落联盟

Prompt Learning-使用模板激发语言模型潜能

最近又出了个比较吸引人眼球的Prompt Learning,甚至该方法还被称之为NLP的“第四范式”,具体有哪几项请参考以下链接:

15430
AI部落联盟

ACL 2021中的25个Transformers模型

读者朋友们,多多笔记更新啦。最近事情比较杂乱(花式懒),所以停更了一段时间,不过也重构和基本完成了之前构思的Transformer教程,目前也正在内测,期待更好...

13230
AI部落联盟

Transformer长大了,它的兄弟姐妹们呢?(含Transformers超细节知识点)

最近复旦放出了一篇各种Transformer的变体的综述(重心放在对Transformer结构(模块级别和架构级别)改良模型的介绍),打算在空闲时间把这篇文章梳...

7450
AI部落联盟

神经网络中几个常用的求导公式

亲爱的朋友们,多多有一段时间没有更新啦,主要是我在学习transformers突然开始思考几个神经网络相关的基本问题(模型结构越写越复杂,调包效果越来越好,是否...

9820
AI部落联盟

预训练的卷积模型比Transformer更好?

这篇文章就是当下很火的用预训练CNN刷爆Transformer的文章,LeCun对这篇文章做出了很有深意的评论:"Hmmm"。本文在预训练微调范式下对基于卷积的...

14720
AI部落联盟

NLP和数学碰撞后会擦出怎样的火花(二)

本文首先对上篇文章中涉及到的各个任务的结果进行介绍,然后对各类规则进行总结,想看结论的小伙伴可以直接翻到Recommendations部分。

7421
AI部落联盟

收藏|神经网络调试Checklist

作为一名每天与神经网络训练/测试打交道的同学,是否经常会遇到以下这几个问题,时常怀疑人生:

10420
AI部落联盟

Facebook基于transformer最新自监督学习:厉害

本文是开源项目https://github.com/datawhalechina/transformers-quick-start-zh项目中计算机视觉的第一篇...

21440
AI部落联盟

transformers快速上手:实体识别和词性标注

大家好,我是多多,最近在学习整理预训练模型和transformers。这是本系列的第3篇。文字和代码较多,建议点赞、在看、收藏食用。

27620
AI部落联盟

我们用transformer干啥?

2021年4月,距离论文“Attention is all you need”问市过去快4年了。这篇论文的引用量正在冲击2万大关。

11220
AI部落联盟

2021年如何科学的“微调”预训练模型?

笔者刚刚入门NLP的时候,其实还和朋友们调侃过“attention is all you need"这么绝对的标题也敢发出来?当然似乎后来还有一个paper是“...

21130
AI部落联盟

一文看懂贝叶斯优化/Bayesian Optimization

今天想谈的问题是:什么是贝叶斯优化/Bayesian Optimization,基本用法是什么?

32120
AI部落联盟

如果只能做整数Integer运算还能用BERT吗?

想当年,其实估摸着也就大半年前,多多同学还在实验室瞪大眼睛盯着一种叫做xilinx系列的板子,调试着一种叫做VHDL的语言,还记得那个写代码的工具叫做Vivad...

17820
AI部落联盟

NLP模型中的数字原来这么有趣(一)

NLP模型能够表示文本,那能够识别数字吗?本系列旨在介绍NLP模型中的数字表示,参考的是南加州大学在NAACL2021发表的文章:Representing Nu...

26221
AI部落联盟

收藏|2021年浅谈多任务学习

当然不仅仅是NLP和推荐系统,最近CV和强化学习使用多任务学习进行创新的研究也是非常多的,但由于笔者对于CV和强化学习的多任务学习理解太浅,本文在谈多任务学习的...

21320
AI部落联盟

讲讲我理解的XLNet

Bert、GPT-2在怀里都还没捂热乎,XLNet又出来了,最近NLP界真的是风(gen)生(bu)水(shang)起(le),在看过各牛人( @张俊林@Tow...

92520
AI部落联盟

论文阅读|How Does Batch Normalizetion Help Optimization

Batch Normalization在2015年被谷歌提出,因为能够加速训练及减少学习率的敏感度而被广泛使用。

40920
AI部落联盟

一文了解端到端的任务型对话(一)

任务型对话模型包括两种方法:Pipeline和End2End,前面介绍了问题定义和建模(任务型对话系统公式建模&&实例说明)、Pipeline方...

1.2K22
AI部落联盟

微软和清华开源ConvLab: 多领域端到端对话系统平台

本文大部分来自ConvLab: Multi-Domain End-to-End Dialog System Platform,2019年4月1...

1.3K30
AI部落联盟

干货|XGBoost进阶—调参+实战

0,silent模式关闭(一般我们选择slient=0,因为这样能更好的帮助我们理解模型)

92730

扫码关注云+社区

领取腾讯云代金券