腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

AI部落联盟

专栏作者

20

文章

31971

阅读量

10

订阅数

Prompt Learning-使用模板激发语言模型潜能

NLP 服务 https 网络安全

最近又出了个比较吸引人眼球的Prompt Learning，甚至该方法还被称之为NLP的“第四范式”，具体有哪几项请参考以下链接：

2021-08-12

2.2K0

ACL 2021中的25个Transformers模型

腾讯云开发者社区 erp css NLP 服务

读者朋友们，多多笔记更新啦。最近事情比较杂乱（花式懒），所以停更了一段时间，不过也重构和基本完成了之前构思的Transformer教程，目前也正在内测，期待更好的她。

2021-08-12

1.2K0

Transformer长大了，它的兄弟姐妹们呢？（含Transformers超细节知识点）

最近复旦放出了一篇各种Transformer的变体的综述（重心放在对Transformer结构（模块级别和架构级别）改良模型的介绍），打算在空闲时间把这篇文章梳理一下：

2021-07-19

1.2K0

神经网络中几个常用的求导公式

神经网络 github git 开源 css

亲爱的朋友们，多多有一段时间没有更新啦，主要是我在学习transformers突然开始思考几个神经网络相关的基本问题（模型结构越写越复杂，调包效果越来越好，是否还记得为什么而出发呢？），读者朋友也可以看看是否可以自如回答：

2021-06-17

7720

预训练的卷积模型比Transformer更好？

dynamic map mask self token

这篇文章就是当下很火的用预训练CNN刷爆Transformer的文章，LeCun对这篇文章做出了很有深意的评论:"Hmmm"。本文在预训练微调范式下对基于卷积的Seq2Seq模型进行了全面的实证评估。本文发现：

2021-06-15

1.3K0

NLP和数学碰撞后会擦出怎样的火花（二）

processing NLP 服务

本文首先对上篇文章中涉及到的各个任务的结果进行介绍，然后对各类规则进行总结，想看结论的小伙伴可以直接翻到Recommendations部分。

2021-06-15

5660

收藏｜神经网络调试Checklist

https 网络安全深度学习 github 批量计算

作为一名每天与神经网络训练/测试打交道的同学，是否经常会遇到以下这几个问题，时常怀疑人生：

2021-05-11

3710

Facebook基于transformer最新自监督学习：厉害

css 图像处理监督学习

本文是开源项目https://github.com/datawhalechina/transformers-quick-start-zh项目中计算机视觉的第一篇。关于预训练模型请查阅2021年如何科学的“微调”预训练模型？和transformer简介请查阅我们用transformer干啥？

2021-05-11

7090

transformers快速上手:实体识别和词性标注

css https 网络安全

大家好，我是多多，最近在学习整理预训练模型和transformers。这是本系列的第3篇。文字和代码较多，建议点赞、在看、收藏食用。

2021-05-11

2.6K0

我们用transformer干啥？

css NLP 服务图像处理深度学习

2021年4月，距离论文“Attention is all you need”问市过去快4年了。这篇论文的引用量正在冲击2万大关。

2021-04-23

8100

2021年如何科学的“微调”预训练模型？

笔者刚刚入门NLP的时候，其实还和朋友们调侃过“attention is all you need"这么绝对的标题也敢发出来？当然似乎后来还有一个paper是“cnn is all you need”？但2021年，我再看深度学习领域，无论是自然语言处理、音频信号处理、图像处理、推荐系统，似乎都看到attention混得风生水起，只不过更多时候看到的是它的另一个代号：Transformer。

2021-04-23

1.7K0

一文看懂贝叶斯优化/Bayesian Optimization

机器学习神经网络深度学习人工智能

今天想谈的问题是：什么是贝叶斯优化/Bayesian Optimization，基本用法是什么？

2021-04-08

5.6K0

如果只能做整数Integer运算还能用BERT吗？

bit integer layer 量化

想当年，其实估摸着也就大半年前，多多同学还在实验室瞪大眼睛盯着一种叫做xilinx系列的板子，调试着一种叫做VHDL的语言，还记得那个写代码的工具叫做Vivado，不知道大家听说过没有？那个时候，我想实现一个复杂的公式，涉及的计算稍微复杂点（比如来个开方）就要写一大串代码（虽然常用的复杂函数是有IP核可以调的），同时调试过程十分麻烦，甚至要具体到clock对齐。总而言之，十分难忘。那个时候业余时间写下一行Python代码解决一个问题，简直可以直呼“爽啊”。当然，硬件代码虽然难写，但毕竟计算速度、能耗比、并行优势一直很好，所以即便不好写，还是依旧使用广泛。

2021-04-08

1.4K0

NLP模型中的数字原来这么有趣（一）

linux NLP 服务编程算法机器学习

NLP模型能够表示文本，那能够识别数字吗？本系列旨在介绍NLP模型中的数字表示，参考的是南加州大学在NAACL2021发表的文章：Representing Numbers in NLP: a Survey and a Vision

2021-04-08

2.3K0

收藏｜2021年浅谈多任务学习

强化学习 NLP 服务 https 网络安全推荐系统

当然不仅仅是NLP和推荐系统，最近CV和强化学习使用多任务学习进行创新的研究也是非常多的，但由于笔者对于CV和强化学习的多任务学习理解太浅，本文在谈多任务学习的时候更多会用NLP和推荐系统中的模型来举例和分析。

2021-02-24

1.2K0

讲讲我理解的XLNet

Bert、GPT-2在怀里都还没捂热乎，XLNet又出来了，最近NLP界真的是风（gen）生（bu）水（shang）起（le），在看过各牛人（ @张俊林@Towser）对XLNet的解读之后，小菜鸟也想说说自己的理解（毕竟讲出来比留在脑子里印象深刻）。

2019-06-25

1.2K0

论文阅读|How Does Batch Normalizetion Help Optimization

Batch Normalization在2015年被谷歌提出，因为能够加速训练及减少学习率的敏感度而被广泛使用。

2019-05-27

6270

一文了解端到端的任务型对话(一)

任务型对话模型包括两种方法：Pipeline和End2End，前面介绍了问题定义和建模（任务型对话系统公式建模&&实例说明）、Pipeline方法中的SLU（总结|对话系统中的口语理解技术(SLU)（一）、总结|对话系统中的口语理解技术(SLU)（二）、总结|对话系统中的口语理解技术(SLU)（三））、DST（一文看懂任务型对话系统中的状态追踪（DST））、DPL（一文看懂任务型对话中的对话策略学习（DPL））、NLG（总结|对话系统中的自然语言生成技术（NLG））。今天简单介绍下部分End2End的方法（End2End的方法也有多种，比如：有的方法虽然是End2End的方法，但是还是单独设计模型的部件，不同部件解决Pipeline方法中的某个或多个模块；有的方法则是完全忽略Pipeline方法划分的多个模块，完全的End2End），后续抽时间会继续介绍。

2019-05-27

2.2K0

微软和清华开源ConvLab: 多领域端到端对话系统平台

开源 NLP 服务深度学习强化学习

本文大部分来自ConvLab: Multi-Domain End-to-End Dialog System Platform，2019年4月18号才挂到arxiv，我是19号简单扫一遍。这种类型的文章比较简单，大多是阐述性质的，今天也没细看（局部细看了，没有整体细看），捡着关键内容加上我之前关于对话方面的了解简单写下。如果有问题，欢迎交流。

2019-05-27

2K0

干货|XGBoost进阶—调参+实战

决策树机器学习神经网络深度学习人工智能

0，silent模式关闭（一般我们选择slient=0，因为这样能更好的帮助我们理解模型）

2019-05-27

2K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态