腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

zingpLiu

专栏作者

62

文章

97232

阅读量

17

订阅数

深入理解Transformer及其源码解读

机器学习神经网络深度学习人工智能

深度学习广泛应用于各个领域。基于transformer的预训练模型（gpt/bertd等）基本已统治NLP深度学习领域，可见transformer的重要性。本文结合《Attention is all you need》与Harvard的代码《Annotated Transformer》深入理解transformer模型。 Harvard的代码在python3.6 torch 1.0.1 上跑不通，本文做了很多修改。修改后的代码地址：Transformer。

2019-10-24

2K0

Dropout原理与实现

神经网络 http

　　Dropout是深度学习中的一种防止过拟合手段，在面试中也经常会被问到，因此有必要搞懂其原理。

2019-10-08

7650

集成学习总结

决策树神经网络深度学习人工智能编程算法

1 基本概念集成学习的主要思路是先通过一定的规则生成多个学习器，再采用某种集成策略进行组合，最后综合判断输出最终结果。一般而言，通常所说的集成学习中的多个学习器都是同质的"弱学习器"。基于该弱学习器，通过样本集扰动、输入特征扰动、输出表示扰动、算法参数扰动等方式生成多个学习器，进行集成后获得一个精度较好的"强学习器"。目前集成学习算法大多源于bagging、boosting、stacking三种思想。 2 bagging 一种提高分类模型的方法。 (1) 从训练集\(S\)中有放回的随机选取数据集\(

2019-06-25

5840

过拟合与对策

编程算法决策树机器学习神经网络深度学习

为了防止过拟合，可以为损失函数加上一个惩罚项对复杂的模型进行惩罚，即强制让模型的参数值尽可能小。加上正则化项的目标是让它的值尽可能小，即参数等于0或者接近于0。\(\lambda\)为惩罚项系数，是人工设定的大于0的参数。

2019-03-15

7850

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态