首页
学习
活动
专区
工具
TVP
发布

AI科技评论

专栏作者
4079
文章
3327565
阅读量
184
订阅数
少于两层的transformer,且只有注意力块,GPT-3:你怕不是搞事情?
只有一层或两层、且只有注意力块的transformer,在性能上有望达到96层、兼具注意力块与MLP块的GPT-3的效果吗? 作者 | Mordechai Rorvig 编译 | bluemin 编辑 | 陈彩娴 在过去的两年里,基于Transformer架构开发的大规模语言模型在性能(如语言流畅度)上达到了令人叹为观止的效果。 但是,Transformer对单词的处理方法是什么?学术界仍未有确定的答案。普遍的理解是,transformer模型能够以某种方式同时关注多个单词,以便立即进行“全局”分析。但它到
AI科技评论
2022-05-05
3710
还在满足“小池塘”模拟?这篇图形学论文征服了汪洋大海!UBC博士:一起来“整”个世界
而诸如洪水、烟雾、爆炸等特效计算的背后,实际上是用计算机程序在求解已有百年历史的“纳维-斯托克斯方程”:
AI科技评论
2021-08-24
4030
基于强化学习的自动化剪枝模型 | GitHub项目推荐
AI科技评论今天为大家介绍一个GitHub上最新开源的一个基于强化学习的自动化剪枝模型,本模型在图像识别的实验证明了能够有效减少计算量,同时还能提高模型的精度。
AI科技评论
2021-07-03
9770
CV圈杀疯了!继谷歌之后,清华、牛津等学者又发表三篇MLP相关论文,LeCun也在发声
5月4日,谷歌团队在arXiv上提交了一篇论文《MLP-Mixer: An all-MLP Architecture for Vision》,引起了广大计算机视觉的研究人员的热烈讨论。
AI科技评论
2021-05-19
6560
想帮你快速入门视觉Transformer,一不小心写了3W字......
近段时间,视觉Transformer非常火,但是有部分同学想要了解起来却可能不知从何下手,AI科技评论今天就给大家一篇从入门到入土的好文:
AI科技评论
2020-12-08
3K0
第一性原理之美:从平移对称性导出卷积
卷积的概念无处不在。它究竟有什么特别之处呢?在本文中,作者从第一性原理中推导出卷积,并表明它自然地来自平移对称性。
AI科技评论
2020-09-14
1.1K0
这六大方法,如何让 Transformer 轻松应对高难度长文本序列?
众所周知,多头注意力机制 (Multi-Head Self-Attention) 的计算开销很大。在处理长度为 n 的序列时,其
AI科技评论
2020-06-09
2.9K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档