首页
学习
活动
专区
工具
TVP
发布

数据派THU

专栏作者
2139
文章
1932895
阅读量
188
订阅数
图与代码不一致,Transformer论文被发现错误,网友:早该被指出1000次
来源:机器之心本文约1200字,建议阅读5分钟论文中的图有时会出现与实现代码不对应的情况,这会让读者头大,不知是有意还是无意为之。这次,没想到大名鼎鼎的 Transformer 论文也「翻车」了。 2017 年,谷歌大脑团队在其论文《Attention Is All You Need》中创造性的提出 Transformer 这一架构,自此这一研究一路开挂,成为当今 NLP 领域最受欢迎的模型之一,被广泛应用于各种语言任务,并取得了许多 SOTA 结果。 不仅如此,在 NLP 领域一路领先的 Transfo
数据派THU
2023-05-18
1510
【MIT博士论文】自监督学习语音处理
来源:专知本文约3000字,建议阅读5分钟在这篇论文中,我们探索使用自我监督学习。 在大量标记语音数据上使用监督学习算法训练的深度神经网络在各种语音处理应用中取得了显著的性能,往往在相应的排行榜上处于领先地位。然而,训练这些系统依赖于大量带注释的语音这一事实,为继续发展最先进的性能造成了可扩展性瓶颈,而且对在语音领域部署深度神经网络构成了更根本的障碍,因为标记数据本质上是罕见的,昂贵的,或耗时的收集。 与带注释的语音相比,未转录的音频通常积累起来要便宜得多。在这篇论文中,我们探索使用自我监督学习——一种学
数据派THU
2022-09-07
4360
清华大学孙茂松:自然语言处理一瞥,知往鉴今瞻未来
来源:AI科技评论   中国人工智能学会本文约6200字,建议阅读5分钟近日,清华大学人工智能研究院常务副院长孙茂松教授亲手执笔,对自然语言处理的贡献、当前境界与未来挑战进行了深入的探讨。 人类语言(即自然语言)的重要性无论怎么讲都不为过。社会生物学之父爱德华·威尔逊曾说过:“语言是继真核细胞之后最伟大的进化成就。”科普畅销书《信息简史》的作者詹姆斯·格雷克也深刻地指出:“语言本身就是人类有史以来最大的技术发明。”这些断言带有科学哲学的意味,反映了现代人类对语言本质理解的不断深化。  众所周知,语言是人类
数据派THU
2022-03-28
6050
独家|深度学习训练和推理之间有什么差异?
就像在学校上课一样,神经网络在“训练”阶段得到的教育跟大多数人一样——学会去做一份工作。
数据派THU
2019-08-12
3.1K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档