首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏作者
8931
文章
6281661
阅读量
277
订阅数
8x7B MoE与Flash Attention 2结合,不到10行代码实现快速推理
前段时间,Mistral AI 公布的 Mixtral 8x7B 模型爆火整个开源社区,其架构与 GPT-4 非常相似,很多人将其形容为 GPT-4 的「缩小版」。
机器之心
2024-01-04
2470
Diffusion预训练成本降低6.5倍,微调硬件成本降低7倍!Colossal-AI完整开源方案低成本加速AIGC产业落地
如何更好、更快和更便宜地实现训练、微调 AIGC 模型,已成为 AIGC 商业化和应用爆发的最大痛点。
机器之心
2022-12-15
2.1K0
7 Papers & Radios | MIT爆出苹果M1芯片重大漏洞;斯坦福CS博士新作:BERT单节点训练最快
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周重要论文包括:斯坦福大学提出一种快速、内存高效的注意力算法,被命名为 FlashAttention,通过减少 GPU 内存读取 / 写入,FlashAttention 的运行速度比 PyTorch 标准注意力快 2-4 倍,所需内存减少 5-20 倍;来自 MIT CSAIL 的学者们介绍了一种可禁用苹果 M1 芯片指针身份验证机制的新型硬件攻击,名为「PACMAN」,这种攻击能够阻止 M1 芯片检测到软件漏洞攻
机器之心
2022-06-20
4490
斯坦福大学CS博士新作:新型Attention提速2-4倍,BERT单节点训练最快
机器之心报道 编辑:陈萍 FlashAttention 是一种具有 IO 感知,且兼具快速、内存高效的新型注意力算法。 一种快速、内存高效的注意力算法来了,被命名为 FlashAttention。通过减少 GPU 内存读取 / 写入,FlashAttention 的运行速度比 PyTorch 标准注意力快 2-4 倍,所需内存减少 5-20 倍。 这项研究由斯坦福大学、纽约州立大学布法罗分校的研究者共同完成。共同一作是两位斯坦福计算机博士生 Tri Dao 和 Dan Fu。 下面我们介绍一下论文具体内容
机器之心
2022-06-17
1.4K0
7 Papers & Radios | 尤洋团队FastFold上线;1000层的Transformer来了
机器之心 & ArXiv Weekly Radiostation参与:杜伟、楚航、罗若天 本周论文包括尤洋团队FastFold上线,训练时间从11天压缩至67小时;微软亚洲研究院直接把 Transformer 深度提升到 1000 层等研究。 目录 FastFold: Reducing AlphaFold Training Time from 11 Days to 67 Hours  Transformer Memory as a Differentiable Search Index  DeepNet:
机器之心
2022-03-09
5020
谷歌Quoc Le团队新transformer:线性可扩展,训练成本仅有原版1/12
机器之心报道 编辑:泽南、杜伟 谷歌的新研究,让 transformer 模型的效率有了巨大提升,该方法的核心在于减少注意力机制。 Transformer 是目前深度学习领域最热门的技术,在语言和视觉领域都取得了很多突破。尽管因为模型体量不断增加而受到质疑,但大多数 Transformer 因为输入长度的二次复杂度问题,仍然限于短上下文大小——由于记忆容量有限,不得不抛弃较早的信息。这一限制阻止了 Transformer 模型处理长期信息的能力,而后者是许多应用程序的关键属性。 在学界,已经有很多技术试图通
机器之心
2022-03-04
3670
数行代码训练视频模型,PyTorch视频理解利器出炉
视频作为当今最被广为使用的媒体形式,已逐渐占超过文字和图片,据了人们更多的浏览时间。这使得视频理解变得尤为重要。各大互联网公司与顶尖高校纷纷绞尽脑汁,竞相研究前沿视频理解模型与算法。在谷歌,Facebook,亚麻,Open-MM Lab 等分别祭出各家杀器之后,Facebook人工智能实验室在 PySlowFast 之后时隔两年,携 PyTorchVideo 重入战场。
机器之心
2021-07-14
9440
去噪、去水印、超分辨率,这款不用学习的神经网络无所不能
事情是这样的:研究人员们让一个深度卷积网络去学习复制被破坏的图像(例如加入噪点的图像),随后竟发现这个网络可以自行先学会如何重建图像。该研究的论文《Deep Image Prior》已被收录在 CVPR 2018 大会,而 GitHub 则已有 3800 个 star。
机器之心
2019-04-30
2.1K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档