首页
学习
活动
专区
工具
TVP
发布

量子位

专栏作者
8591
文章
4920766
阅读量
138
订阅数
大模型训练成本降低近一半!新加坡国立大学最新优化器已投入使用
该成果由新加坡国立大学打造,在ACL会议上获得了杰出论文奖,并已经投入了实际应用。
量子位
2023-08-05
1470
1000000000!微软改进Transformer一次能记住这么多token了
而能够只用1分钟看完一本数万字小说的Claude,其token数也不过“才”100k(10万)。
量子位
2023-08-05
1880
PyTorch 1.7发布:支持CUDA 11、Windows分布式训练
木易 发自 凹非寺  量子位 报道 | 公众号 QbitAI 自从7月份CUDA 11发布以来,就陆陆续续听到了网友类似的吐槽: 这正说着,10月27日,PyTorch团队发布了PyTorch 1.7,终于能支持CUDA 11了,可喜可贺(狗头)。 除此之外,这次1.7的版本,也带来了许多功能的更新和稳定。 在更新上,有了许多新的应用编程接口,如支持与NumPy兼容的快速傅立叶变换的操作及性能分析工具。 此外,分布式数据并行(DDP)和基于远程过程调用(RPC)的分布式训练也有了重大的更新,在Window
量子位
2023-03-10
6440
谷歌传奇Jeff Dean获2021年IEEE冯诺依曼奖,8页本科论文被大学图书馆保存至今
杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 最近,IEEE 2021 多项大奖出炉! 谷歌AI掌门人,知名学者Jeff Dean获IEEE冯诺依曼奖。 获奖理由是“以表彰对大规模分布式计算机系统和人工智能系统科学与工程的贡献”。 冯诺依曼奖是IEEE董事会于1990年设立的奖项,以现代计算机创始人之一约翰·冯·诺伊曼命名,每年颁发给为“计算机相关科学和技术”做出杰出成就的人。 历年来获得该奖项的,妥妥都是大佬。 比如计算机天才科学家Gordon Bell,图灵奖得主John Edward
量子位
2023-03-10
2520
PyTorch 1.9发布!移动端疯狂更新,网友:我的最爱
明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 时隔仅3个月,PyTorch再次迎来升级——1.9版本。 这一次,官方把重头戏放在了移动端上。 不仅Mobile Interpreter发布了新版本,而且TorchVision库也支持在手机上使用了,iOS、Android都支持! 网友看了都表示: 这一次更新中,我对移动端最感兴趣。 而此次1.9版本集合了自2021年3月1.8版本发布以来,超过3400次GitHub提交。 除了移动设备端方面,还有其他诸多亮点: 前端API改进(包括torc
量子位
2023-03-10
3940
“C语言之父”40年前搞的操作系统复活!Linux、Windows都借鉴过它
贾浩楠 发自 凹非寺  量子位 报道 | 公众号 QbitAI Plan 9操作系统?没听说过…. 但事实是,连Linux、Windows都得叫它一声“老大哥”! 没错,这套40年前由“C语言之父”开发的操作系统,如今仍然在深刻影响着Linux、Windows。 最新消息的消息是,拥有Plan 9版权的美国贝尔实验室,刚刚宣布下放版权给开发者社区。 就是说,Plan 9这个在幕后默默影响行业40年的分布式操作系统,要正式“复活”了。 Plan 9系统是干什么的? 大名鼎鼎的贝尔实验室,是C语言,以及Lin
量子位
2023-03-10
2720
UC伯克利博士尤洋回国创业,求学期间破ImageNet纪录!已获超千万种子轮融资
明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 曾刷新ImageNet纪录的尤洋,回国创业了! 尤洋,何许人也? 他是LAMB优化器的提出者,曾成功将预训练一遍BERT的时间,从原本的三天三夜一举缩短到一个多小时。 作为一个通用的神经网络优化器,LAMB优化器无论是大批量还是小批量的网络都可以使用,也无需在学习率之外调试超参数。 据英伟达官方GitHub显示,LAMB比Adam优化器可以快出整整72倍。 微软的DeepSpeed,用的也是LAMB方法。 而这是尤洋在谷歌实习时作为论文一作提
量子位
2023-03-10
3850
MSRA第五任院长周礼栋上任!出身复旦,加盟微软19年,是大规模分布式系统专家
丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI “AI黄埔军校”换校长,微软亚洲研究院(MSRA)迎来第五任院长! 今日,微软官方宣布新任命: 微软杰出首席科学家、原微软亚洲研究院常务副院长周礼栋博士,升任微软亚洲研究院院长。 他将接替上一任院长洪小文博士,全面负责微软亚洲研究院在北京和上海的研究工作,以及与中国及亚太地区学术界和产业界的合作。 而洪小文博士则继续作为微软全球资深副总裁和微软亚太研发集团主席,负责推动微软在亚太地区的整体研发战略布局和创新生态系统的构建。 微软亚洲研究院的
量子位
2023-03-10
9300
AIGC落地门槛被打下来了:硬件预算一口气降至1/46,低成本上手Stable Diffusion2.0,一行代码自动并行
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 从AI画画到NLP大模型,AIGC的落地成本被一次性打下来了! 话不多说,直接看结果: Stable Diffusion 2.0训练/微调/推理,显存消耗最多可节省5.6倍,使硬件成本直降至1/46,一行代码即可启用; 1750亿参数大模型BLOOM单机推理,显存消耗节省4倍,硬件成本直降至十几分之一。 一行代码实现自动搜索最佳并行策略,显著降低分布式训练上手门槛,原生支持Hugging Face、Timm等热门AI模型库。 要知道,在AIGC爆火的另
量子位
2023-02-28
9200
如何加速大模型开发?技术方案拆解来了:昇思MindSpore技术一览
随着ChatGPT爆火出圈,狂飙之势从22年底持续到23年初,与以往的技术突破不同的是,此次的大模型不仅被技术界关注,而且备受投资界、产业界和大众消费者的追捧,使它成为历史上最快月活过亿的现象级应用,继而引发全球科技巨头的AI竞赛。 大模型的高智能化离不开对模型的大规模预训练,这背后需要强大的AI框架作底层支持。面对动辄千亿级参数的大模型,如何使能广大开发者和用户进行开发,在当前大模型研究分秒必争之时弯道超车?且让我们顺着大模型技术的方案拆解,一探昇思MindSpore AI框架的技术能力。 预训练大模型的
量子位
2023-02-23
7290
NLP技术和产业化进展 | 2月23日TF94
NLP技术持续发展,各种预训练模型层出不穷,NLP结合产业应用在各行各业中形成爆发态势。本次会议聚焦NLP领域最新的技术以及产业应用场景。2月23日,欢迎报名参加。 为工程师提供顶级交流平台 CCF TF第94期 主题 NLP技术和产业化进展 2023年2月23日 19:00-21:00 长按识别或扫码报名 报名链接:https://conf.ccf.org.cn/TF94 从算法模型,到产业应用,NLP在各个子领域都在进行突破,也面临更多的挑战和机遇。随着NLP模型越来越大,参数量迅速膨胀,分布式训练
量子位
2023-02-23
3420
腾讯发布万亿大模型训练方法:最快256卡1天训完万亿NLP大模型
随着AI技术不断发展,AI大模型(又称预训练模型)逐渐成为产业中最火热的技术名词。
量子位
2022-12-09
1.8K0
禾多科技与RTI达成合作,加速自动驾驶在中国量产落地
允中 发自 凹非寺 量子位 | 公众号 QbitAI 近日,禾多科技与最大智能设备及现实系统互连软件框架提供商RTI(Real-Time Innovations)正式建立合作伙伴关系。双方将基于各自创新优势,携手加速自动驾驶技术在中国汽车市场量产普及。 △RTI官网截图 作为目前极少数拥有全栈自动驾驶研发能力的科技创新公司之一,禾多科技可为汽车主机厂商提供自动驾驶域控制器硬件设计、底层基础软件研发和上层应用软件部署等领域的全栈解决方案。此次合作关系建立后,禾多科技将与RTI在自动驾驶中间件开发等领域展开深
量子位
2022-10-10
3360
MSRA院长周礼栋升任微软全球资深副总裁,20年前加入微软,毕业于复旦
羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 微软官方宣布新任命: 微软亚洲研究院院长周礼栋博士,升任为微软公司全球资深副总裁。 从2002年博士毕业后加入微软,周礼栋已经在微软度过了20个年头。 一路从研究员 、首席研究员 、微软亚洲研究院常务副院长,微软亚洲研究院院长,走到了今天的微软全球资深副总裁。 自去年7月升任微软亚洲研究院院长后,周礼栋一直全面负责微软亚洲研究院在中国及亚太地区的研究工作以及与学术界和产业界的合作。 让我们梳理一下这位新任微软全球资深副总裁的履历和成就。 履历回顾 周
量子位
2022-09-13
2550
马斯克看好的虚拟电厂,在国内火了一波:相关概念股4个月涨50%,还有城市试点运行
Pine 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 高温热枯了一众水力发电站,却再次带火了“虚拟电厂”这个概念。 不仅各地都有新的虚拟电厂开建或投入运行,连相关的概念股也上涨了50%。 要知道,就在一个月前,马斯克也刚宣布一个虚拟电厂项目—— 给家里自备“大储能电池”Powerwall的特斯拉用户,开放一个赚钱的好途径,用户如果有用不完的电,传给电网一度电就能挣两美元。 国内也已经有相关虚拟电厂投入运行,据新浪科技介绍,目前不少公司都加入了给虚拟电厂“供电”的行列,积极的话一个月甚至能拿到十几
量子位
2022-09-06
3170
手机就能弄个3A级数字人!中国团队一套“乾坤大挪移”搞定
金磊 发自 凹非寺 量子位 | 公众号 QbitAI 想给自己搞个数字人,还得是3A级的那种? 现在,这个可以有。 而且只要一部手机,几分钟就能搞定! 瞧,只需要先在手机上挑选一个人物模型: 然后对人物模型的细节做调整,例如眉毛的样式、鼻子的大小高度等等: 就这样简单的点点、划划,一张数十万面建模的高精度虚拟形象就创建出来了! 当然,若是花上更多时间,从面部的其它细节,到身材的比例,再到发型着装等等,都可以一一调成你想要的样子。 但若是光创建出来却不能用,那这个数字分身也仅仅是个摆设罢了。 别急
量子位
2022-06-02
2390
推理加速GPT-3超越英伟达方案50%!最新大模型推理系统Energon-AI开源,来自Colossal-AI团队
在前沿AI大模型规模呈指数级增长的趋势下,仅凭单卡已经很难满足当下的推理需求。 就拿拥有1750亿参数的GPT-3来说。 仅仅是加载模型参数就需要数百GB的存储空间,远超单个GPU的容纳能力。 因此,多卡并行被视为AI大模型推理的必然选择。 但现有的推理系统仍旧存在不少弊端。 比如需要用户对通信、内存等各部分协作进行手动管理,需要额外编译等……导致用户使用门槛居高不下。 为此,大规模并行AI训练系统Colossal-AI团队提出了大模型推理系统Energon-AI。 以“高性能、高可用、可伸缩”的理念,深
量子位
2022-05-31
9320
清华打造足球AI:首次实现同时控制10名球员完成比赛,胜率94.4%
观众朋友们大家好,您现在看到的是谷歌AI足球比赛的现场,场上身着黄色球衣的是来自清华大学的AI球员。
量子位
2021-11-16
4360
每秒处理240万帧游戏画面,AI训练成本降低80%,谷歌开源RL并行计算框架
AI训练中的并行计算就是如此,纵使你有一千张GPU,也无法实现单机训练一千倍的效果。
量子位
2020-03-31
4160
在PyTorch上用"Keras",分布式训练开箱即用,告别没完没了的Debug
在开始一个新的机器学习项目时,难免要重新编写训练循环,加载模型,分布式训练……然后在Debug的深渊里看着时间哗哗流逝,而自己离项目核心还有十万八千里。
量子位
2019-08-08
8710
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档