首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏成员
9145
文章
6888360
阅读量
281
订阅数
全面碾压AdamW!谷歌新出优化器内存小、效率高,网友:训练GPT 2果然快
机器之心报道 编辑:杜伟、陈萍 谷歌的 Lion 优化器将成为训练大模型或大批量的「福音」。 优化器即优化算法,在神经网络训练中起着关键作用。近年来,研究者引入了大量的手工优化器,其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流,尤其在语言、视觉和多模态领域更是如此。 除了人工引入优化器外,还有一个方向是程序自动发现优化算法。此前有人提出过 L2O(learning to optimize),该方法通过训练神经网络来发现优化器。然而,这些黑盒优化器通常是在有限
机器之心
2023-02-23
5580
Stable Diffusion的魅力:苹果亲自下场优化,iPad、Mac上快速出图
输入一句话就能生成图像的 Stable Diffusion 已经火爆数月。它是一个开源模型,而且在消费级 GPU 上就能运行,是一项普通人就能接触到的「黑科技」。
机器之心
2022-12-16
3.5K0
认真的吗?让机器狗当守门员,还发了篇论文
有趣的是,该研究还尝试让一只机器狗踢球,另一只当守门员,两只机器狗自己也能玩挺好:
机器之心
2022-12-15
3320
7 Papers & Radios | 国产数据库入选顶会VLDB 2022;一句话生成高清360度场景和光照
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周重要论文包括被数据库顶会 VLDB 2022 接收的国产数据库 OceanBase 研究成果,以及基于零次学习文本驱动的 HDR 全景图合成框架 Text2Light 等。 目录: Text2Light: Zero-Shot Text-Driven HDR Panorama Generation Frozen CLIP Models are Efficient Video Learners Blind Robus
机器之心
2022-10-08
3450
守护雪山之王:这些AI研究者找到了技术的新「用武之地」
机器之心原创 编辑:张倩 这些应用或许没有那么「重磅」,但却越来越有温度。 关注 AI 领域的小伙伴可能留意到了一个现象:真正能帮上人的应用越来越多了。 比如,在生产领域,甘肃的牧民早就开始用 AI 在数羊、相牛了;在信息无障碍领域,越来越多的听障、语障人士开始借助 AI 听到外界的声音(语音转文字),然后再借助 AI 将自己的声音传递出去(文字转语音)。 这些富有人情味儿的案例让人们看到了 AI 在改善人类生存境遇方面所蕴含的希望。 但其实,AI 所能帮助的不只是人,还有我们周围的整个环境以及生活在其中
机器之心
2022-06-27
3460
首台E级超算登顶Top500榜单:算力超过后七名之和
机器之心报道 编辑:陈萍、泽南 Frontier 的算力达到了 1.102 Exaflops(10^18),实现了每秒百亿亿次运算。 5 月 30 日,第 59 届 ISC 2022(国际超算大会)发布最新 Top500 榜单,美国田纳西州橡树岭国家实验室(ORNL)的 Frontier 成为第一个真正突破 Exascale 大关的超算,性能达到 1.102 exaflops,该榜单正式标志着超级计算新时代的到来。 Frontier 超算突破 Exaflops Frontier 由 74 个 Cray E
机器之心
2022-05-31
7380
PyTorch宣布支持苹果M1芯片GPU加速:训练快6倍,推理提升21倍
机器之心报道 编辑:泽南、蛋酱 对于 Mac 用户来说,这是令人激动的一天。 今年 3 月,苹果发布了其自研 M1 芯片的最终型号 M1 Ultra,它由 1140 亿个晶体管组成,是有史以来个人计算机中最大的数字。苹果宣称只需 1/3 的功耗,M1 Ultra 就可以实现比桌面级 GPU RTX 3090 更高的性能。 随着用户数量的增长,人们已经逐渐接受使用 M1 芯片的计算机,但作为一款 Arm 架构芯片,还有人在担心部分任务的兼容性问题。 昨天,通过与苹果 Metal 团队工程师合作,PyTorc
机器之心
2022-05-20
1.9K0
Mac用户的福音:OCR新神器,一键转换屏幕上的任意文本
在机器学习和计算机视觉领域,光学字符识别(optical character recognition, OCR)长期以来都是人们研究的重要主题之一。OCR 很简单,就是将文档照片或场景照片转换为机器编码的文本。
机器之心
2021-06-08
1.3K0
刚买60天,硬盘寿命就用掉10%:苹果M1版Mac夸张特性遭质疑
2020 年 11 月份,苹果发布了几款搭载自研 M1 芯片的新 Mac 产品,引燃了整个硬件圈。随后的各方评测也显示,这款芯片的性能确实令人惊艳,CPU 单线程、多线程性能都很优秀,GPU 足以称霸集显,甚至可以媲美独显(参见《新版 Mac 终于到货了!anandtech 最新 M1 芯片评测出炉》)。
机器之心
2021-03-15
1.3K0
苹果M1芯片其实没有那么好?英特尔做了套PPT官方反击
2020 年 11 月,苹果正式发布了用于 Mac 的自研电脑芯片 M1,迄今已发布了搭载 M1 芯片的三款新品:MacBook Air、13 英寸 MacBook Pro 和 Mac Mini。许多果粉上手后也连连好评,不管是在各项基准性能测试还是电池寿命方面,新品的表现都很不错。
机器之心
2021-03-15
1.3K0
又开始「挤牙膏」?英特尔7纳米芯片发布时间推迟到2022年
在今年 4 月举办的 2020 英特尔中国年度战略分享会上,英特尔宣布其芯片工艺提升速度已经全面恢复,「2020 年 10 纳米制程全面铺开,2021 年进入 7 纳米时代」。
机器之心
2020-07-28
3010
让二次元妹子动起来,用一张图生成动态虚拟主播
我使用的方法结合了之前两项研究。一是 Pumarola et al. 2018 年的 GANimation 论文《GANimation: Anatomically-aware Facial Animation from a Single Image》,我将其用于修改面部的特征(具体来说是闭上眼睛和嘴)。二是 Zhou et al. 2016 年根据外观流实现目标旋转的论文《View Synthesis by Appearance Flow》,我将其用于实现人脸的旋转。
机器之心
2019-12-05
1.9K0
博士生的deadline血泪史,这是一份来自Nature的避坑指南
去年 8 月份,Mark Bennett 手里攥着 U 盘在学校打印店外面焦急地等候。打印店早上 9 点开门,他前一天晚上已经在这家店的官网上预定过打印服务,但网站并没有提醒他上传论文,其中肯定出了问题。但那个时候给打印店打电话已经来不及了,因为还有几天就是 deadline 了。
机器之心
2019-10-12
5380
命令行忘性大?这个开源备忘工具一次解决你的所有烦恼
命令行是非常高效的工具,但一个很常见的现象是,很多命令行过一段时间就容易忘。举个栗子,如果我们常用 git 命令行管理代码、利用 conda 命令管理开发环境,如果过一段时间没用了,那么你还记得如何用 git 将本地代码同步到 GitHub,还记得如何用 conda 命令删除一个本地环境吗?
机器之心
2019-09-24
5150
刚刚,Facebook把服务27亿人的AI硬件系统开源了
Facebook 的基础设施现在每月为其整个应用和服务系统上超过 27 亿的人提供服务。他们的工程师设计并创建了高级、高效的系统来扩大这一基础设施,但是随着工作负载的增长,单靠通用处理器已经无法满足这些系统的需求。晶体管增长的速度已大大放缓,这就需要开发出专门的加速器和整体的系统级解决方案来提高性能、功率和效率。
机器之心
2019-04-09
5970
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档