首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏作者
8931
文章
6284757
阅读量
277
订阅数
Meta宣布全新训推一体加速器:完全集成PyTorch 2,性能3倍提升
Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手,目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发硬件,特别是用于运行和训练 Meta AI 模型的芯片。
机器之心
2024-04-12
610
Keras 3.0正式发布:可用于TensorFlow、JAX和PyTorch
「大新闻:我们刚刚发布了 Keras 3.0 版本!」Keras 之父 François Chollet 在 X 上激动的表示。「现在你可以在 JAX、TensorFlow 以及 PyTorch 框架上运行 Keras……」
机器之心
2023-11-30
2580
PyTorch团队重写「分割一切」模型,比原始实现快8倍
从年初到现在,生成式 AI 发展迅猛。但很多时候,我们又不得不面临一个难题:如何加快生成式 AI 的训练、推理等,尤其是在使用 PyTorch 的情况下。
机器之心
2023-11-22
2550
改动一行代码,PyTorch训练三倍提速,这些「高级技术」是关键
近日,深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 在 CVPR 2023 上发表了主题演讲「Scaling PyTorch Model Training With Minimal Code Changes」。
机器之心
2023-09-08
3750
Keras 3.0预览版迎来重大更新:适用于TensorFlow、JAX和PyTorch
Keras 出新库了,这次是 Keras Core,我们可以将其理解为 Keras 3.0 预览版,预计今年秋天正式发布。
机器之心
2023-08-07
2420
英伟达H100用11分钟训完GPT-3,PyTorch创始人:不要只看时间
为啥呢?原来在最新的 MLPerf 基准测试中,英伟达 H100 GPU 芯片组在以下八项基准测试中全部创下了新纪录,同时成为唯一一个跑完所有测试的硬件平台。
机器之心
2023-08-07
1810
Star量近8万,大火AutoGPT星标超PyTorch,网友:看清它的局限性
机器之心报道 机器之心编辑部 英伟达 AI 科学家 Jim Fan 表示,「AutoGPT 只是一项有趣的实验,虽然火爆但并不意味着可以投入生产。」他的观点得到了很多人的附和和现身说法。 仿佛一夜之间,AI 圈出现了一个新晋顶流:AutoGPT。 顾名思义,AutoGPT 为自主人工智能,一项任务交给它,它能自主地提出计划,然后执行,完全不用人类插手的那种。此外其还具有互联网访问、使用 GPT-3.5 进行文件存储和生成摘要等功能。 例如,用户让 AutoGPT 建立一个网站,提出的要求是让其创建一个表单,
机器之心
2023-04-21
3090
纯Rust编写的机器学习框架Neuronika,速度堪比PyTorch
机器之心报道 编辑:陈萍 这是一个用 Rust 编写的机器学习框架,与 PyTorch 类似,现已实现最常见的层组件(dense 层、dropout 层等),速度堪比 PyTorch。 Rust 作为一门系统编程语言,专注于安全,尤其是并发安全,支持函数式和命令式以及泛型等编程范式的多范式语言,其语法上与 C++ 类似。 随着 Rust 语言热度的强劲增长,也有许多研究者探索 Rust 在机器学习等方面的研究。近日,有研究者用 Rust 编写了一个机器学习框架 Neuronika。 Neuronika 是
机器之心
2023-03-29
8160
PyTorch 1.9发布,支持新API,可在边缘设备中执行
机器之心报道 编辑:陈萍 PyTorch 团队发布了 PyTorch 1.9 版本。该版本整合了 1.8 版本发布以来的 3,400 多次 commit,398 名贡献者参与更新。提供了包括支持科学计算、前端 API、大规模分布式训练等主要改进和新特性。 近年来,深度学习框架 PyTorch 凭借着其对初学者的友好性和灵活性,发展迅猛。不久之前,PyTorch 官方博客发布 1.8 版本,此版本由 1.7 发布以来的 3000 多个 commit 组成,重要更新内容包括在编译、代码优化和科学计算前端 API
机器之心
2023-03-29
4220
PyTorch + NumPy这么做会降低模型准确率,这是bug还是预期功能?
机器之心报道 编辑:维度 近日,有用户在自己的项目中发现了一个微小的 bug,在 PyTorch 同时使用 NumPy 的随机数生成器和多进程数据加载会导致相同的扩充数据,只有专门设置 seed 才可以解决这个 bug,否则会降低模型的准确率。不过,有人认为这并不是一个 bug,而是预期功能,是「按预期工作的」。 行内人都知道,机器学习(ML)代码中的 bug 很难修复,并且它们不会造成编译错误,而是悄悄地降低准确率。这些 bug 简直防不胜防。最近,一位专注于机器学习的用户遇到了一个非常熟悉的 bug,
机器之心
2023-03-29
5010
比PyTorch、TensorFlow更快,MindSpore开源一周年升级巨量新特性
机器之心发布 机器之心编辑部 大家好,在 MindSpore 开发团队和社区开发者共同努力下,MindSpore 很多的新特性马上要与大家见面了,比如动态图分布式训练效率的大幅提升、一键模型迁移、模型鲁棒性检测、深度分子模拟及量子机器学习等,无论是在效率提升、易用性,还是创新方面,都是干货满满。下面就给大家快速预览即将到来的这些关键特性的文字描述,欢迎大家在 3 月 29 日 MindSpore 官方 B 站观看直播讲解,点击文章底部「阅读原文」可快速跳转至直播讲解。 一、效率提升 大幅提升动态图下分布式
机器之心
2023-03-29
4630
快速可微分排序算法PyTorch包,配有自定义C ++和CUDA,性能更好
机器之心报道 编辑:陈萍 有人将快速可微分排序算法打包实现,性能还不错。 谷歌去年年初在论文《Fast Differentiable Sorting and Ranking》中,重磅推出了首个具有 O(nlogn) 时间复杂度、O(n) 空间复杂度可微分排序算法,速度比现有方法快出一个数量级! 近日,有人在 GitHub 上开源了一个项目,通过软件包的形式实现了快速可微分排序和排名,上线几天,收获 300 + 星。 项目地址:https://github.com/teddykoker/torchsort
机器之心
2023-03-29
3500
AMD的PyTorch机器学习工具,现在是一个Python包了
机器之心报道 编辑:陈萍 前段时间,机器学习开源框架 PyTorch 提供了对 AMD ROCm 的支持,现在可作为 Python 软件包提供。 作为一款被学术界和工业界广泛使用的开源机器学习框架,PyTorch 近日发布了最新的 1.8 版本,1.8 版本的发布,使得 PyTorch 加入了对 AMD ROCm 的支持,可以方便用户在原生环境下运行,省去了配置 Docker 的繁琐。 现在,一个更令人兴奋的消息是,ROCm 开放软件平台上为 PyTorch 用户提供了一个新的安装选项。一个可安装的 Pyt
机器之心
2023-03-29
9520
PyTorch,你是不是想用Julia?不,我们还想要Python的生态
机器之心报道 机器之心编辑部 「我们已经从 Julia 中获得了很多灵感,但我们还是想要 Python。」 「人生苦短,我用 Python。」这是 Python 开发领域广泛流传的一句话。在过去的几年中,Python 也的确凭借其在易用性、生态等方面的优势一路高歌猛进,在很多编程语言排行榜中稳居前三。 但伴随着 Julia 等新势力的崛起,这种局面正在发生变化。在前段时间出炉的「Stack Overflow 2021 全球开发者调查报告」中,Python 受开发者喜爱程度仅排第六,而 Julia 则排在了
机器之心
2023-03-29
4920
有bug!用Pytorch Lightning重构代码速度更慢,修复后速度倍增
选自Medium 作者:Florian Ernst 机器之心编译 编辑:小舟、陈萍 用了 Lightning 训练速度反而更慢,你遇到过这种情况吗? PyTorch Lightning 是一种重构 PyTorch 代码的工具,它可以抽出代码中复杂重复的部分,使得 AI 研究可扩展并且可以快速迭代。然而近日一位名为 Florian Ernst 的博主却发现 PyTorch Lightning 存在一个 bug——让原本应该加速的训练变得更慢了。 本文作者 Florian Ernst Ernst 撰写博客详
机器之心
2023-03-29
6970
Github1.3万星,迅猛发展的JAX对比TensorFlow、PyTorch
机器之心报道 机器之心编辑部 JAX 是机器学习 (ML) 领域的新生力量,它有望使 ML 编程更加直观、结构化和简洁。 在机器学习领域,大家可能对 TensorFlow 和 PyTorch 已经耳熟能详,但除了这两个框架,一些新生力量也不容小觑,它就是谷歌推出的 JAX。很对研究者对其寄予厚望,希望它可以取代 TensorFlow 等众多机器学习框架。 JAX 最初由谷歌大脑团队的 Matt Johnson、Roy Frostig、Dougal Maclaurin 和 Chris Leary 等人发起。
机器之心
2023-03-29
1.3K0
PyTorch 2.0正式版来了!
机器之心报道 机器之心编辑部 在PyTorch Conference 2022上,研发团队介绍了 PyTorch 2.0,并宣布稳定版本将在今年 3 月正式发布,现在 PyTorch 2.0 正式版如期而至。 GitHub地址:https://github.com/pytorch/pytorch/releases PyTorch 2.0 延续了之前的 eager 模式,同时从根本上改进了 PyTorch 在编译器级别的运行方式。PyTorch 2.0 能为「Dynamic Shapes」和分布式运行提供更
机器之心
2023-03-29
3730
改变几行代码,PyTorch炼丹速度狂飙、模型优化时间大减
选自Sebastian Raschka博客 机器之心编译 机器之心编辑部 关于 PyTorch 炼丹,本文作者表示:「如果你有 8 个 GPU,整个训练过程只需要 2 分钟,实现 11.5 倍的性能加速。」 如何提升 PyTorch「炼丹」速度? 最近,知名机器学习与 AI 研究者 Sebastian Raschka 向我们展示了他的绝招。据他表示,他的方法在不影响模型准确率的情况下,仅仅通过改变几行代码,将 BERT 优化时间从 22.63 分钟缩减到 3.15 分钟,训练速度足足提升了 7 倍。 作者
机器之心
2023-03-29
1.1K0
训练速度最高100倍提升!基于PyTorch实现的可微逻辑门网络开源
选自arXiv 作者:Felix Petersen等 机器之心编译 编辑:袁铭怿 本文通过逻辑门组合学习来探索面向机器学习任务的逻辑门网络。这些网络由 AND 和 XOR 等逻辑门组成,为了实现有效训练,本文提出可微逻辑门网络,一种结合了实值逻辑和网络连续参数化松弛的架构。 随着神经网络的成功应用,各项研究和机构也一直在致力于实现快速且高效的计算,特别是在推理时。对此,各种技术应运而生,包括降低计算精度,二进制和稀疏神经网络。本文中,来自斯坦福大学、萨尔茨堡大学等机构的研究者希望训练出一种不同的、在计算机领
机器之心
2023-03-29
2140
怎样让ChatGPT在其内部训练神经网络?先让它想象自己有4块3090
机器之心转载 来源:知乎 作者:Posibilitee(悉尼大学人工智能与图像处理博士) 热评:想象自己有四块3090,什么赛博唯心主义? 怎样让ChatGPT在其内部训练神经网络?这个话题有点超乎大多数人的理解。 步骤是这样的: 1. 先让它伪装成 Ubuntu 18.04,给它说你安装了 Python 3.9, Pytorch 1.8, CUDA 11.3 和其他训练一个 pytorch 模型所需要的库。 让 ChatGPT 伪装成 Linux 终端,这个梗在外网有过讨论,这里需要让他额外安装(让
机器之心
2023-02-23
2500
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档