首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏作者
8964
文章
6342567
阅读量
278
订阅数
PyTorch + NumPy这么做会降低模型准确率,这是bug还是预期功能?
机器之心报道 编辑:维度 近日,有用户在自己的项目中发现了一个微小的 bug,在 PyTorch 同时使用 NumPy 的随机数生成器和多进程数据加载会导致相同的扩充数据,只有专门设置 seed 才可以解决这个 bug,否则会降低模型的准确率。不过,有人认为这并不是一个 bug,而是预期功能,是「按预期工作的」。 行内人都知道,机器学习(ML)代码中的 bug 很难修复,并且它们不会造成编译错误,而是悄悄地降低准确率。这些 bug 简直防不胜防。最近,一位专注于机器学习的用户遇到了一个非常熟悉的 bug,
机器之心
2023-03-29
5070
本科生60行代码教你手搓GPT大模型,技术介绍堪比教程
机器之心报道 机器之心编辑部 GPT 模型实现起来有时也很简单。 当前,大型语言模型(LLM)被认为是人工智能突破的方向。人们正在尝试用它们做各种复杂的事情,比如问答、创作、数学推理以及编写代码等。近段时间 ChatGPT 持续的爆火是最好的例证。 然而,对于机器学习从业者来说,大模型的门槛很高:因为体量太大难以训练,很长时间里这个方向一直被大公司垄断。不过最近,简化 GPT 模型的方法越来越多了。1 月中旬,前特斯拉 AI 高级总监 Andrej Karpathy(现已回归 OpenAI)就发布了从零开
机器之心
2023-02-27
9510
2022年,我该用JAX吗?GitHub 1.6万星,这个年轻的工具并不完美
自 2018 年底推出以来,JAX 的受欢迎程度一直在稳步提升。2020 年,DeepMind 宣布使用 JAX 来加速其研究。越来越多来自谷歌大脑(Google Brain)和其他机构的项目也都在使用 JAX。
机器之心
2022-02-24
7800
M1芯片搞数据科学好使吗?5种基准测试给你答案
新版 Macbook 已经问世了一段时间,如果将 M1 芯片用于数据科学,性能会如何呢?本文作者将 M1 Macbook Pro 与基于 Intel 的 2019 Macbook Pro 在 5 种常用基准上进行了测试,结果发现 M1 芯片的性能确实是令人震惊的。
机器之心
2021-03-15
7710
PyTorch 1.8发布,支持AMD GPU和Python函数转换
此外,PyTorch 1.8 版本还为大规模训练 pipeline 和模型并行化、梯度压缩提供了特性改进。该版本的主要亮点如下:
机器之心
2021-03-14
5480
NumPy迎规模最大版本更新,新增函数注释等功能,支持Python 3.7+
作为 Python 语言的一个扩展程序库,NumPy 支持大量的维度数组与矩阵运算,也针对数组运算提供大量的数学函数库。自初代版本上线之后,NumPy 已经成为 Python 科学计算的扩展包。如今,在计算多维数组和大型数组方面,它是使用最广的。此外,它还提供多个函数,操作起数组来效率很高,还可用来实现高级数学运算。
机器之心
2021-02-23
5910
API统一、干净,适配PyTorch、TF,新型EagerPy实现多框架无缝衔接
近年来,深度学习领域的进展与深度学习框架的开发同步进行。这些框架为自动微分和 GPU 加速提供了高级且高效的 API,从而可以利用相对较少和简单的代码实现极度复杂和强大的深度学习模型。
机器之心
2020-09-08
7100
Keras vs PyTorch,哪一个更适合做深度学习?
深度学习有很多框架和库。这篇文章对两个流行库 Keras 和 Pytorch 进行了对比,因为二者都很容易上手,初学者能够轻松掌握。
机器之心
2020-05-19
3360
加速数据分析,这12种高效Numpy和Pandas函数为你保驾护航
在本文中,数据和分析工程师 Kunal Dhariwal 为我们介绍了 12 种 Numpy 和 Pandas 函数,这些高效的函数会令数据分析更为容易、便捷。最后,读者也可以在 GitHub 项目中找到本文所用代码的 Jupyter Notebook。
机器之心
2020-03-25
7.5K0
数据处理遇到麻烦不要慌,5个优雅的Numpy函数助你走出困境
Numpy 允许我们根据给定的新形状重塑矩阵,新形状应该和原形状兼容。有意思的是,我们可以将新形状中的一个参数赋值为-1。这仅仅表明它是一个未知的维度,我们希望 Numpy 来算出这个未知的维度应该是多少:Numpy 将通过查看数组的长度和剩余维度来确保它满足上述标准。让我们来看以下例子:
机器之心
2019-11-11
5960
能「看到」的张量运算:​因子图可视化
从格罗滕迪克那里,我学习到不要以证明过程的难度为荣:困难意味着我们尚未理解。也就是说我们要能绘制出让证明过程显而易见的图景。 ——著名数学家 Pierre Deligne
机器之心
2019-11-05
1.2K0
超原版速度110倍,针对PyTorch的CPU到GPU张量迁移工具开源
神经网络的训练中往往需要进行很多环节的加速,这就是为什么我们逐渐使用 GPU 替代 CPU、使用各种各样的算法来加速机器学习过程。但是,在很多情况下,GPU 并不能完成 CPU 进行的很多操作。比如训练词嵌入时,计算是在 CPU 上进行的,然后需要将训练好的词嵌入转移到 GPU 上进行训练。
机器之心
2019-09-17
1.4K0
用NumPy写深度模型,用Julia可微分编程写函数,这是WAIC开发者日
WAIC 世界人工智能大会已于近日在上海开幕。在昨天由机器之心承办的开发者日主单元上,阿里技术副总裁贾扬清、亚马逊机器学习副总裁 Alex Smola、百度 AI 技术平台体系执行总监吴甜、Julia 创始人 Viral、Skymind 联合创始人 Adam Gibson 做了精彩演讲。
机器之心
2019-09-03
6930
如何将Numpy加速700倍?用 CuPy 呀
就其自身来说,Numpy 的速度已经较 Python 有了很大的提升。当你发现 Python 代码运行较慢,尤其出现大量的 for-loops 循环时,通常可以将数据处理移入 Numpy 并实现其向量化最高速度处理。
机器之心
2019-08-30
1.4K0
图解NumPy,这是理解数组最形象的一份教程了
NumPy 软件包是 Python 生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。Python 的一些主要软件包(如 scikit-learn、SciPy、pandas 和 tensorflow)都以 NumPy 作为其架构的基础部分。除了能对数值数据进行切片(slice)和切块(dice)之外,使用 NumPy 还能为处理和调试上述库中的高级实例带来极大便利。
机器之心
2019-07-18
1.7K0
这里有8个流行的Python可视化工具包,你喜欢哪个?
用 Python 创建图形的方法有很多,但是哪种方法是最好的呢?当我们做可视化之前,要先明确一些关于图像目标的问题:你是想初步了解数据的分布情况?想展示时给人们留下深刻印象?也许你想给某人展示一个内在的形象,一个中庸的形象?
机器之心
2019-05-13
2.1K0
DeBug Python代码全靠print函数?换用这个一天2K+Star的工具吧
小伙伴们,你们都怎样 DeBug Python 代码?是不是常用 print 大法?在本文介绍的这个项目中,deBug Python 代码再也不需要 print 了。只要给有疑问的代码加上装饰器,各种信息一目了然,找出错误也就非常简单了。
机器之心
2019-05-07
6920
50种常用的matplotlib可视化,再也不用担心模型背着我乱跑了
50 种可视化图原地址:https://www.machinelearningplus.com/plots/top-50-matplotlib-visualizations-the-master-plots-python
机器之心
2019-04-30
8550
想读读PyTorch底层代码?这份内核机制简介送给你
PyTorch 的构建者表明,Pytorch 的哲学是解决当务之急,也就是说即时构建和运行我们的计算图。这恰好适合 Python 的编程理念,一边定义就可以在 Jupyter Notebook 一边运行,因此,PyTorch 的工作流程非常接近于 Python 的科学计算库 NumPy。
机器之心
2019-04-29
1.1K0
PyTorch进阶之路(一):张量与梯度
本系列教程旨在让用户更好地利用 PyTorch 学习深度学习和神经网络。本文将介绍 PyTorch 模型的基本构件:张量和梯度。
机器之心
2019-03-19
9810
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战,赢鹅厂证书、公仔好礼!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档