这是有关分析和优化在 GPU 上运行的 PyTorch 模型主题的系列文章的第二部分。在第一篇文章中,我们演示了使用 PyTorch Profiler 和 TensorBoard 迭代分析和优化 PyTorch 模型的过程以及巨大潜力。在这篇文章中,我们将重点关注 PyTorch 中由于使用急切执行而特别普遍的特定类型的性能问题:模型执行部分对 CPU 的依赖。识别此类问题的存在和根源可能非常困难,并且通常需要使用专用的性能分析器。在这篇文章[1]中,我们将分享一些在使用 PyTorch Profiler 和 PyTorch Profiler TensorBoard 插件时识别此类性能问题的技巧。
循环神经网络(Recurrent Neural Network, RNN)是一类具有内部环状连接的人工神经网络,用于处理序列数据。其最大特点是网络中存在着环,使得信息能在网络中进行循环,实现对序列信息的存储和处理。
2019年年初,经济学家李迅雷经估算后得出结论:“中国尚有10亿人口没有坐过飞机”。当时的他绝不曾设想,短短两年之后就会出现这样的局面——机票价格竟比火车票还便宜。
LED海兹定律推动行业发展:与半导体领域的摩尔定律类似,LED作为一种半导体发光技术,也遵循着海兹定律——预计每十年LED的光效提升20倍,同时成本下降90%。这意味着,LED芯片光效将不断提升、体积持续缩小、成本也快速降低,而LED作为最基本的发光/显示技术(发光二极管),一旦光效、体积或成本到达临界点,往往带来应用端的迅速爆发。
本文为证券市场红周刊2月7日纸质杂志刊发稿件,原标题《从零售电商平台的 “抗疫”能力看美团的损失和受益》(原文有删减,本文为完整版)
疫情在家的这段时间,想系统的学习一遍 Pytorch 基础知识,因为我发现虽然直接 Pytorch 实战上手比较快,但是关于一些内部的原理知识其实并不是太懂,这样学习起来感觉很不踏实,对 Pytorch 的使用依然是模模糊糊,跟着人家的代码用 Pytorch 玩神经网络还行,也能读懂,但自己亲手做的时候,直接无从下手,啥也想不起来,我觉得我这种情况就不是对于某个程序练得不熟了,而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架,不知道它内部运行原理和逻辑,所以自己写的时候没法形成一个代码逻辑,就无从下手。这种情况即使背过人家这个程序,那也只是某个程序而已,不能说会 Pytorch,并且这种背程序的思想本身就很可怕, 所以我还是习惯学习知识先有框架(至少先知道有啥东西)然后再通过实战(各个东西具体咋用)来填充这个框架。而「这个系列的目的就是在脑海中先建一个 Pytorch 的基本框架出来,学习知识,知其然,知其所以然才更有意思 ;)」。
本文主要用于记录DSSM模型学习期间遇到的问题及分析、处理经验。先统领性地提出深度学习模型训练过程的一般思路和要点,再结合具体实例进行说明。全文问题和解决方案尽可能具备通用性,同样适用于一般深度学习模型的训练。
这篇文章将讨论机器学习的一大基本算法:线性回归。我们将创建一个模型,使其能根据一个区域的平均温度、降雨量和湿度(输入变量或特征)预测苹果和橙子的作物产量(目标变量)。训练数据如下:
第一部分:启动一个深度学习项目 1. 应该选择什么样的项目? 很多人工智能项目其实并没有那么严肃,做起来还很有趣。2017 年初,我着手启动了一个为日本漫画上色的项目,并作为我对生成对抗网络 ( GAN ) 研究的一部分。这个问题很难解决,但却很吸引人,尤其是对于我这种不会画画的人来说!在寻找项目时,不要局限于增量性改进,去做一款适销对路的产品,或者创建一种学习速度更快、质量更高的新模型。 2. 调试深度网络(DN)非常棘手 训练深度学习模型需要数百万次的迭代,因此查找 bug 的过
在之前的教程中,我们基于 MNIST 数据集训练了一个识别手写数字的 logistic 回归模型,并且达到了约 86% 的准确度。
深度学习中,优化算法的 目标函数 通常是一个基于训练集的损失函数,优化的目标在于降低训练误差。
在学习了有关深度学习的理论之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。
选自Medium 作者:Jonathan Hui 机器之心编译 在学习了有关深度学习的理论课程之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。 本文由六大部分组成,涵盖深度学习 ( DL ) 项目的整个过程。我们将使用一个自动漫画着色项目来说明深度学习的设计、程序调试和参数调整过程。 本文主题为「如何启动一个深度学习项目?」,分为以下六个部分: 第一部分:启动一个深度学习项目 第二部分:创建一个深度学习数据集 第三部分:设计深度模型 第四部分
本文共1万+字,建议阅读10+分钟。 本文将会从第一步开始,教你解决项目开发中会遇到的各类问题。
在学习了有关深度学习的理论课程之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。
导读:在学习了有关深度学习的理论之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。
很多人在使用pytorch的时候都会遇到优化器选择的问题,今天就给大家介绍对比一下pytorch中常用的四种优化器。SGD、Momentum、RMSProp、Adam。
感知器是神经网络的基本组成部分。感知器的输入函数是权重,偏差和输入数据的线性组合。具体来说:
每天给你送来NLP技术干货! ---- 编译:王小新,来源:量子位 在调整模型更新权重和偏差参数的方式时,你是否考虑过哪种优化算法能使模型产生更好且更快的效果?应该用梯度下降,随机梯度下降,还是Adam方法? 这篇文章介绍了不同优化算法之间的主要区别,以及如何选择最佳的优化方法。 什么是优化算法? 优化算法的功能,是通过改善训练方式,来最小化(或最大化)损失函数E(x)。 模型内部有些参数,是用来计算测试集中目标值Y的真实值和预测值的偏差程度的,基于这些参数,就形成了损失函数E(x)。 比如说,权重(W)
pytorch将深度学习中常用的优化方法全部封装在torch.optim之中,所有的优化方法都是继承基类optim.Optimizier
搜狗百科是一个服务于互联网用户的高质量内容平台。文章主要介绍团队在梳理业务时发现百科无线前端项目在研发流程、架构设计、研发效率、页面性能等方面存在诸多问题和痛点。作者团队是如何对这个系统进行升级和改造的?又是如何分析出怎么样的优化方案才是最适合业务的?欢迎各位开发者继续阅读~
上周 Andrej Karpathy 发布了一个最小 GPT 实现的项目 ,短短一周就收获了4200星。
来源:机器之心本文约4500字,建议阅读9分钟本文复现了Yann LeCun 1989年的论文,看看这33年到底发生了什么。 最近,特斯拉 AI 高级总监 Andrej Karpathy 做了一件很有趣的事情,他把 Yann LeCun 等人 1989 年的一篇论文复现了一遍。一是为了好玩,二是为了看看这 33 年间,深度学习领域到底发生了哪些有趣的变化,当年的 LeCun 到底被什么卡了脖子。此外,他还展望了一下 2055 年的人将如何看待今天的深度学习研究。 1989 年,Yann Lecun 等人发
机器之心专栏 本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 2 期进行连载,共介绍 17 个在文本摘要任务上曾取得 SOTA 的经典模型。 第 1 期:CopyNet、SummaRuNNer、SeqGAN、Latent Ex
知乎:李加贝 方向:跨模态检索 论文:MCSE: Multimodal Contrastive Learning of Sentence Embeddings 链接:https://aclanthology.org/2022.naacl-main.436.pdf 代码:https://github.com/uds-lsv/MCSE 视觉作为人类感知体验的核心部分,已被证明在建立语言模型和提高各种NLP任务的性能方面是有效的。作者认为视觉作为辅助语义信息可以进一步促进句子表征学习。在这篇论文中,为了同时利用
选自Andrej Karpathy blog 作者:Andrej Karpathy 机器之心编译 机器之心编辑部 最近,特斯拉 AI 高级总监 Andrej Karpathy 做了一件很有趣的事情,他把 Yann LeCun 等人 1989 年的一篇论文复现了一遍。一是为了好玩,二是为了看看这 33 年间,深度学习领域到底发生了哪些有趣的变化,当年的 LeCun 到底被什么卡了脖子。此外,他还展望了一下 2055 年的人将如何看待今天的深度学习研究。 1989 年,Yann Lecun 等人发表了一篇名
1989 年,Yann Lecun 等人发表了一篇名为「Backpropagation Applied to Handwritten Zip Code Recognition」的论文。在我看来,这篇论文有一定的历史意义,因为据我所知,它是使用反向传播训练的端到端神经网络在现实世界中最早的应用。
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 从AI画画到NLP大模型,AIGC的落地成本被一次性打下来了! 话不多说,直接看结果: Stable Diffusion 2.0训练/微调/推理,显存消耗最多可节省5.6倍,使硬件成本直降至1/46,一行代码即可启用; 1750亿参数大模型BLOOM单机推理,显存消耗节省4倍,硬件成本直降至十几分之一。 一行代码实现自动搜索最佳并行策略,显著降低分布式训练上手门槛,原生支持Hugging Face、Timm等热门AI模型库。 要知道,在AIGC爆火的另
本文构建了一个能同时完成四个任务的的深度神经网络: 生成图像描述、生成相似单词、以图搜图和根据描述搜图。传统上这些任务分别需要一个模型,但我们现在要用一个模型来完成所有这些任务。
研究了图像超分辨率(SR)对低分辨率图像中目标检测任务的影响。直观上,SR对目标检测任务产生了积极的影响。虽然之前的一些工作证明了这种直觉是正确的,但是在这些工作中,SR和检测器是独立优化的。摘要提出了一种新的深度神经网络训练框架,在此框架中,SR子网络通过对传统检测损耗的权衡,明确地将检测损耗纳入到训练目标中。这种端到端培训程序允许我们对任何可微检测器的SR预处理进行训练。我们证明,我们的任务驱动的SR在各种条件和缩放因子下,一致且显著地提高了目标探测器在低分辨率图像上的准确性。
今天本文继续PyTorch学习系列。虽然前几篇推文阅读效果不是很好(大体可能与本系列推文是新开的一个方向有关),但自己选择的路也要坚持走下去啊!
人工神经网络(ANN)的设计灵感来源于人类大脑中神经元的工作方式。自从第一个感知器模型(Perceptron)被提出以来,人工神经网络已经经历了多次的演变和优化。
随着GPT-4的架构被知名业内大佬「开源」,混合专家架构(MoE)再次成为了研究的重点。
照片由 Torsten Dederichs 拍摄,上传到 Unsplash
有些问题,输入数据 X 和 输出数据 Y 都是序列,X 和 Y 有时也会不一样长。在另一些问题里,只有 X 或 只有 Y 是序列
机器学习在选定模型、目标函数之后,核心便是如何优化(目标)损失函数。而常见的优化算法中,有梯度下降、遗传算法、模拟退火等算法,其中用梯度类的优化算法通常效率更高,而使用也更为广泛。接下来,我们从梯度下降(Gradient descent)、梯度提升(Gradient Boosting)算法中了解下“梯度”优化背后的原理。
---- 新智元报道 编辑:David 【新智元导读】英特尔发布Q4季报和2022年报,数据惨淡。在过去十个季度中第九次业绩低于市场预期。股价应声大跌,市值蒸发超过80亿美元。 财报惨淡,英特尔市值蒸发540亿! 英特尔周四公布了相当惨淡的财务业绩,公司本季度的收入环比和同比都有所下降,由于其利润率崩溃到多年来的最低点,公司亏损了7亿美元。 虽然在2022年仍有盈利,但本季度的盈利将进一步下降,因为客户将积极削减其库存。英特尔预计,下一季度其销售额将进一步下降。 受财报影响,英特尔的市值在周五蒸
作者|Vivek Patel 编译|Flin 来源|towardsdatascience
今天将分享Unet的改进模型H2NF-Net,改进模型来自2020年的论文《H2NF-Net for Brain Tumor Segmentation using Multimodal MR Imaging: 2nd Place Solution to BraTS Challenge 2020 Segmentation Task》,简单明了给大家分析理解该模型思想。
在Qualcomm Technologies,我们一直在积极研究1,2,3并开发AI解决方案,旨在使人工智能在设备,机器,车辆和事物之间无处不在。在过去的十年中,我们对功率效率的关注已导致每瓦特AI性能的显着改善,从而带来了从设备上虚拟助手,翻译到智能安全摄像头和以安全为中心的驾驶等各种增强体验。
梯度下降是一种寻找函数极小值的优化方法,在深度学习模型中常常用来在反向传播过程中更新神经网络的权值。
今年 9 月,reddit 网友 Michael Klachko 对 CVPR 2018 的一篇接收论文《Perturbative Neural Networks》提出质疑,他在对论文的复现过程中发现了一些问题:「《Perturbative Neural Networks》一文提出用 1x1 卷积代替 3x3 卷积,输入中应用了一些噪声。作者称这种做法表现良好,但我的复现结果并不理想,因此我决定对其进行测试。作者提供了他们用的代码,但是经过仔细检查,我发现他们的测试准确率计算有误,导致得出的所有结果无效。」
本文将讲解如何创建、训练一个法翻英的神经翻译模型。本文的重点是解释概念,具体的项目代码请参考配套的Jupyter notebook(链接见文末)。
来源:机器之心 本文长度为1200字,建议阅读3分钟 本文为你分享计算机视觉领域和深度学习领域最为经典的课程之一CS231n2017年全部课件。 CS231n 近几年一直是计算机视觉领域和深度学习领域最为经典的课程之一。而不久前结课的 CS231n Spring 2017 仍由李飞飞带头主讲,并邀请了 Goodfellow 等人对其中部分章节详细介绍。 本课程从计算机视觉的基础概念开始,在奠定了基本分类模型、神经网络和优化算法的基础后,重点详细介绍了 CNN、RNN、GAN、RL 等深度模型在计算机视觉
课程地址:https://web.stanford.edu/class/cs230/
虽然局部极小值和鞍点会阻碍我们的训练,但病态曲率会减慢训练的速度,以至于从事机器学习的人可能会认为搜索已经收敛到一个次优的极小值。让我们深入了解什么是病态曲率。
最近对推荐中的长尾问题/多样性问题比较感兴趣,最近看了一篇IJCAI-19上录用的的一篇《Sequential and Diverse Recommendation with Long Tail》的文章,介绍了如何在序列推荐中来提升推荐系统的多样性,一起来了解一下。
领取专属 10元无门槛券
手把手带您无忧上云