首页
学习
活动
专区
工具
TVP
发布

量子位

专栏作者
8591
文章
4920461
阅读量
138
订阅数
如何用PyTorch进行语义分割?一个教程教会你|资源
木易 发自 凹非寺  量子位 报道 | 公众号 QbitAI 很久没给大家带来教程资源啦。 正值PyTorch 1.7更新,那么我们这次便给大家带来一个PyTorch简单实用的教程资源:用PyTorch进行语义分割。 △图源:stanford 该教程是基于2020年ECCV Vipriors Chalange Start Code实现了语义分割,并且添加了一些技巧。 友情提示:教程中的所有文件均可以在文末的开源地址获取。 预设置 在开始训练之前,得首先设置一下库、数据集等。 库准备 pip install
量子位
2023-03-10
3000
谷歌推出深度学习调优手册,不到一天狂揽1200星,Hinton转发|GitHub
丰色 Pine 发自 凹非寺 量子位 | 公众号 QbitAI 各位炼丹er们,调参是你们最头疼的环节吗? 现在,一份上线不到一天就狂揽1200+星的《深度学习调优手册》来了。 △数字还在飞速上涨,估计马上就要登热榜了 这可能是市面上首个如此全面的炼丹宝典,由5位谷歌工程师大佬合作总结。 这些大佬们都已在深度学习领域“踩坑”多年、工作成果应用从语音识别到天文学都有涉猎。 为了这份手册,他们总结了自己在训练网络、带新工程师、以及和同事交流时get到的各种经验和技巧。 连“深度学习之父”Geoffrey
量子位
2023-02-28
3580
一块RTX3050搞定DLRM训练!仅需1%Embedding参数,硬件成本降低至十分之一 | 开源
深度推荐模型(DLRMs)已经成为深度学习在互联网公司应用的最重要技术场景,如视频推荐、购物搜索、广告推送等流量变现业务,极大改善了用户体验和业务商业价值。
量子位
2022-12-08
3920
Batch大小不一定是2的n次幂!ML资深学者最新结论
羿阁 编译整理 量子位 | 公众号 QbitAI Batch大小不一定是2的n次幂? 是否选择2的n次幂在运行速度上竟然也相差无几? 有没有感觉常识被颠覆? 这是威斯康星大学麦迪逊分校助理教授Sebastian Raschka(以下简称R教授)的最新结论。 在神经网络训练中,2的n次幂作为Batch大小已经成为一个标准惯例,即64、128、256、512、1024等。 一直有种说法,是这样有助于提高训练效率。 但R教授做了一番研究之后,发现并非如此。 在介绍他的试验方法之前,首先来回顾一下这个惯例究竟是怎
量子位
2022-08-26
3990
推理加速GPT-3超越英伟达方案50%!最新大模型推理系统Energon-AI开源,来自Colossal-AI团队
在前沿AI大模型规模呈指数级增长的趋势下,仅凭单卡已经很难满足当下的推理需求。 就拿拥有1750亿参数的GPT-3来说。 仅仅是加载模型参数就需要数百GB的存储空间,远超单个GPU的容纳能力。 因此,多卡并行被视为AI大模型推理的必然选择。 但现有的推理系统仍旧存在不少弊端。 比如需要用户对通信、内存等各部分协作进行手动管理,需要额外编译等……导致用户使用门槛居高不下。 为此,大规模并行AI训练系统Colossal-AI团队提出了大模型推理系统Energon-AI。 以“高性能、高可用、可伸缩”的理念,深
量子位
2022-05-31
9320
炼丹速度×7!你的Mac电脑也能在PyTorch训练中用GPU加速了
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 一直以来,Pytorch在Mac上仅支持使用CPU进行训练。 就在刚刚,Pytorch官方宣布,其最新版v1.12可以支持GPU加速了。 只要是搭载了M1系列芯片的Mac都行。 这也就意味着在Mac本机用Pytorch“炼丹”会更方便了! 训练速度可提升约7倍 此功能由Pytorch与Apple的Metal工程团队合作推出。 它使用Apple的Metal Performance Shaders(MPS) 作为PyTorch的后端来启用GPU加速训练。
量子位
2022-05-19
1.3K0
1行代码消除PyTorch的CUDA内存溢出报错,这个GitHub项目刚发布就揽星600+
现在,有人写了一个PyTorch wrapper,用一行代码就能“无痛”消除这个bug。
量子位
2021-12-22
7710
比用Pytorch框架快200倍!0.76秒后,笔记本上的CNN就搞定了MNIST | 开源
这时两次运行的平均准确率在测试集上为99.185%,平均运行时间为2min 52s ± 38.1ms。
量子位
2021-08-13
4600
Epoch不仅过时,而且有害?Reddit机器学习板块展开讨论
有一天,一个调参侠在训练一个深度学习模型,要用到的两个数据集损失函数不同,数据集的大小还不是固定的,每天都在增加。
量子位
2021-05-11
5950
为了不让GPU等CPU,谷歌提出“数据回波”榨干GPU空闲时间,训练速度提升3倍多
因为通用计算芯片不能满足神经网络运算需求,越来越多的人转而使用GPU和TPU这类专用硬件加速器,加快神经网络训练的速度。
量子位
2020-05-19
5830
刚刚,旷视开源深度学习框架「天元」:Brain++内核,研发和落地都在用;孙剑:COCO三连冠背后的秘密武器
耗费资源打造优化6年,迭代到8.0版本,旷视技术体系的关键支柱,现在正式对外开源。
量子位
2020-03-31
5830
莱斯大学&英特尔新算法证明CPU加速深度学习优于GPU!老黄核弹警告
莱斯大学和英特尔的最新研究证明,无需专门的加速硬件(如GPU),也可以加速深度学习。
量子位
2020-03-05
4790
谷歌力作:神经网络训练中的Batch依赖性很烦?那就消了它!
优化神经网络方法千千万,批量归一化(Batch Normalization,BN)就是其中之一。
量子位
2019-12-19
5840
PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快
开源社区的支持度、上手的难易度都是重要的参考。还有人说:学术界用PyTorch,工业界用TensorFlow。
量子位
2019-10-23
8130
XLNet团队:赢BERT靠的并不是数据集更大,公平对决也碾压对手
但是与BERT相比,XLNet模型的训练数据比BERT大10倍。这让学术界和工业界对此产生了疑问:XLNet如果只接受与BERT相同规模的训练数据会如何?XLNet的胜利是否只是数据集的胜利?
量子位
2019-07-30
5480
224秒!ImageNet上训练ResNet-50最佳战绩出炉,索尼下血本破纪录
刚刚,索尼在arXiv上发文宣布:他们用224秒在ImageNet上完成了ResNet-50训练,没有明显的准确率损失。
量子位
2019-04-24
4540
NVIDIA教你用TensorRT加速深度学习推理计算 | 量子位线下沙龙笔记
12月22日,量子位联合NVIDIA英伟达举行了线下交流会,跟现场近百位开发者同学共同探讨了如何用TensorRT加速深度学习推理计算,详细讲解了GPU的推理引擎TensorRT,以及如何配合Deepstream实现完整加速推理的解决方案。
量子位
2019-04-24
1.4K0
模型参数太多怎么办?用谷歌高效训练库GPipe啊
BigGan、BERT和GPT-2的出现表明,越大的神经网络模型可以带来越好的性能。其中能写出各种假新闻的GPT-2参数就有15亿个之多。
量子位
2019-04-23
8010
DeepMind私货公开,推出分布式机器学习库,TensorFlow、Keras可用
TF-Replicator,本来是内部自用的一个软件库,能够让从来没做过分布式系统的研究人员方便地在多GPU/云TPU上部署他们的TensorFlow模型,也适用于Keras。
量子位
2019-04-23
4380
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档