腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

GiantPandaCV

专栏作者

701

文章

869742

阅读量

96

订阅数

一文理解 PyTorch 中的 SyncBatchNorm

https 网络安全 kernel 批量计算 pytorch

我们知道在分布式数据并行多卡训练的时候，BatchNorm 的计算过程（统计均值和方差）在进程之间是独立的，也就是每个进程只能看到本地 GlobalBatchSize / NumGpu 大小的数据。

2022-09-28

2.4K0

MosaicML Composer 炼丹技巧14条

https 网络安全批量计算 NLP 服务 github

Github 链接：https://github.com/mosaicml/composer

2021-12-09

6460

Bag of Tricks for Neural Architecture Search

批量计算 linux 图像识别

相比于普通的分类网络，基于超网的NAS更加难以训练，会出现收敛效果较差甚至不收敛的情况。并且，基于超网的NAS还需要额外关注子网的排序一致性等问题，训练策略的选择也极为重要。AutoSlim, BigNAS等文章都花费了大量篇幅来讲解超网的训练技巧。本文是CVPR2021 Workshop中的一篇短文，介绍了NAS中常用的Tricks。

2021-11-12

4970

如何实现比PyTorch快6倍的Permute/Transpose算子？

node.js 批量计算 kernel pytorch

无论是在统治NLP届的Transformer，还是最近视觉领域的新秀Vision Transformer，我们都能在模型中看到Transpose/Permute算子的身影，特别是在多头注意力机制(Multi-Head Attention)中，需要该算子来改变数据维度排布。

2021-11-12

1.1K0

浅谈混合精度训练imagenet

pytorch 分布式批量计算

本文没有任何的原理和解读，只有一些实验的结论，对于想使用混合精度训练的同学可以直接参考结论白嫖，或者直接拿github上的代码(文末放送)。

2021-07-23

1.2K0

PyTorch 源码解读之 torch.utils.data：解析数据处理全流程

java 批量计算 windows pytorch 数据结构

来源丨https://zhuanlan.zhihu.com/p/337850513

2021-07-01

1.2K0

【神经网络架构搜索】ProxylessNAS 直接在ImageNet搜索

https 网络安全编程算法批量计算 linux

【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章，是第一个直接在ImageNet上进行搜索的NAS算法，并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等，搜索代价降低了200倍。

2021-07-01

7360

深度学习中的重参数机制总结和实现

css https 网络安全批量计算

最近拜读了丁霄汉大神的一系列重参数的论文，觉得这个思想真的很妙。能够在将所有的cost都放在训练过程中，在测试的时候能够在所有的网络参数和计算量都进行缩减。目前网上也有部分对这些论文进行了解析，为了能够让更多读者进一步、深层的理解重参数的思想，本文将会结合代码，近几年重参数的论文进行详细的解析。

2021-07-01

1.2K0

EagleEye：一种用模型剪枝的快速衡量子网络性能的方法

[GiantPandaCV导语]：模型剪枝算法核心在于找到“不重要”的参数并且实现裁剪。为寻找到较优的剪枝策略，我们往往需要尝试多种剪枝策略和剪枝策略性能评估。通常剪枝策略评估方法是将剪枝后的模型训练到收敛或者训练规定好数量epoch后进行性能比较。不管是人工调试剪枝策略还是自动搜索剪枝策略，都需要多次评估剪枝策略。剪枝策略的评估效率一定程度上影响了整体压缩效率。因此，本文提出了一种能够快速衡量剪枝后模型性能的方法，经实验能够对MobilenetV1减少50%的FLOPs情况下，仍能保证在Imagenet数据集上Top1精度达到70.9%。

2021-04-30

7240

CVPR2021-Representative BatchNorm

腾讯云测试服务批量计算

BatchNorm模块能让模型训练更加稳定，因而被广泛使用。它的中心化以及缩放步骤需要依赖样本统计得到的均值和方差，而这也导致了在归一化的过程，忽视了各个实例的区别。其中，中心化步骤是为了增强信息特征，减少噪声。而缩放步骤是为了让特征服从一个稳定的分布。考虑到不同实例有不同特点，我们引入了简单有效的特征校准步骤（feature calibration scheme），改进得到Representative BatchNorm，在各大图像任务均有一定的提升。

2021-04-16

7620

INT4量化用于目标检测

图像识别批量计算腾讯云开发者社区

【GiantPandaCV】文章2019 CVPR，讲的是Int 4量化用于目标检测，主要是工程化的一些trick。

2021-03-24

9640

【神经网络搜索】DARTS: Differentiable Architecture Search

【GiantPandaCV】DARTS将离散的搜索空间松弛，从而可以用梯度的方式进行优化，从而求解神经网络搜索问题。本文首发于GiantPandaCV，未经允许，不得转载。

2021-03-10

1.3K0

PyTorch Lightning工具学习

https 网络安全 api pytorch 批量计算

【GiantPandaCV导语】Pytorch Lightning是在Pytorch基础上进行封装的库(可以理解为keras之于tensorflow)，为了让用户能够脱离PyTorch一些繁琐的细节，专注于核心代码的构建，提供了许多实用工具，可以让实验更加高效。本文将介绍安装方法、设计逻辑、转化的例子等内容。

2020-12-09

1.4K0

深度学习中的优化算法与实现

编程算法深度学习批量计算

通过这么长时间的学习，我们应该对于通过深度学习解决问题的大体流程有个宏观的概念了吧？

2020-10-10

1K0

CenterNet测试推理过程

批量计算 https 网络安全腾讯云测试服务

代码注释在：https://github.com/pprp/SimpleCVReproduction/tree/master/CenterNet

2020-09-02

9320

CenterNet之loss计算代码解析

本文主要讲解CenterNet的loss，由偏置部分（reg loss）、热图部分(heatmap loss)、宽高(wh loss)部分三部分loss组成，附代码实现。

2020-08-18

1.6K0

基于Kaggle DeepFake比赛的代码实战

python 批量计算人脸识别 pytorch

本文使用Kaggle的Deepfake比赛数据集，使用CNN+LSTM架构，对视频帧做二分类，该项目部署在百度的aistudio上进行训练。

2020-06-18

1K0

【MMDetection 超全专栏】二，配置类和注册器&数据处理&训练pipline

python 编程算法数据结构 pytorch 批量计算

配置方式支持python/json/yaml,从mmcv的Config解析,其功能同maskrcnn-benchmark的yacs类似,将字典的取值方式属性化.这里贴部分代码，以供学习。

2020-06-04

2.2K0

一张图梳理YOLOv4论文

神经网络深度学习人工智能图像识别批量计算

AlexeyAB大神继承了YOLOv3, 在其基础上进行持续开发，将其命名为YOLOv4。并且得到YOLOv3作者Joseph Redmon的承认，下面是Darknet原作者的在readme中更新的声明。

2020-04-26

1.3K0

【CNN调参】图像分类算法优化技巧（实用性很高）

批量计算对象存储

这篇论文的全名是：Bag of Tricks for Image Classification with Convolutional Neural Networks 。论文地址见附录。这篇论文是亚马逊团队对CNN网络调优的经验总结，实验基本是在分类网络实验上做的。目前，论文的复现结果都可以在GluonCV找到，地址为：https://github.com/dmlc/gluon-cv。可以将这篇论文理解为一堆经验丰富的工程师的调参技巧汇总，无论你是在做比赛，做学术，还是已经工作的AI开发者，相信都能从中受益。

2020-04-01

1K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态