腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

GiantPandaCV

专栏作者

698

文章

855755

阅读量

93

订阅数

《YOLOv5全面解析教程》十三，downloads.py 详细解析

python github git 开源

是一个工具类，代码比较简单，函数也比较少，主要难点还是在于一些包可能大家不是很熟悉，下面一起来学习下。

2023-01-01

1K0

自制深度学习推理框架-前言-第一课

github git 开源

很高兴GiantPandaCV和傅莘莘同学达成合作，将连载由他原创制作的自制深度学习推理框架课程系列，这篇是本系列的开篇。第一课对应的视频和课件放在下方了。github链接：https://github.com/zjhellofss/KuiperInfer

2022-12-29

6820

【BBuf的CUDA笔记】二，解析 OneFlow BatchNorm 相关算子实现

https 网络安全神经网络 github git

在ResNet中（https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py），关于BatchNorm的调用一共有两种模式，第一种是ReLU接在BN之后：

2022-12-29

8270

TVM 学习指南（个人版）

https 网络安全 github git 开源

最近粗略的看完了天奇大佬的MLC课程（顺便修了一些语法和拼写错误，也算是做了微弱的贡献hh），对TVM的近期发展有了一些新的认识。之前天奇大佬在《新一代深度学习编译技术变革和展望》一文中（链接：https://zhuanlan.zhihu.com/p/446935289）讲解了TVM Unify也即统一多层抽象的概念。这里的统一多层抽象具体包括AutoTensorization用来解决硬件指令声明和张量程序对接，TVM FFI（PackedFunc）机制使得我们可以灵活地引入任意的算子库和运行库函数并且在各个编译模块和自定义模块里面相互调用。TensorIR负责张量级别程序和硬件张量指令的整合。Relax (Relax Next) 引入relay的进一步迭代，直接引入first class symbolic shape的支持（摘抄自《新一代深度学习编译技术变革和展望》一文）。然后这些抽象可以相互交互和联合优化来构造深度学习模型对应的最终部署形式。我个人感觉TVM Unify类似于MLIR的Dialect，但是这几个抽象的直接交互能力相比于MLIR的逐级lower我感觉是更直观方便的，毕竟是Python First（这个只是我最近看MLC课程的一个感觉）。对这部分内容感兴趣的读者请查看天奇大佬的TVM Unify介绍原文以及MLC课程。

2022-09-28

2.7K0

【社区实践】为 TVM 新增 OneFlow 前端

https 网络安全 github git 开源

去年在Summer Code的时候我刚好开始入门 TVM（虽然现在仍然也还是入门阶段，没做过什么有意义的工作），并且恰好来到OneFlow 工作就想着给 TVM 添加一个 OneFlow 前端。但可惜在 Summer Code 发起了这个项目后因为系统选人的 BUG 导致没有选到合适的候选人。后来我私下联系了申请这个项目的第二位候选人胡伽魁同学问他是否愿意来 OneFlow 实习并花1-2个月完成这件事，他同意了并在实习期间做了一个初版出来。感谢胡伽魁同学的贡献。

2022-05-27

4650

如何更快地训练Vision Transformer

https 网络安全 github git 开源

近期MetaAI发布了一篇博客，关于如何显著提升Vision Transformer的训练效率。

2022-05-27

9050

Detectors for the 2020s 目标检测算法最新进展

https 网络安全 github 编程算法 git

近几年目标检测的落地越发成熟，新的sota网络同样层出不穷，不断刷新着coco的记录。本文盘点截止2019-2021年，在coco test-dev上霸榜，且知名度较广的目标检测网络（未完全开源不加入讨论）。

2022-04-06

1K0

深度学习框架如何优雅的做算子对齐任务？

https 网络安全 github git 开源

之前回答过「如何为PyTorch做贡献的知乎问题」，原贴见：https://www.zhihu.com/question/502301777/answer/2248950419 。回答提到了去年在OneFlow开发一些算子时，基于算子AutoTest框架找到了一些PyTorch算子的bug，并给PyTorch做出了反馈或修复。但这个回答没有介绍这个AutoTest框架长什么样子，以及它背后的原理。因此，这篇文章就用来介绍OneFlow的算子AutoTest框架看一下OneFlow深度学习框架在算子开发过程中是如何优雅的做算子对齐任务的（由@大缺弦开发，后经我和其它同事进行扩展和丰富功能形成今天的形态）。这个AutoTest框架也可以很轻易移植到其它深度学习训练框架使用，代码实现在https://github.com/Oneflow-Inc/oneflow/blob/v0.6.0/python/oneflow/test_utils/automated_test_util/torch_flow_dual_object.py。

2022-02-11

9240

神经网络加上注意力机制，精度反而下降，为什么会这样呢？

github https git 开源网络安全

因为之前写过Attention+YOLOv3的文章，做过相关实验，所以被问过很多问题，举几个典型的问题：

2021-12-27

2.1K0

如何参与PyTorch社区开源贡献？

pytorch https github 网络安全 git

作为深度学习框架OneFlow的一个全职开发者（声明我是菜鸡），基本上每天都会和PyTorch打交道，所以自问自答一下这个问题，希望对想为开源项目做贡献的小伙伴们提供一些思路也希望这个问题能获得更多回复。

2021-12-02

8470

强化学习读后感

编程算法 https 网络安全 github git

此学习笔记基础来源于zhoubolei RL(https://github.com/zhoubolei/introRL)，以基本概念，基本定理，问题建模，代码实现，新论文的阅读为逻辑展开写的。学习强化学习的过程，会相对漫长。比如：一个假想的学习过程，可能会包含sutton的 complete draft；一些RL基础课程，David Silver，伯克利RL或周博磊等；经典算法的复现；核心研究部门的学术文章(openAI，DeepMind，...)；靠谱博士写的博文；会遇见公式符号，上下标，算法实现细节，问题优化，具体问题建模等问题。这里，只是个开始，代码框架可参考PARL。不太懂wx格式，建议wx对latex支持更友好，不要搞什么其他幺蛾子语法。

2021-10-08

6990

用Welford算法实现LN的方差更新

https 网络安全 github git 开源

前段时间debug LayerNorm的时候，看见Pytorch LayerNorm计算方差的方式与我们并不一样。它使用了一种在线更新算法，速度更快，数值稳定性更好，这篇笔记就当一篇总结。

2021-09-14

1.2K0

可以让深度学习编译器来指导算子优化吗

单片机 https 网络安全 github git

之前在阅读Ansor论文的时候（https://zhuanlan.zhihu.com/p/390783734）我就在想这样一个问题，既然Ansor是在人为指定的推导规则下启发式的生成高性能的Scheduler模板。那么这个算子生成的Scheduler模板是否可以反过来指导我们写程序呢？嗯，然后我就开启了这个实验，但最近因为工作的事情delay得厉害，终于在这个周末抽出时间来更新这个实验结果并且记录了这篇文章。由于笔者只对GEMM的优化熟悉，这里就以优化X86的GEMM为例子来探索。希望这篇文章能为你带来启发，文章所有的实验代码都放到了https://github.com/BBuf/tvm_learn ，感兴趣的可以点个star一起学习（学习TVM的4个月里，这个工程已经收到了快100star了，我很感激）。

2021-09-14

8020

LightSeq: Transformer高性能加速库

https 网络安全 github apache git

Transformer，Bert模型在NLP领域取得巨大成功，得到广泛应用。而Transformer系列模型大小通常很大，在应用层提供相应服务是一个巨大的挑战。

2021-08-19

1.1K0

Piecewise Linear Unit：分段线性激活函数

https github 网络安全 git 开源

激活函数在神经网络里是一个重要的组件，大家最常用的是ReLU，其变种在各种任务/模型中都有较好的效果。Swish这种搜索得到的激活函数，在部分数据集上也能超越ReLU，但是搜索效率不够高。

2021-08-19

1.9K0

基于Msnhnet实现最优化问题(中)一(无约束优化问题)

https 网络安全 github git 开源

牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性，但是，基本牛顿法初始点需要足够“靠近”极小点，否则，有可能导致算法不收敛。

2021-07-23

7930

如何更好地调整学习率

https 网络安全 github git 开源

【GiantPandaCV导读】learning rate对模型调优重要性不言而喻，想到超参数调优第一个可能想到的方法就是网格搜索Grid Search，但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率，本文就主要分析这个15年就提出来的技术Cyclical Learning Rates。

2021-07-23

8220

基于Msnhnet实现最优化问题（上）SGD&&牛顿法

https 网络安全 github git 开源

梯度下降不一定能够找到全局最优解，有可能是局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。

2021-07-23

5820

深度学习框架OneFlow是如何和ONNX交互的？

神经网络深度学习人工智能 github git

在开始阅读本篇文章之前，如果你对ONNX不是很了解介意先阅读我之前写的这几篇介绍ONNX文章：

2021-04-16

1.2K0

onnx2pytorch和onnx-simplifier新版介绍

github git 开源 https 网络安全

【GiantPandaCV导语】本文是ONNX2Pytorch思路分享以及onnx-simplifier新版简要介绍。ONNX2Pytorch工具已经测试了onnx model zoo中的大量分类模型并转换正确，欢迎使用，github地址：https://github.com/BBuf/onnx2nn。GiantPandaCV几个月前遭受恶意举报，今天终于解除封印了。感谢众多粉丝们的长期等待和支持，我们会在此继续分享学习经验。

2021-03-09

4.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态