首页
学习
活动
专区
工具
TVP
发布

GiantPandaCV

专栏作者
694
文章
833980
阅读量
91
订阅数
《YOLOv5全面解析教程》​十二,Loss 计算详细解析
本文涉及到大量超链接可能被微信吃掉,建议在我们的文档网站查看原始文章:https://start.oneflow.org/oneflow-yolo-doc/source_code_interpretation/utils/loss_py.html
BBuf
2022-12-29
3.1K0
【BBuf的CUDA笔记】二,解析 OneFlow BatchNorm 相关算子实现
在ResNet中(https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py),关于BatchNorm的调用一共有两种模式,第一种是ReLU接在BN之后:
BBuf
2022-12-29
8010
【BBuf 的CUDA笔记】一,解析OneFlow Element-Wise 算子实现
由于CUDA水平太菜,所以一直没写过这方面的笔记。现在日常的工作中已经不能离开写CUDA代码,所以准备学习ZZK随缘做一做CUDA的笔记记录一下学习到的知识和技巧。这篇文章记录的是阅读OneFlow的Element-Wise系列CUDA算子实现方案学习到的技巧,希望可以帮助到一起入门CUDA的小伙伴们。Elemet-Wise算子指的是针对输入Tensor进行逐元素操作,比如ReLU就是针对输入Tensor的每个值进行判断是否大于0,大于0的话输出就是输入否则就是0。用CUDA来表达最简单的写法就是:
BBuf
2022-12-29
1.1K0
TVM 学习指南(个人版)
最近粗略的看完了天奇大佬的MLC课程(顺便修了一些语法和拼写错误,也算是做了微弱的贡献hh),对TVM的近期发展有了一些新的认识。之前天奇大佬在《新一代深度学习编译技术变革和展望》一文中(链接:https://zhuanlan.zhihu.com/p/446935289)讲解了TVM Unify也即统一多层抽象的概念。这里的统一多层抽象具体包括AutoTensorization用来解决硬件指令声明和张量程序对接,TVM FFI(PackedFunc)机制使得我们可以灵活地引入任意的算子库和运行库函数并且在各个编译模块和自定义模块里面相互调用。TensorIR负责张量级别程序和硬件张量指令的整合。Relax (Relax Next) 引入relay的进一步迭代,直接引入first class symbolic shape的支持 (摘抄自《新一代深度学习编译技术变革和展望》一文)。然后这些抽象可以相互交互和联合优化来构造深度学习模型对应的最终部署形式。我个人感觉TVM Unify类似于MLIR的Dialect,但是这几个抽象的直接交互能力相比于MLIR的逐级lower我感觉是更直观方便的,毕竟是Python First(这个只是我最近看MLC课程的一个感觉)。对这部分内容感兴趣的读者请查看天奇大佬的TVM Unify介绍原文以及MLC课程。
BBuf
2022-09-28
2.5K0
CVPR 2022 oral 面向丰富数据集的out-of-distribution检测
标题:MOS: Towards Scaling Out-of-distribution Detection for Large Semantic Space
BBuf
2022-09-28
9890
一文理解 PyTorch 中的 SyncBatchNorm
我们知道在分布式数据并行多卡训练的时候,BatchNorm 的计算过程(统计均值和方差)在进程之间是独立的,也就是每个进程只能看到本地 GlobalBatchSize / NumGpu 大小的数据。
BBuf
2022-09-28
2.2K0
Nearest-Neighbor Contrastive Learning of Visual Representations
With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations
BBuf
2022-09-28
9740
基于多传感器的3DMot
【GiantPandaCV导语】本文针对3D多目标跟踪任务,介绍了一下近年基于3d lidar目标检测(如pointpillars)模型的3d mot的算法进展。因为当前3d目标检测的论文和介绍较多,但对自动驾驶和机器人领域而言,后处理和跟踪部分尤为重要,这里就赏析一下近年的发展。
BBuf
2022-09-28
1.1K0
【社区实践】为 TVM 新增 OneFlow 前端
去年在Summer Code的时候我刚好开始入门 TVM(虽然现在仍然也还是入门阶段,没做过什么有意义的工作),并且恰好来到OneFlow 工作就想着给 TVM 添加一个 OneFlow 前端。但可惜在 Summer Code 发起了这个项目后因为系统选人的 BUG 导致没有选到合适的候选人。后来我私下联系了申请这个项目的第二位候选人胡伽魁同学问他是否愿意来 OneFlow 实习并花1-2个月完成这件事,他同意了并在实习期间做了一个初版出来。感谢胡伽魁同学的贡献。
BBuf
2022-05-27
4560
如何更快地训练Vision Transformer
近期MetaAI发布了一篇博客,关于如何显著提升Vision Transformer的训练效率。
BBuf
2022-05-27
8770
【TVM 三代优化巡礼】在X86上将普通的矩阵乘法算子提速90倍
本文主要梳理一下在21年接触到优化gemm的知识,做一个学习总结。行文的顺序大概为:
BBuf
2022-05-27
8370
CVPRW22 水下成像的神经渲染工作
【GiantPandaCV导语】GiantPandaCV成员做的一点小工作~目前已经CVPR 2022 Workshop接收,该工作主要的motivation如下:基于物理模型的水下图像生成方法效果并不理想,视觉效果差;在RGB图像的channel和spatial层面同时模拟水下退化不均匀分布特性;高分辨率图像的实时渲染是一个比较challenge的问题。
BBuf
2022-05-27
8110
Compact-Transformer:缓解数据不足带来的问题
【GiantPandaCV导语】本文致力于解决ViT在小型数据集上性能不够好的问题,这个问题非常实际,现实情况下如果确实没有大量数据集,同时也没有合适的预训练模型需要从头训练的时候,ViT架构性能是不如CNN架构的。这篇文章实际上并没有引入大量的卷积操作,通过修改patch size,以及使用SeqPool的方法就可以取得不错的成绩。
BBuf
2022-04-06
5330
【从零开始学深度学习编译器】十九,MLIR的Pass机制实践
这个系列的前面几篇文章对MLIR的组件有了一些粗浅的认识,这篇文章不继续讲MLIR的架构。而是从实践的角度带读者来看一下,MLIR帮助我做了什么,这里仍然以OneFlow Dialect为例。在MLIR:摩尔定律终结的编译器基础结构 论文解读 这篇文章的评论部分已经简单介绍了OneFlow Dialect相关的组件是如何实现的。在实现了OneFlow Dialect的基础上,我继续来介绍一下MLIR的Pass机制是如何助力OneFlow模型训练和推理加速的。
BBuf
2022-04-06
8930
Detectors for the 2020s 目标检测算法最新进展
近几年目标检测的落地越发成熟,新的sota网络同样层出不穷,不断刷新着coco的记录。本文盘点截止2019-2021年,在coco test-dev上霸榜,且知名度较广的目标检测网络(未完全开源不加入讨论)。
BBuf
2022-04-06
1K0
FFCV:让数据加载不再是训练模型的瓶颈
前段时间逛GitHub看到FFCV这个库,该库主要是优化数据加载过程来提升整体训练速度。其中也放出了一些benchmark,看上去比其他优化库如DALI,PyTorch Lightening要快的不少。
BBuf
2022-02-11
1K0
一文读懂 Pytorch 中的 Tensor View 机制
用户在使用 Pytorch 的过程中,必然会接触到 view 这个概念,可能会有用户对它背后的实现原理感兴趣。
BBuf
2022-02-11
2.5K0
2021 BDCI 华为零售商品识别竞赛一等奖方案分享
【GiantPandaCV导语】上学期快结束的时候参加了华为和CCF组织的零售商品识别的比赛,队伍名称为GiantPandaCV队,比赛大约持续了两个月,期间从开始摸索MindSpore框架,配置环境,上手ModelArts花费了不少功夫。现在比赛终于告一段落,本文进行一下复盘。
BBuf
2022-02-11
6520
当可变形注意力机制引入Vision Transformer
通过在Transformer基础上引入Deformable CNN中的可变性能力,在降低模型参数量的同时提升获取大感受野的能力,文内附代码解读。
BBuf
2022-02-11
5930
深度学习框架如何优雅的做算子对齐任务?
之前回答过「如何为PyTorch做贡献的知乎问题」,原贴见:https://www.zhihu.com/question/502301777/answer/2248950419 。回答提到了去年在OneFlow开发一些算子时,基于算子AutoTest框架找到了一些PyTorch算子的bug,并给PyTorch做出了反馈或修复。但这个回答没有介绍这个AutoTest框架长什么样子,以及它背后的原理。因此,这篇文章就用来介绍OneFlow的算子AutoTest框架看一下OneFlow深度学习框架在算子开发过程中是如何优雅的做算子对齐任务的(由@大缺弦 开发,后经我和其它同事进行扩展和丰富功能形成今天的形态)。这个AutoTest框架也可以很轻易移植到其它深度学习训练框架使用,代码实现在https://github.com/Oneflow-Inc/oneflow/blob/v0.6.0/python/oneflow/test_utils/automated_test_util/torch_flow_dual_object.py。
BBuf
2022-02-11
9070
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档