腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

GiantPandaCV

专栏作者

698

文章

852390

阅读量

93

订阅数

Segment Anything模型部分结构和代码解析

https 工作后端脚本模型

上个月Meta提出的Segment Anything Model（SAM）希望在视觉领域通过Prompt+基础大模型的套路来解决目标分割的问题。经过实测，在大多数场景中SAM的表现都足够惊艳，并且基于SAM的各种二创工作也爆发了比如检测一切的Grounded-Segment-Anything(https://github.com/IDEA-Research/Grounded-Segment-Anything)，将Segment Anything扩展到医学图像领域。但目前中文社区似乎并没有怎么对SAM的模型做细致的解析，所以这里 fork了SAM仓库并且对模型实现部分做了详细的代码解析，fork仓库的地址如下：https://github.com/Oneflow-Inc/segment-anything 。

2023-08-25

8710

《YOLOv5全面解析教程》十二，Loss 计算详细解析

python https 网络安全

本文涉及到大量超链接可能被微信吃掉，建议在我们的文档网站查看原始文章：https://start.oneflow.org/oneflow-yolo-doc/source_code_interpretation/utils/loss_py.html

2022-12-29

3.3K0

【BBuf的CUDA笔记】二，解析 OneFlow BatchNorm 相关算子实现

https 网络安全神经网络 github git

在ResNet中（https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py），关于BatchNorm的调用一共有两种模式，第一种是ReLU接在BN之后：

2022-12-29

8240

【BBuf 的CUDA笔记】一，解析OneFlow Element-Wise 算子实现

kernel 深度学习 https 网络安全 github

由于CUDA水平太菜，所以一直没写过这方面的笔记。现在日常的工作中已经不能离开写CUDA代码，所以准备学习ZZK随缘做一做CUDA的笔记记录一下学习到的知识和技巧。这篇文章记录的是阅读OneFlow的Element-Wise系列CUDA算子实现方案学习到的技巧，希望可以帮助到一起入门CUDA的小伙伴们。Elemet-Wise算子指的是针对输入Tensor进行逐元素操作，比如ReLU就是针对输入Tensor的每个值进行判断是否大于0，大于0的话输出就是输入否则就是0。用CUDA来表达最简单的写法就是：

2022-12-29

1.1K0

TVM 学习指南（个人版）

https 网络安全 github git 开源

最近粗略的看完了天奇大佬的MLC课程（顺便修了一些语法和拼写错误，也算是做了微弱的贡献hh），对TVM的近期发展有了一些新的认识。之前天奇大佬在《新一代深度学习编译技术变革和展望》一文中（链接：https://zhuanlan.zhihu.com/p/446935289）讲解了TVM Unify也即统一多层抽象的概念。这里的统一多层抽象具体包括AutoTensorization用来解决硬件指令声明和张量程序对接，TVM FFI（PackedFunc）机制使得我们可以灵活地引入任意的算子库和运行库函数并且在各个编译模块和自定义模块里面相互调用。TensorIR负责张量级别程序和硬件张量指令的整合。Relax (Relax Next) 引入relay的进一步迭代，直接引入first class symbolic shape的支持（摘抄自《新一代深度学习编译技术变革和展望》一文）。然后这些抽象可以相互交互和联合优化来构造深度学习模型对应的最终部署形式。我个人感觉TVM Unify类似于MLIR的Dialect，但是这几个抽象的直接交互能力相比于MLIR的逐级lower我感觉是更直观方便的，毕竟是Python First（这个只是我最近看MLC课程的一个感觉）。对这部分内容感兴趣的读者请查看天奇大佬的TVM Unify介绍原文以及MLC课程。

2022-09-28

2.6K0

一文理解 PyTorch 中的 SyncBatchNorm

https 网络安全 kernel 批量计算 pytorch

我们知道在分布式数据并行多卡训练的时候，BatchNorm 的计算过程（统计均值和方差）在进程之间是独立的，也就是每个进程只能看到本地 GlobalBatchSize / NumGpu 大小的数据。

2022-09-28

2.3K0

Nearest-Neighbor Contrastive Learning of Visual Representations

编程算法 https 网络安全监督学习

With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations

2022-09-28

9920

Instance-Conditioned GAN

机器学习神经网络深度学习人工智能 https

作者：Arantxa Casanova, Marlene Careil, Jakob Verbeek, Michal Drozdzal, Adriana Romero Soriano

2022-09-28

8240

基于多传感器的3DMot

图像处理编程算法 https 图像识别网络安全

【GiantPandaCV导语】本文针对3D多目标跟踪任务，介绍了一下近年基于3d lidar目标检测（如pointpillars）模型的3d mot的算法进展。因为当前3d目标检测的论文和介绍较多，但对自动驾驶和机器人领域而言，后处理和跟踪部分尤为重要，这里就赏析一下近年的发展。

2022-09-28

1.1K0

YOLOv7-Pose尝鲜，基于YOLOv7的关键点模型测评

https 神经网络深度学习人工智能图像识别

目前人体姿态估计总体分为Top-down和Bottom-up两种，与目标检测不同，无论是基于热力图或是基于检测器处理的关键点检测算法，都较为依赖计算资源，推理耗时略长，今年出现了以YOLO为基线的关键点检测器。玩过目标检测的童鞋都知道YOLO以及各种变种目前算是工业落地较多的一类检测器，其简单的设计思想，长期活跃的社区生态，使其始终占据着较高的话题度。

2022-09-28

2.3K0

SSL-Lanes:用于自动驾驶中运动预测的自监督学习

https SSL 证书监督学习

在现实世界的城市环境中进行运动预测是自主机器人的一项重要任务，包括预测车辆和行人在内的交通主体的未来轨迹，这对于自动驾驶领域的安全、舒适和高效操作来说绝对至关重要。运动预测任务传统上是基于运动学约束和具有手工规则的道路地图信息，然而这些方法无法捕捉复杂场景中的长期行为以及与地图结构和其他交通代理的交互。在论文"SSL-Lanes: Self-Supervised Learning for Motion Forecasting in Autonomous Driving"中，作者提出了一个基于自监督学习的运动预测模型，算法已经开源。

2022-09-28

5630

【社区实践】为 TVM 新增 OneFlow 前端

https 网络安全 github git 开源

去年在Summer Code的时候我刚好开始入门 TVM（虽然现在仍然也还是入门阶段，没做过什么有意义的工作），并且恰好来到OneFlow 工作就想着给 TVM 添加一个 OneFlow 前端。但可惜在 Summer Code 发起了这个项目后因为系统选人的 BUG 导致没有选到合适的候选人。后来我私下联系了申请这个项目的第二位候选人胡伽魁同学问他是否愿意来 OneFlow 实习并花1-2个月完成这件事，他同意了并在实习期间做了一个初版出来。感谢胡伽魁同学的贡献。

2022-05-27

4640

如何更快地训练Vision Transformer

https 网络安全 github git 开源

近期MetaAI发布了一篇博客，关于如何显著提升Vision Transformer的训练效率。

2022-05-27

9040

【TVM 三代优化巡礼】在X86上将普通的矩阵乘法算子提速90倍

缓存智能推荐平台 https 网络安全 github

本文主要梳理一下在21年接触到优化gemm的知识，做一个学习总结。行文的顺序大概为：

2022-05-27

8540

CVPRW22 水下成像的神经渲染工作

渲染 https 网络安全

【GiantPandaCV导语】GiantPandaCV成员做的一点小工作~目前已经CVPR 2022 Workshop接收，该工作主要的motivation如下：基于物理模型的水下图像生成方法效果并不理想，视觉效果差；在RGB图像的channel和spatial层面同时模拟水下退化不均匀分布特性；高分辨率图像的实时渲染是一个比较challenge的问题。

2022-05-27

8370

Compact-Transformer:缓解数据不足带来的问题

https 网络安全

【GiantPandaCV导语】本文致力于解决ViT在小型数据集上性能不够好的问题，这个问题非常实际，现实情况下如果确实没有大量数据集，同时也没有合适的预训练模型需要从头训练的时候，ViT架构性能是不如CNN架构的。这篇文章实际上并没有引入大量的卷积操作，通过修改patch size，以及使用SeqPool的方法就可以取得不错的成绩。

2022-04-06

5940

【从零开始学深度学习编译器】十九，MLIR的Pass机制实践

linux https 网络安全

这个系列的前面几篇文章对MLIR的组件有了一些粗浅的认识，这篇文章不继续讲MLIR的架构。而是从实践的角度带读者来看一下，MLIR帮助我做了什么，这里仍然以OneFlow Dialect为例。在MLIR：摩尔定律终结的编译器基础结构论文解读这篇文章的评论部分已经简单介绍了OneFlow Dialect相关的组件是如何实现的。在实现了OneFlow Dialect的基础上，我继续来介绍一下MLIR的Pass机制是如何助力OneFlow模型训练和推理加速的。

2022-04-06

9160

Detectors for the 2020s 目标检测算法最新进展

https 网络安全 github 编程算法 git

近几年目标检测的落地越发成熟，新的sota网络同样层出不穷，不断刷新着coco的记录。本文盘点截止2019-2021年，在coco test-dev上霸榜，且知名度较广的目标检测网络（未完全开源不加入讨论）。

2022-04-06

1K0

FFCV:让数据加载不再是训练模型的瓶颈

pytorch https 网络安全打包

前段时间逛GitHub看到FFCV这个库，该库主要是优化数据加载过程来提升整体训练速度。其中也放出了一些benchmark，看上去比其他优化库如DALI，PyTorch Lightening要快的不少。

2022-02-11

1K0

一文读懂 Pytorch 中的 Tensor View 机制

node.js https 网络安全 pytorch html

用户在使用 Pytorch 的过程中，必然会接触到 view 这个概念，可能会有用户对它背后的实现原理感兴趣。

2022-02-11

2.6K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态