重点已划好！OpenMMLab 11 月动态一览

OpenMMLab 2.0 公测期我们对主分支和新分支同步更新，11 月有 11 个算法库更新了版本：

• MMClassification 支持了 MLU 设备，升级了 API 接口，以更方便地调用 MMClassification 中预定义的模型；重构 BEiT 主干网络，并支持了 v1 和 v2 的推理
• MMSelfSup 支持 BEiT 和 MILAN 预训练及分类下游任务，其中 MILAN ViT-B fine-tuning 精度可达 85.3%
• MMDetecion 新增 projects 文件夹，可以方便大家更加快速便捷地给 MMDetection 支持训练和推理的新算法；支持了 CondInst，同时在 projects 中支持了 SparseInst
• MMYOLO 支持了 YOLOv7 P5 和 P6 模型
• MMDetection3D 支持了 PV-RCNN
• MMSegmentation 支持了MaskFormer和 Mask2Former
• MMOCR 一键生成数据集脚本已经支持自动生成数据集配置，支持了 ICDAR 2013、ICDAR2015、SVT、SVTP、IIIT5k、CUTE80 数据集
• MMEditing 支持了图文生成模型 Disco-Diffusion，支持了 3D 级图像生成模型 EG3D
• MMDeploy 支持了 OpenMMLab 2.0 架构下分类、检测等 8 个算法库的部署

想详细了解功能支持细节可以继续翻阅以下内容查看哦～！

01

月度之星评选出炉

02

亮点功能抢先看

03

算法库全部更新

04

热门活动

05

热门文章

首先和大家分享 11 月的贡献之星和活跃之星。

事件一

月度之星评选出炉

贡献之星

@Xiangxu-0103

获奖理由：

xiangxu-0103 在本次版本中贡献了 16 个 PR，包含新功能支持、文档精修以及数据集预处理 bug 修复等重要 PR。

同时，xiangxu-0103 对于 reviewer 意见的响应非常及时，PR 推进效率较高。

此外，xiangxu-0103 还积极参与 dev-1.x 版本的反馈与讨论，为新分支的完善做出贡献。

微信月度活跃之星

Xin Li

一只努力搬砖的工业界菜狗

星星说

因工作接触到 OpenMMLab，然后在开发者们和社区大佬们的指导下慢慢学习，偶尔在自己能力范围内做了一些微小的贡献，未来会继续努力学习。

QQ 月度活跃之星

九咯哈

MMFlow 研究者

星星说

通过 OpenMMLab 社区的 QQ 群，我认识了许多来自不同领域的小伙伴们，通过日常讨论聊天收获了许多新的知识。

目前个人的研究方向是图像配准，平常主要使用的是 MMFlow，这个库提供比较主流的光流方法的便利实现，也希望有研究领域相近的朋友来和我交流，一起进步。最后希望 OpenMMLab 越办越好（MMFlow 什么时候能加上无监督方法就更好了）

事件二

亮点功能抢先看

MMClassification

主分支 v0.25.0

• 支持了 MLU 设备

新分支 v1.0.0rc4

• 升级了 API 接口，以更方便地调用 MMClassification 中预定义的模型（#1236）
• 重构 BEiT 主干网络，并支持了 v1 和 v2 的推理

MMSelfSup

新分支 v1.0.0rc4

• 支持 BEiT (#425) 和 MILAN 预训练及分类下游任务 (#600)，其中 MILAN ViT-B fine-tuning 精度可达 85.3%

MMDetection

主分支 v2.26.0

• 支持在 NPU 上训练目标检测模型

新分支 v3.0.0rc4

• 新增 projects 文件夹，可以方便大家更加快速便捷地给 MMDetection 支持训练和推理的新算法
• 支持了 CondInst，同时在 projects 中支持了 SparseInst

MMYOLO

v0.2.0

• 支持 YOLOv7 P5 和 P6 模型

MMDetection3D

新分支 v1.1.0rc2

• 支持 PV-RCNN

MMSegmentation

新分支 v1.0.0rc2

• 支持 MaskFormer（NeurIPS'2021）
• 支持 Mask2Former（CVPR'2022）

MMOCR

新分支 v1.0.0rc4

• 一键生成数据集脚本已经支持自动生成数据集配置，并新支持了 6 个数据集
• 新增了存放实验性特征和模型的 "projects/" 文件夹，并在文件夹里支持了 ABCNet 的推理

MMEditing

新分支 v1.0.0rc4

• 支持了图文生成模型 Disco-Diffusion，支持了 3D 级图像生成模型 EG3D (CVPR 2022)

MMDeploy

新分支 v1.0.0rc0

• 支持 OpenMMLab 2.0 架构下的 8 个算法库部署：MMClassification 1.x，MMDetection 3.x，MMDetection3D 1.x，MMSegmentation 1.x，MMEditing 1.x，MMOCR 1.x，MMPose 1.x，MMAction2 1.x

事件三

算法库全部更新

下面再带大家继续了解下 11 月各个算法库具体的更新情况~

‍‍‍‍‍‍

各算法库更新情况

MMEngine

v0.3.2

新功能

• 支持在 CosineAnnealingParamScheduler 设置 eta_min_ratio（#725）

代码改进

• 输出日志对齐（#436）
• 训练开始时在日志中输出 hook 的顺序（#672）
• 增强 revert_sync_batchnorm 与三方库的兼容性（#695）

BUG 修复

• 修复执行目录不是 git 仓库时，日志中会出现 fatal error（#717）
• 修复 examples 中 distributed_training.py 的错误实现（#700）
• 修复 CosineAnnealingParamScheduler 错误的计算最小学习率的问题（#735）

感谢 @austinmw @BayMaxBHL @shenmishajing @xin-li-67 @songyuc @PingHGao 在此版本中的贡献。

更多详细内容请见：

https://mmengine.readthedocs.io/zh_CN/latest/notes/changelog.html

MMCV

新分支 v2.0.0rc3

新功能

• 新增 stack_ball_query 和 stack_group_points 算子
• 新增 3 个 MLU 算子

代码改进

• MLU 代码适配 cntoolkit3.0.1

Bug 修复

• 修复 roi_align 算子在 torch>=1.13 时的 symbolic Bug
• 在创建 Tensor 时使用 new_ 方法以支持 AMP
• 修复 three_nn 不接受 half 类型 Tensor 的问题
• 修复 calc_square_dist 函数可能导致 NaN 结果的 Bug
• 修复 Correlation 算子中的 Bug
• 修复 RandomChoiceResize 算子中不合理的断言

感谢 @LYMDLUT @LYM-fire @VVsssssk @xin-li-67 @ZhangLearning @cathyzhang222 @defei-coder @ZShaopeng 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmcv/releases/tag/v2.0.0rc3

MMClassification

主分支 v0.25.0

新功能

• 支持 MLU 设备
• 支持 ConvNeXt 训练启用 checkpoint

代码改进

• 添加 dist_train_arm.sh 用于 ARM 设备训练加速

Bug 修复

• 修复了一个可能导致 MMClsWandbHook 卡死的 bug
• 修复了 tools/test.py 中导致不可用的多余参数

感谢 @nijkah @xiaoyuan0203 @Qiza-lyhm @ganghe74 @unseenme @wangjiangben-hw 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmclassification/releases/tag/v0.25.0

新分支 v1.0.0rc4

新功能

• 支持根据 model-index 文件中的模型名获取模型对象（#1236）

代码改进

• 支持同时在 EMA 和非 EMA 模型上进行评测（#1204）
• 重构 BEiT 主干网络，并支持了 v1 和 v2 的推理（#1144）

BUG 修复

• 修复 reparameterize_model.py 没有保存模型元信息的问题（#1221）
• 修复了 BEiT 中的部分参数问题（#1234）

感谢 @kitecats 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmclassification/releases/tag/v1.0.0rc4

MMSelfSup

新分支 v1.0.0rc4

新功能

• 支持 low-level 重建可视化（如 MAE、 SimMIM、MaskFeat） (#570)

代码改进

• 重构 File IO（#582）
• 增加 projects 文件夹和示例（#586）
• 更新 CI 和 UT （#601）

Bug 修复

• 修复数据预处理潜在的注册问题（#603）
• 修复代码依赖和字段错误 （#611）

更多内容请见：

https://github.com/open-mmlab/mmselfsup/blob/1.x/docs/zh_cn/notes/changelog.md

MMDetection

主分支 v2.26.0

新功能

• 支持在 NPU 上训练目标检测模型

代码改进

• 补充 cityscapes 的 seg_suffix 的必要参数 (#9330)
• 支持无 gt mask 时基于 bbox 的复制粘贴 (#8905)
• 将 scipy 作为运行时的默认依赖项 (#9186)

Bug 修复

• 修复 RPN 可视化 (#9151)
• 通过冻结依赖版本来修复 readthedocs (#9154)
• 修复 MMDet_Tutorial.ipynb 中的设备参数错误 (#9112)
• 修复 solov2 无法处理空 gt 图像 (#9185)
• 修复 mixup 图像的随机翻转比率 (#9336)

感谢 @wangjiangben-hw @motokimura @AdorableJiang @BainOuO @JarvisKevin 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmdetection/releases/tag/v2.26.0

新分支 v3.0.0rc4

新功能

• 支持 CondInst
• 添加 projects/ 文件夹，这将是一些实验模型/功能的地方
• 在项目中支持 SparseInst

代码改进

• 更新 README 中 GIoU Loss 的文档 (#8810)
• 在 inference_detector 中处理数据集包装器 (#9144)
• 更新 COCO 的压缩 RLE 中的计数类型 (#9274)
• 支持在 print_config 中保存配置文件 (#9276)
• 更新有关视频推理的文档 (#9305)
• 模型部署更新指南 (#9344)
• 修复 useful tools 的文档拼写错误 (#9177)
• 允许从 CLI 中的特定 checkpoint 恢复 (#9284)
• 更新有关 pycocotools windows 安装问题的常见问题 (#9292)

Bug 修复

• 修复 MaskFormer Head 中的 pixel_decoder_type 歧义。(#9176)
• 修复缓存 MixUp 中错误的填充值 (#9259)
• 将 utils/typing.py 重命名为 utils/typing_utils.py 以修复 collect_env 错误 (#9265)
• 修复 resume arg 冲突 (#9287)
• 使用 caffe backbone 修复 Faster R-CNN 的配置 (#9319)
• 修复 torchserve 并更新相关文档 (#9343)
• 使用 sigmoid 激活修复 bbox 优化错误 (#9538)

感谢 @JunyaoHu @sanbuphy @JosonChan1998 @Daa98 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmdetection/releases/tag/v3.0.0rc4

MMYOLO

v0.2.0

新功能

• 支持 YOLOv7 P5 和 P6 模型
• 支持 YOLOv6 中的 ML 大模型
• 支持 Grad-Based CAM 和 Grad-Free CAM
• 基于 sahi 支持 大图推理
• projects 文件夹下新增 easydeploy 项目
• 新增 自定义数据集教程
• browse_dataset.py 脚本支持可视化原图、数据增强后和中间结果功能 (#304)
• image_demo.py 新增预测结果保存为 labelme 格式功能 (#288, #314)
• 新增 labelme 格式转 COCO 格式脚本 labelme2coco (#308, #313)
• 新增 COCO 数据集切分脚本 coco_split.py (#311)
• how-to.md 文档中新增两个 backbone 替换案例以及更新 plugin.md (#291)
• 新增贡献者文档 contributing.md and 代码规范文档 code_style.md (#322)
• 新增如何通过 mim 跨库调用脚本文档 (#321)
• YOLOv5 支持 RV1126 设备部署 (#262)

代码改进

• test.py 中新增 json 格式导出选项 (#316)
• extract_subcoco.py 脚本中新增基于面积阈值过滤规则 (#286)
• 部署相关中文文档翻译为英文 (#289)
• 新增 YOLOv6 算法描述大纲文档 (#252)
• 完善 config.md (#297, #303)
• 完善 mosiac9 的 docstring (#307)
• 完善 browse_coco_json.py 脚本输入参数 (#309)
• 重构 dataset_analysis.py 中部分函数使其更加通用 (#294)

Bug 修复

• 修复 MixUp padding 错误 (#319)
• 修复 LetterResize 和 YOLOv5KeepRatioResize 中 scale_factor 参数顺序错误 (#305)
• 修复 YOLOX Nano 模型训练错误问题 (#285)
• 修复 RTMDet 部署没有导包的错误 (#287)
• 修复 int8 部署配置错误 (#315)
• 修复 basebackbone 中 make_stage_plugins 注释 (#296)
• 部署模块支持切换为 deploy 模式功能 (#324)
• 修正 RTMDet 模型结构图中的错误 (#317)

感谢 @fcakyon @matrixgame2018 @MambaWong @imAzhou @triple-Mu @RangeKing @PeterH0323 @xin-li-67 @kitecats @hanrui1sensetime @AllentDan @Zheng-LinXiao 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmyolo/releases/tag/v0.2.0

MMDetection3D

主分支 v1.0.0rc6

新功能

• 增加 Projects/ 文件夹和项目示例 (#2082)

代码改进

• 更新 Waymo 数据集预处理脚本以节省存储空间 (#1759)
• 更新 CenterPoint 的模型链接和精度 (#1916)

Bug 修复

• 修复 PointRCNN 中显存不合理占用问题 (#1928)
• 修复IoUNegPiecewiseSampler中采样 bug (#2018)

感谢 @oyel @zzj403 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmdetection3d/blob/dev/docs/en/changelog.md

新分支 v1.1.0rc2

新功能

• 支持 PV-RCNN (#1957, #2045)
• 加速 Waymo 数据集上的方法评估 (#2008)
• 将 FCAF3D 重构进 MMDetection3D v1.1 (#1945)
• 将 S3DIS 数据集重构进 MMDetection3D v1.1 (#1984)
• 增加 Projects/ 文件夹和项目示例 (#2042)

代码改进

• 将CLASSES 和PALETTE 分别重命名为 classes 和palette (#1932)
• 更新 pkl 标注文件中的 metainfo 并向其中加入categories 信息 (#1934)
• 增加展示通过 pipeline 前后的 instances 统计信息变化的功能 (#1863)
• 增加 DGCNN 关于不同测试区域的 config 文件 (#1967)
• 将单元测试中的相关工具从 tests/utils/移动到mmdet3d/testing/ (#2012)
• 给 models/layers/ 文件夹下代码增加 typehint (#2014)
• 精修文档 (#1891, #1994)
• 改进 voxelization 以获得更快的速度 (#2062)

Bug 修复

• 修复关于点云的可视化问题 (#1914)
• 修复 waymo 数据集预处理中的信息损失问题 (#1979)
• 修复 KITTI 测试集评估的 bug (#2005)
• 修复 IoUNegPiecewiseSampler 中的采样 bug (#2017)
• 修复 CenterPoint 中的点云空间范围问题 (#1998)
• 修复 Waymo 数据集上若干 bug 并支持 FOV-image-based 模式 (#1942)
• 修复数据集预处理转换脚本 bug (#1923, #2040, #1971)
• 更新所有 config 中的 metafile 文件的模型链接 (#2006)

感谢 @Xiangxu-0103 @vavanade @oyel @thinkthinking @PeterH0323 @274869388 @cxiang26 在此版本中的贡献。

更多内容请见：

https://github.com/open-mmlab/mmdetection3d/releases/tag/v1.1.0rc2

MMSegmentation

新分支 v1.0.0rc2

新功能

• 添加 ResizeShortestEdge 数据增强方法
• 支持在测试的时候对图像添加 padding

代码改进

• 修复 1.x 版本的 CI
• 修复 lint 和 pre-commit hook
• 添加 ‘data’ 到 .gitignore
• 添加 scipy 到默认依赖库
• 将 mmcls 从 runtime 依赖中删除
• 更新配置文件文档
• 更新推理文档
• 更新训练和测试文档
• 更新安装文档
• 更新数据增强文档
• 添加 MMEval 链接到 README
• 添加可视化翻译文档

Bug 修复

• 修复 SwinTransformer 权重加载错误的问题
• 修复后处理没有移除 padding 的问题
• 修复 KNet IterativeDecodeHead 不兼容 BaseDecodeHead 的问题
• 修复数据集类不支持输入参数的问题
• 修复 Colab Tutorial 可视化代码的 bug
• 修复 README 文档中的链接以及部分 typo

更多详细内容请见：

https://github.com/open-mmlab/mmsegmentation/blob/1.x/docs/en/notes/changelog.md

MMOCR

新分支 v1.0.0rc4

新功能

• 一键生成数据集脚本已经支持自动生成数据集配置，支持了 ICDAR 2013、ICDAR2015、SVT、SVTP、IIIT5k、CUTE80 数据集
• "projects" 文件夹下新增 ABCNet，并支持了推理
• 增加了 print_config 脚本，实现完整配置的输出
• 识别模型支持了 TPS 模块

Bug 修复

• 修复了 CLIPResNet 注册的问题
• 修复了 auto scale lr 报错的问题

感谢 @jyshee @ProtossDragoon @IncludeMathH 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmocr/releases/tag/v1.0.0rc4

MMEditing

新分支 v1.0.0rc4

新功能

• 重构了 High-level 推理接口，支持 API 以及 CLI 形式探索不同任务
• 支持了图像修复模型 NAFNet (ECCV 2022)

代码改进

• 修复了一些 typehints 和语法错误

Bug 修复

• 修复了 SRGAN、CAIN 等模型的 config

感谢 @gaoyang07 @ChangjianZhao @zxczrx123 @jackghosts @CCODING04 @RoseZhao929 @shaocongliu @liangzelong 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmediting/blob/1.x/docs/en/notes/3_changelog.md

MMDeploy

主分支 v0.11.0

新功能

• ‍‍‍‍‍‍支持 MMAction2 TSN 和 SlowFast 在 onnxruntime 和 TensorRT 平台的部署
• 支持 SSD、 YOLOv3 等检测模型在瑞芯微 RV1126 平台的部署
• 增加 SDK 性能测试工具 profiler
• 支持 PointPillars 端到端部署‍‍‍‍‍‍

代码改进

• ‍‍支持 onnxruntime==1.13 API
• SDK 的 C 和 Python API 中避免 dense 数组拷贝
• SDK 中解耦 pre-process 和 transform 功能
• 重构 SDK 中 registry 模块
• 配置文件中增加 Core ML 常用字段
• tools/test.py 中增加精度测试结果序列化功能
• 在 aarch64 平台增加 OpenCV videoio
• 升级 ncnn 版本至 20221128
• 在 SDK 中异步内存拷贝时，增加 stream 参数‍‍

Bug 修复

• 修复 TensorRT=8.2 下 YOLOv3 转换失败
• 修复 torch=1.12 下 onnx2ncnn 转换失败
• 修复 pad_to_square
• 修复 det_pose demo
• 修复 topk 在 torch2onnx 时常量折叠失败
• 修复 C# API 中多 batch 推理
• 修复 CI 中 ncnn 构建失败
• 修复 SDK中 topk 大于 class_num 导致越界

感谢 @xin-li-67 @sunjiahao1999 @francis0407 @Typiqally @triple-Mu 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmdeploy/releases/tag/v0.11.0

新分支 v1.0.0rc0

新功能

• 支持 MMPose 1.x SimCC 通过 ONNXRuntime、TensorRT 部署
• 支持 MMDetection 3.x RTMDet、 CenterNet 通过 ONNXRuntime、TensorRT 部署
• 支持 MMClassification 1.x MobileOne 通过 ONNXRuntime、TensorRT 部署
• 支持 MMYOLO 通过第三方库调用 MMDeploy‍‍‍‍‍‍

代码改进

• 更新 Dockerfile

Bug 修复

• 修复单元测试 test_ops
• 修复 checkpoint 无法加载至 cpu

感谢 @xin-li-67 @liu-mengyang @doufengqi @PeterH0323 @triple-Mu @MambaWong @isLinXu @francis0407 @sanbuphy 在此版本中的贡献。

更多详细内容请见：

https://github.com/open-mmlab/mmdeploy/releases/tag/v1.0.0rc0