叮咚 ~ 你订阅的 OpenMMLab 开源社区 10 月刊已送达

大家好！ OpenMMLab 期刊如约而至，快来看看10月的新版本发布情况吧！

MM系列多个算法库焕新上线

向上滑动阅览

1. MMCV

新功能

- 添加 11 个 detection3d 相关的 CUDA 算子

- FileClient 支持更多的文件接口

- 支持将 checkpoint 上传至多个后端

- 添加 deform conv 的 onnxruntime 支持

Bug 修复

- 修复 deform conv 权重初始化问题

- 修复 correlation 算子的单元测试在非 CUDA 环境的报错问题

- 修复 deprecated_api_warning 隐藏的问题

- 修复在 container 中不能获取 hostname 问题

- 修复 MultiScaleDeformableAttention 在 CPU 设备上的推理报错问题

- 修复 furthest_sample_point 访问非法内存问题

- 降低 ms_deformable_attn 单元测试占用的显存

- 修复 non-ascii 编码导致的 config 解析错误问题

代码及文档改进

- 切换 CI 中的 Nvidia CUDA 镜像为 PyTorch 提供的 CUDA 镜像

- CI 中添加 PyTorch1.10 的单元测试

- pre-commit 添加 codespell hook，用于检查代码中的单词拼写错误

- scandir 辅助函数添加 case_sensitive 用于判断是否忽视文件后缀的大小写

- 添加多篇中文文档，包括 CNN、ONNX、TensorRT、从源码编译 mmcv-full、如何贡献代码

感谢 @bofen97 @Fu0511 @Eugene Liu @zhicheng 对 MMCV 的贡献。

2. MMAction2

新功能

- 支持 TorchServe

- 添加视频结构化 demo

- 支持使用 3D 骨架点进行动作识别

- 添加 PoseC3D 在 UCF, HMDB 上的 benchmark

文档丰富

- 添加了 projects.md，展示使用 mmaction2 进行开发的项目

- 补充了剩余中文文档

- 添加利用自定义数据集进行骨骼动作识别的教程

感谢 @bit-scientist 在这个版本中的贡献~

3. MMDetection

新功能

- 支持实例分割模型 QueryInst

- 支持 infinite sampler，加速 IterBasedRunner 训练

Bug 修复

- 修复 fcn_mask_head 的权重初始化问题

- 修复 RPN 可视化的类型错误

- 修复 MMDetection Tutorial 中 colab 链接失效的问题

- 确保 scale_factor 和 bbox 的 device 以及数据类型保持一致

- 解耦 sampling 策略和损失函数

- 修复 RandomAffine 中 bbox 坐标问题

- 修复 convfc head 中 cls/reg 层的初始化问题

- 修复 auto_augment 中 image_shape 错误的问题

- 修复二阶段模型中没有 kwargs 参数的问题

代码改进

- 统一 stuff head 和 panoptic head 的接口

- 优化 Readme，全新的 readme 终于上线，欢迎大家围观～

- pre-commit 中增加 codespell hook，可用于英语语法检查

- 修复 sampler 的单元测试

- YOLACT 增加 forward_dummy 函数用于计算 flops

- 调整顺序并美化文档

感谢@Boyden, @onnkeat, @st9007a, @vealocia, @yhcao6, @DapangpangX, @yellowdolphin, @cclauss, @pingguokiller, @collinzrj, @AndreaPi 为此次新版本的贡献。

4. MMDetection3D

Bug 修复

- 更新 Dockerfile 中的 mmdetection 和 mmsegmentation 版本

- 修复中文文档中的链接

代码改进

- 更新 Group-Free-3D 和 FCOS3D 的引用格式

- 更新常见问题解答中关于 pycocotools 不兼容性的解决方案

- 新增 KITTI 和 Lyft 数据集教程中文文档

- 新增转换器用于更新 H3DNet 模型不兼容的键值

5. MMSegmentation

新功能

- 支持从 timm 中导入 backbone

- 支持用户定义 hook

- pre-commit 中增加 codespell hook，可用于英语语法检查

- 新增 FastFCN 在 ADE20K 上的 benchmark

Bug 修复

- 修复 python 3.9 CI 问题

- 修复从文件读取类名的问题

改进

- 减小单元测试输入的大小以及通道数

感谢 @ShoupingShan 、@HarborYuan 、@lkm2835 @gszh 为本版本做的贡献。

6. MMClassification

新功能

- 新增了 T2T-ViT 和 Res2Net 两个 backbone 和预训练模型

- 新增了对 ImageNet 21k 数据集的支持

- 新增了一个可视化数据预处理效果的小工具，参考教程使用~

- 新增了对 Seesaw loss 的支持

Bug修复

- 修复了使用 IterBaseRunner 时可能遇到的几个问题

代码及文档改进

- 全新的中英文 Colab 教程，在文档顶部即可浏览

- 文档中增加了每个算法的单独页面，下载模型不用去翻文件啦

感谢 @tansor，@youqingxiaozhua，@okotaku 在这个版本中的贡献~

7. MMPose

新功能

- 支持动物姿态数据集AP-10K（NeurIPS’19）

- 支持 TorchServe 部署

- 增加 HRNetv2 在 300W 和 COFW 数据集上的预训练模型

Bug 修复

- 修复部分 config 中的旧式设置写法

- 修复 bottom-up 方法使用 UDP 时 heatmap 和 tagmap 尺寸未对齐问题

- 修复 CI 中 python3.9 的安装问题

代码改进

- 支持 bottom-up 中使用任意长宽（非正方形）输入

- 为部分 demo 脚本提供了 online 视频/图像资源

- 使用 Docker 镜像加速 CI

- 增加了 codespell hook 进行代码拼写检查

感谢 @Annbless，@AlexTheBad 在这个版本中的贡献~

8. MMGeneration

新功能

- 为 SNGAN，SAGAN，BigGAN 增加了新的实验结果

- 重构了 Translation Model

代码改进

- 增加了 PyTorch 1.9 的支持

- 使用了新的文档主题

9. MMEditing

新功能

- 增加了 GLEAN 的盲人脸超分模型

- 增添了 REAL-ESRGAN 模型

- 支持了 EMA Hook

- 支持了 DF2K_OST 数据集

- 增加了 MATLAB-like bicubic 插值方法

- 支持在训练过程中做随机的退化