ResNet、Faster RCNN、Mask RCNN是专利算法吗？盘点何恺明参与发明的专利

前段时间OpenCV正式将SIFT算法的实现从Non-free模块移到主库，因SIFT专利到期了（专利授权后，从申请日开始有20年的保护期）。

美国林肯总统称"专利制度是给天才之火浇上利益之油",专利保护了申请人的利益，促进了科技的进步，但现在也有越来越多的滥用专利权对产业机构敲诈的案例出现。

SIFT 专利权的终结让我们不得不思考，还有哪些著名的算法被申请了专利？对于做研究的朋友来说不需要考虑这个问题，专利算法依然可以参考、复现、对比，但对于产业界朋友就不得不确认清楚：项目中有没有可能使用了别人专利保护算法。

作为计算机视觉领域当今翘楚，两度获得CVPR 最佳论文奖的何恺明大佬有很多论文都具有重大影响力。其部分论文引用数据：

残差网络 ResNet 被引用 51939 次、目标检测算法 Faster RCNN 被引用 20291 次、实例分割算法 Mask RCNN 被引用 7249 次，暗通道去雾被引用4274 次，这些知名的算法有成百上千的开源实现，也肯定被大量的商业公司使用，有没有被申请专利？

想想 ResNet 如果被申请专利，那恐怕大多数使用深度学习的商业公司都在侵权了！价值难以估计！

带着这样的疑问，CV君检索了所有与“Kaiming He”相关的已经公开的授权专利和专利申请，把这些专利与何恺明曾参与发表的论文进行了对应，按照申请时间的顺序列出如下。

对大家关心的几项重要算法，作以下几点总结：

1. 何恺明参与的大部分算法都被申请了专利（14 项申请，10项已经授权）；

2. 暗通道去雾 被申请了专利，已授权；

3. Faster RCNN 被申请了专利，已授权；

4. 最近很火的 Non-Local 神经网络被申请了专利，尚未授权；

5. （CV君发现）没有公开的授权专利和专利申请明显与ResNet 、Focal Loss 和 Mask RCNN 相关，ResNet、Focal Loss和 Mask RCNN 很可能没有申请对应专利；

6. 由于专利申请一般会在18个月后公开，所以18年下半年到如今的何恺明参与的工作（如SlowFast）尚不能确定有没有申请专利。

7. 专利权人是专利的最终受益人，何恺明参与发明的专利均为职务发明，没有一项专利的专利权人是何恺明。

免责声明：由于CV君不是专业的知识产权律师，本文仅作参考，不能用于任何专利相关的侵权判定等。

Single image haze removal using dark channel priors

专利号：US8340461B2

发明人：Jian Sun，Kaiming He，Xiao-ou Tang

申请日期：2010-02-01

截止日期：2031-06-23

专利权人：微软技术授权有限责任公司

对应论文：Single Image Haze Removal Using Dark Channel Prior

论文主页：http://kaiminghe.com/cvpr09/index.html

论文备注：CVPR2009 Oral；CVPR最佳论文奖

Interactive image matting

专利号：US8386964B2

发明人：Jian Sun，Kaiming He，Jiangyu Liu

申请日期：2010-07-21

截至日期：2030-12-12

对应论文：Fast Matting Using Large Kernel Matting Laplacian Matrices

论文地址：http://kaiminghe.com/publications/cvpr10matting.pdf

当前受让人：微软技术授权有限责任公司

Variable kernel size image matting

专利号：US8625888B2

发明人：Jian Sun，Kaiming He

申请日期：2010-07-21

截止日期：2031-11-02

专利权人：微软技术授权有限责任公司

对应论文：Fast Matting Using Large Kernel Matting Laplacian Matrices

论文地址：http://kaiminghe.com/publications/cvpr10matting.pdf

论文备注：CVPR2010

Opacity Measurement Using A Global Pixel Set

专利号：US20150016717A1

发明人：Kaiming He，Jian Sun，Carsten Curt Eckard Rother，Xiao-ou Tang

申请日期：2014-09-29

专利权人：微软技术授权有限责任公司

对应论文：A Global Sampling Method for Alpha Matting

论文地址：http://kaiminghe.com/publications/cvpr11matting.pdf

论文备注：CVPR2011

Content-aware image rotation

专利号：US9466092B

发明人：Kaiming He，Huiwen Chang，Jian Sun

申请日期：2014-11-24

截止日期：2034-11-24

专利权人：微软技术授权有限责任公司

对应论文：Content-Aware Rotation

论文主页：http://kaiminghe.com/iccv13car/index.html

论文地址：http://kaiminghe.com/publications/iccv13car.pdf

论文备注：ICCV2013

Generic object detection in images

专利号：US9424493B2

发明人：Kaiming He，Jian Sun，Xiangyu ZHANG

申请日期：2015-02-09

截止日期：2035-04-10

专利权人：微软公司 ，微软技术授权有限责任公司

对应论文：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

论文主页：http://kaiminghe.com/eccv14sppnet/index.html

论文备注：ECCV2014

Spatial pyramid pooling networks for image processing

用于图像处理的空间金字塔池网络

专利号：US9542621B2

发明人：Kaiming He，Jian Sun，Xiangyu ZHANG，Shaoqing Ren

申请日期：2015-02-10

截至日期：2035-08-02

专利权人：微软公司 ，微软技术授权有限责任公司

对应论文：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

论文主页：http://kaiminghe.com/eccv14sppnet/index.html

论文备注：ECCV2014

Image semantic segmentation

专利号：US9865042B2

发明人：Jifeng DAI，Kaiming He，Jian Sun

申请日期：2015-07-17

截止日期：2035-07-17

专利权人：微软技术授权有限责任公司

对应论文：

Convolutional Feature Masking for Joint Object and Stuff Segmentation （CVPR 2015）

Instance-aware Semantic Segmentation via Multi-task Network Cascades（CVPR 2016 Oral）

论文代码：https://github.com/daijifeng001/mnc

论文备注：2015年COCO分割竞赛第一名

System for training networks for semantic segmentation

专利号：US9858525B2

发明人：Jifeng DAI，Kaiming He，Jian Sun

申请日期：2015-10-14

截止日期：2035-12-17

专利权人：微软技术授权有限责任公司

对应论文：

Convolutional Feature Masking for Joint Object and Stuff Segmentation （CVPR 2015）

Instance-aware Semantic Segmentation via Multi-task Network Cascades（CVPR 2016 Oral）

论文代码：https://github.com/daijifeng001/mnc

论文备注：2015年COCO分割竞赛第一名

Object detection and classification in images

图像中的目标检测和分类

专利号：US9858496B2

发明人：Jian Sun，Ross Girshick，Shaoqing Ren，Kaiming He

申请日期：2016-01-20

截止日期：2036-01-20

专利权人：微软技术授权有限责任公司

对应论文：

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks （NIPS 2015、TPAMI 2016 ）

论文代码：

https://github.com/shaoqingren/faster_rcnn （Matlab）

https://github.com/rbgirshick/py-faster-rcnn （Python）

备注：大名鼎鼎的 Faster R-CNN 是有专利保护的！

Image completion based on patch offset statistics

专利号：WO2014198029A1

发明人：Kaiming He，Jian Sun

申请日期：2013-06-13

专利状态：尚未授权

专利申请人：微软

对应论文：Statistics of Patch Offsets for Image Completion

论文主页：http://kaiminghe.com/eccv12/index.html

论文备注：图像补全，ECCV2012

Creation of Rectangular Images from Input Images

专利号：US20150131924A1

发明人：Kaiming He，Huiwen Chang，Jian Sun

申请日期：2013-11-13

专利状态：尚未授权

专利申请人：微软技术授权有限责任公司

对应论文：Rectangling Panoramic Images via Warping

论文主页：http://kaiminghe.com/sig13/index.html

论文备注：ACM Transactions on Graphics (TOG) 2013

An apparatus and a method for providing super-resolution of a low-resolution image

专利号：WO2016019484A1

发明人：Xiaoou Tang，Chao Dong，Chen Change Loy，Kaiming He

申请日期：2014-08-08

专利状态：尚未授权

专利申请人：Xiaoou Tang

对应论文：Image Super-Resolution Using Deep Convolutional Networks

论文主页：http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

论文备注：图像超分辨率，SRCNN，ECCV2014

Machine-Learning Models Based on Non-local Neural Networks

专利号：US20190156210A1

发明人：Kaiming He，Ross Girshick，Xiaolong Wang

申请日期：2018-11-15

专利状态：尚未授权

专利申请人：Facebook Inc

对应论文：Non-local Neural Networks

论文地址：https://arxiv.org/abs/1711.07971

论文代码：https://github.com/facebookresearch/video-nonlocal-net

论文备注：近两年很热的 Non-local 神经网络， CVPR2018

以上仅作参考，如有错误欢迎指正。