深度学习理论前沿研讨会论文及代码集锦

时间：2018年7月28日8:30

地点：上海交通大学闵行校区电信群楼3-200

主题：深度学习理论探讨

报告1：基于类脑智能的遥感影像解译

焦李成 西安电子科技大学教授 IEEE Fellow

报告人简介

焦李成，教授、博士生导师。

西安电子科技大学计算机科学与技术学部主任、智能感知与图像理解教育部重点实验室主任、智能感知与计算国际联合研究中心主任、智能感知与计算国际合作联合实验室主任、“智能信息处理科学与技术”高等学校学科创新引智基地主任、教育部科技委学部委员、中国人工智能学会副理事长、IET西安分会主席、IEEE西安分会奖励委员会主席、IEEE计算智能协会西安分会主席、IEEE GRSS西安分会主席，IEEE TGRS副主编、教育部创新团队首席专家，IEEE Fellow、IET Fellow、首批中国人工智能学会会士、CCF杰出会员。

国务院学位委员会学科评议组成员，人社部博士后管委会评议组专家，曾任第八届全国人大代表。

1991年被批准为享受国务院政府津贴的专家，1996年首批入选国家“百千万”人才工程（第一、二层次），陕西省首批“三五人才”第一层次。

主要研究方向为智能感知与计算、图像理解与目标识别、深度学习与类脑计算。研究成果获包括青年科技奖，国家自然科学奖二等奖及省部级一等奖以上科技奖励十余项，出版了《神经网络系统理论》、《免疫优化计算、学习与识别》、《图像多尺度几何分析理论与应用》、《深度学习、识别与优化》等专著。

相关论文

Cheng, Lin, Xu Liu, Lingling Li, Licheng Jiao, and Xu Tang. "Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images." arXiv preprint arXiv:1807.07327 (2018).

https://arxiv.org/pdf/1807.07327.pdf

网络结构如下，主要还是基于CNN的。

Liu, Xu, Licheng Jiao, Xu Tang, Qigong Sun, and Dan Zhang. "Polarimetric Convolutional Network for PolSAR Image Classification." arXiv preprint arXiv:1807.02975 (2018).

https://arxiv.org/pdf/1807.02975.pdf

网络结构如下，主要基于CNN。

报告2：Learning Partial Differential Equations for Computer Vision and Image Processing

林宙辰 北京大学教授 IEEE Fellow

报告人简介

林宙辰，北京大学机器感知与智能教育部重点实验室教授、信息科学技术学院教授、东北师范大学"东师学者"讲座教授，曾任微软亚洲研究院视觉计算组主管研究员，中国科学院计算技术研究所客座研究员、上海交通大学兼职研究员、东南大学兼职教授等。

担任著名期刊International J. Computer Vision，Neurocomputing等编委，是IEEE高级会员，主持著名国际会议CVPR 2014年领域主席（Area Chair）等。

主要研究方向是包括机器学习、模式识别、计算机视觉、图像处理和数值计算与优化。

相关slides:

http://www.yongxu.org/paper/Learning%20Partial%20Differential%20Equations%20-%20Harbin-Shenzhen.pdf

全文：

http://www.cis.pku.edu.cn/faculty/vision/zlin/Publications/Learning-BasedPDE-Sanya.pdf

偏微分方程在去噪，图像增强，图像分割以及图像修复等领域中得以应用。

下面是偏微分方程在图像模糊化中的效果示例

下面是偏微分方程在边缘检测中的效果示例

下面是偏微分方程在图像去噪（高斯噪声）中的应用示例

下面是偏微分方程跟其他方法在图像去噪（真实噪声）中的应用示例

下面是偏微分方程在文本检测中的应用示例

报告3：A Random Matrix Approach to Deep Learning

邱才明 上海交通大学教授 国家千人IEEE Fellow

报告人简介

邱才明教授，IEEE Fellow，国家“千人计划”特聘教授，上海市“千人计划”特聘教授，上海交通大学讲席教授，上海交通大学大数据工程技术研究中心主任，美国田纳西理工大学终身教授。

邱才明教授出版了《Smart Grid and Big Data：Theory and Practice》、《Cognitive Networked Sensing and Big Data》、《Introduction to Smart Grid》、《Cognitive Radio Communication and Networking: Principles and Practice》等专著，奠定了随机大数据理论及其在智能电网、无线网络等工程领域应用的理论框架。

在IEEE Trans. Smart Grid、IEEE Trans. Signal Processing、IEEE Trans. Antennas and Propagation、IEEE Trans. Wireless Communication、ICC等领域权威期刊及会议上发表多篇学术论文。

报告相关论文

A RANDOM MATRIX APPROACHTO NEURAL NETWORKS

https://arxiv.org/pdf/1702.05419.pdf

Nonlinear random matrix theory for deep learning

https://papers.nips.cc/paper/6857-nonlinear-random-matrix-theory-for-deep-learning.pdf

报告4：基于深度学习的显著性目标检测理论与实践

卢湖川 大连理工大学教授 国家杰出青年

报告人简介

卢湖川教授，IEEE高级会员，2017年获得国家杰出青年科学基金，研究方向计算机视觉、模式识别。

发表CCF A类论文多篇，以第一完成人获得教育部自然科学二等奖1项。

获得多项国际学术论文奖，包括ICCV2011 Most Remembered Poster，IET Image Processing 2014 Best Paper Award，ICIP2012 Best Student Paper Award Finalist.

报告相关论文：

Linzhao Wang, Lijun Wang,Huchuan Lu , Pingping Zhang, Xiang Ruan, Salient Object Detection with Recurrent Fully Convolutional Networks, PAMI 2018

https://pan.baidu.com/s/1CQu5ooyPFJR0xh311ipKyA

网络结构如下

Pinging Zhang, Wei Liu,Huchuan Lu，Chunhua Shen, Salient Object Detection by Lossless Feature Reflection, IJCAI2018

https://arxiv.org/pdf/1802.06527.pdf

其中网络结构如下

Xiaoning Zhang, Tiantian Wang, Jinqing Qi,Huchuan Lu , Gang Wang, Progressive Attention Guided Recurrent Network for Salient Object Detection, CVPR2018

http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/1235.pdf

其中网络结构如下

Pingping Zhang, Dong Wang, Huchuan Lu,Hongyu Wang, Xiang Ruan, Amulet: Aggregating Multi-Level Convolutional Features for Salient Object Detection,ICCV2017

https://pan.baidu.com/s/1wLwxYCZRgKxzZ81ymV-yGA

其中网络结构如下

代码：

https://pan.baidu.com/s/1XGhct3zvYIRKPafx2yAL-Q

https://github.com/Pchank/caffe-sal/blob/master/IIAU2018.md

https://github.com/zhangxiaoning666/PAGR

报告5：深度学习在无人驾驶领域的应用

杨明 上海交通大学教授

报告人简介

杨明教授为上海交通大学教授、博士生导师，宝钢全国优秀教师，上海市浦江人才，《IEEE Transaction on Intelligent Vehicles》期刊编委，中国人工智能学会智能机器人专委会常务委员。

长期从事无人车和智能机器人等方面研究工作，主持国家和省部级无人车相关项目10余项，国际合作和企业合作项目20余项，在国内外学术刊物上发表论文100余篇，获国家发明专利授权近20余项。

在智能车领域积累了丰富的实践经验，2007、2008年获全国智能车竞赛冠军，2009年获智能车未来挑战赛季军，2010-1016年先后在上海世博会、工博会、上海车展、智博会展示研究成果，其产品在万科集团、格力、中控等国内知名企业推广应用

相关论文

Qianqian Bi, Ming Yang, Chunxiang Wang, Bing Wang, An Efficient Hierarchical Convolutional Neural Network for Traffic Object Detection, 2018 IEEE Intelligent Vehicles Symposium (IV'18), June 26-29, Changshu, China (Best Workshop Paper Awards-First Prize)

Liuyuan Deng, Ming Yang, Yeqiang Qian, Chunxiang Wang, Bing Wang, CNN Based Semantic Segmentation for Urban Traffic Scenes Using Fisheye Camera, 2017 IEEE Intelligent Vehicles Symposium(IV17), June 11-14, 2017, Redondo Beach, CA, USA, 231-236

报告6：“Deep Revolution” in Image Restoration and Beyond

董彬 北京大学副教授 国家青年千人

报告人简介

董彬，北京大学，北京国际数学研究中心研究员，北京大数据研究院深度学习实验室研究员、生物医学影像分析实验室副主任。

2009年在美国加州大学洛杉矶分校（UCLA）数学系获得博士学位。

博士毕业后曾在美国加州大学圣迭戈分校（UCSD）数学系任访问助理教授、2011－2014年在美国亚利桑那大学（University of Arizona）数学系任（Tenure-Track）助理教授，2014年底入职北京大学。

主要研究领域为应用调和分析、优化方法、机器学习、深度学习及其在图像和数据科学中的应用。

应用包括图像重建及修复、生物与医学成像、生物医学影像分析、疾病量化、治疗方案优化等问题。

于2014年获得求是基金会的求是杰出青年学者奖，2015年入选中组部第十一批“千人计划”青年人才。

相关网络 ResNet, FractalNet, PolyNet, RevNet

相关论文

Lu, Yiping, Aoxiao Zhong, Quanzheng Li, and Bin Dong. "Beyond Finite Layer Neural Networks: Bridging Deep Architectures and Numerical Differential Equations." (2018).

http://bicmr.pku.edu.cn/~dongbin/Publications/DynamicsOfNN.pdf

Long, Zichao, Yiping Lu, Xianzhong Ma, and Bin Dong. "PDE-Net: Learning PDEs from Data." (2018).

http://bicmr.pku.edu.cn/~dongbin/Publications/PDE-Net.pdf

报告7：深度特征学习与应用

杨淑媛 西安电子科技大学教授

报告人简介

西安电子科技大学教授，完成多项国家自然科学基金，主持多项国家级/省部级科研项目，多项总装预研项目。

研究成果在IEEE著名期刊上发表多篇长文(IEEE Trans on Neural Networks and Learning System, IEEE Trans on Image Processing, IEEE Trans on Geoscience and Remote Sensing等)。

获陕西省科学技术一等奖多项，吴文俊人工智能青年创新二等奖等。

入选教育部新世纪优秀人才、陕西省科技新星计划。

相关论文

Xu Liu, Licheng Jiao, Jiaqi Zhao, Jin Zhao, Dan Zhang, Fang Liu, Shuyuan Yang, Xu Tang: Deep Multiple Instance Learning-Based Spatial-Spectral Classification for PAN and MS Imagery. IEEE Trans. Geoscience and Remote Sensing 56(1): 461-473 (2018)

Licheng Jiao, Miaomiao Liang, Huan Chen, Shuyuan Yang, Hongying Liu, Xianghai Cao: Deep Fully Convolutional Network-Based Spatial Distribution Prediction for Hyperspectral Image Classification. IEEE Trans. Geoscience and Remote Sensing 55(10): 5585-5599 (2017)

Hongying Liu, Qiang Min, Chen Sun, Jin Zhao, Shuyuan Yang, Biao Hou, Jie Feng, Licheng Jiao: Terrain classification with Polarimetric SAR based on Deep Sparse Filtering Network. IGARSS 2016: 64-67

报告8：Towards understanding generalization, optimization dynamics, and robustness in deep learning

朱占星 北京大学数据科学研究中心、北京大数据研究院特聘研究员

报告人简介

朱占星，北京大学数据科学研究中心研究员，北京大数据研究院研究员。

主要研究领域为人工智能，机器学习，深度学习的优化方法，深度学习机制理论，大规模贝叶斯计算与优化理论，机器学习在交通大数据应用及计算机图形学中的应用等，在机器学习领域顶级期刊及会议有多篇文章发表，包括NIPS, ICML, ACL, AAAI及 ECML等。

相关论文

Wu, Lei, Zhanxing Zhu, and E. Weinan. "Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes." arXiv preprint arXiv:1706.10239 (2017).

https://arxiv.org/pdf/1706.10239.pdf

Zhu, Zhanxing, Jingfeng Wu, Lei Wu, Jinwen Ma, and Bing Yu. "The Regularization Effects of Anisotropic Noise in Stochastic Gradient Descent." arXiv preprint arXiv:1803.00195(2018).

报告9：深度学习中神经网络的可解释性

张拳石 上海交通大学约翰▪霍普克罗夫特计算机科学中心长聘教轨副教授

报告人简介：

见 http://qszhang.com/files/CV.pdf

相关论文

Zhang, Quanshi, Ying Nian Wu, and Song-Chun Zhu. "Interpretable convolutional neural networks." arXiv preprint arXiv:1710.00935 2, no. 3 (2017): 5.

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Interpretable_Convolutional_Neural_CVPR_2018_paper.pdf

Zhang, Quanshi, Ruiming Cao, Feng Shi, Ying Nian Wu, and Song-Chun Zhu. "Interpreting cnn knowledge via an explanatory graph." arXiv preprint arXiv:1708.01785 (2017).

https://arxiv.org/pdf/1708.01785.pdf

Zhang, Quanshi, Wenguan Wang, and Song-Chun Zhu. "Examining CNN Representations With Respect To Dataset Bias." (2018).

http://www.stat.ucla.edu/~sczhu/papers/Conf_2018/AAAI_2018_DNN_Learning_Bias.pdf

其中网络结构如下

Zhang, Quanshi, Ruiming Cao, Ying Nian Wu, and Song-Chun Zhu. "Mining object parts from cnns via active question-answering." In Proc IEEE Conf on Computer Vision and Pattern Recognition, pp. 346-355. 2017.

http://www.stat.ucla.edu/~sczhu/papers/Conf_2017/CVPR_2017_CNN_AOG_by_QA.pdf

网络结构如下

Zhang, Quanshi, Ruiming Cao, Ying Nian Wu, and Song-Chun Zhu. "Growing Interpretable Part Graphs on ConvNets via Multi-Shot Learning." In AAAI, pp. 2898-2906. 2017.

https://www.aaai.org/ocs/index.php/AAAI/AAAI17/paper/download/14909/14494

网络结构如下

Zhang, Quan-shi, and Song-Chun Zhu. "Visual interpretability for deep learning: a survey." Frontiers of Information Technology & Electronic Engineering 19, no. 1 (2018): 27-39.

https://arxiv.org/pdf/1802.00614.pdf

相关代码

https://github.com/zqs1022/interpretableCNN

https://github.com/zqs1022/explanatoryGraph

https://github.com/zqs1022/partGraphForCNN

报告10：Recent Advances in Random Matrix Theory for Neural Networks

廖振宇 巴黎中央理工大学博士

报告人简介

见 https://zhenyu-liao.github.io/

相关论文

Z. Liao, Y. Chitour, R. Couillet, “Almost Global Convergence to Global Minima for Gradient Descent in Deep Linear Networks”, (submitted to) The 32nd Annual Conference on Neural Information Processing Systems (NIPS 2018), Montréal, Canada, 2018.

https://zhenyu-liao.github.io/pdf/GDD_nips2018.pdf

Louart, Cosme, Zhenyu Liao, and Romain Couillet. "A random matrix approach to neural networks." The Annals of Applied Probability 28, no. 2 (2018): 1190-1248.

https://arxiv.org/pdf/1702.05419.pdf

参考资料

http://kjc.ahu.edu.cn/b9/ea/c12346a178666/page.htm

http://eeit.hnu.edu.cn/info/1205/2053.htm

https://isn.xidian.edu.cn/info/1003/2706.htm

http://auto.hust.edu.cn/info/1115/3685.htm

http://www.ncepu.edu.cn/xshd/112263.htm

http://web.xidian.edu.cn/syyang/

http://www.dl.pku.edu.cn/article/content/view?id=201

https://zhuanlan.zhihu.com/p/40097048