深度学习降维过程中的信息损失度量研究

深度学习降维过程中的信息损失度量研究

石志国，杨志勇

北京科技大学

深度学习是当前智能识别、数据挖掘等领域最重要的研究方向，通过组合低层特征，形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示.数据降维是深度学习过程中最为常见的一种过程，通过降维，能够去除数据间的相关性，便于提取更为有用的数据特征，提升识别率，加快识别速度.数据降维过程中，必然导致数据信息的损失，如何统计运用这个信息损失，目前还少有相关文献进行研究.通过对栈式自编码器深度学习算法进行研究，提出一种深度学习降维信息损失度量方法，将香农信息理论运用到降维信息损失度量中，计算深度学习降维过程中信息损失量，并研究其与算法性能的关系，为深度学习算法的改进提供数据支撑.

小型微型计算机系统

2017, 38(7): 1590-1594

作者简介石志国，男，1964年生，博士，副教授，CCF会员，研究方向为并行计算与机器学习； 杨志勇，男，1991年生，硕士，研究方向为深度学习、图像识别.

http://xwxt.sict.ac.cn/CN/Y2017/V38/I7/1590