开山-机器学习(1)多视角数据表示的多样非负矩阵分解

前言:这是一篇讲的论文,以下内容是基于个人理解写的,从简单的NMF讲到论文的多视角方法,由于之前做了PPT所以以下图片可能比较多,图片建议点开放大看。

论文名称 Diverse Non-Negative Matrix Factorization for Multiview Data Representation

目录

1.矩阵分解

1.2.1NMF简介

1.2.2NMF最小化目标函数

1.2.3不同损失的乘法更新规则

1.2.4乘法更新规则和梯度下降是等价的

1.2.5非负矩阵分解及参数更新举例

1.1传统矩阵分解

1.2非负矩阵分解

2.论文讲述-多视角的非负矩阵

2.1论文的主要工作

2.2论文的主要目的

2.3DiNMF多样非负矩阵分解

2.4DiNMF的算法

2.5DiNMF算法及更新举例

2.6DiNMF改进LP-DiNMF

1.矩阵分解

1.1传统矩阵分解

矩阵分解在很多领域获得了广泛的应用.

在应用统计学领域, 通过矩阵分解得到原数据矩阵的低秩逼近, 从而可以发现数据的内在结构特征.

1.2非负矩阵分解

选择非负矩阵分解原因

在数学上,从计算的观点看,分解结果存在负值是正确的,但负值元素在实际结果往往没有意义,例如图像数据没有负值像素点。

1.2.1NMF简介

NMF分解的目的是为非负矩阵V,寻找适当的非负基矩阵W和非负系数矩阵H,使它们的乘积近似于原始非负矩阵V,可写为如下形式:

1.2.2NMF最小化目标函数

1.对于平方距离的损失函数

2.对于KL散度的损失函数

1.2.3不同损失的乘法更新规则

1.对于平方距离的损失函数

2.对于KL散度的损失函数

1.2.4乘法更新规则和梯度下降是等价的

乘法规则主要是为了计算的过程中保证非负,而基于 梯度下降的方法中加减运算无法保证非负,其实上述乘法更新规则与基于梯度下降的算法是等价的,下面以平方距离为损失函数说明上述过程的等价性。

1.2.5非负矩阵分解及参数更新举例

利用乘法更新规则更新

2.论文讲述-多视角的非负矩阵

2.1论文的主要工作

文章主要完成四件事

2.2论文的主要目的

1.传统非负矩阵分解

这些方法一个主要的局限是多视角学习的数据表示有相互冗余信息,且缺乏不同的信息。利用由多视角分享的共同信息而忽略了多视角的差异性。

2.DiNMF

DiNMF能通过数据表示捕捉到不同的信息。最后H*不仅有有已经存在方法捕捉到的共同的信息,还保存了不同视角的独特信息,因此更加综合和精确。

2.3DiNMF多样非负矩阵分解

DiNMF相比普通矩阵分解如何提取特征呢?

一个让人满意的多视角非负矩阵分解方法需满足两个条件:

1.为了学习的综合性和精确性,能够通过多视角数据表示开拓不同的信息

2.当数据和唯独很大时,是可伸缩的

——–文章使用L0范式、L1范式来保证差异

2.4DiNMF的算法

算法流程和初始化

2.5DiNMF算法及更新举例

迭代方法和之前的非负矩阵分解类似,假设目前已经得到优化后H

2.6DiNMF改进LP-DiNMF

提出改进的原因是为了揭露隐藏的语义并关注内在的几何结构,找到一个紧凑的表示。下式利用了图正则的思想,考虑了数据集携带的几何信息。

后记:

努力不会徒劳,伟大并非凑巧。最近因为一些事,也有些感慨,下面是三毛的一句话,

刻意去找的东西,往往是找不到的。天下万物的来和去,都有他的时间。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180516G029UW00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券