压缩感知重构算法之压缩采样匹配追踪(CoSaMP)

压缩采样匹配追踪(CompressiveSampling MP)是D. Needell继ROMP之后提出的又一个具有较大影响力的重构算法。CoSaMP也是对OMP的一种改进,每次迭代选择多个原子,除了原子的选择标准之外,它有一点不同于ROMP:ROMP每次迭代已经选择的原子会一直保留,而CoSaMP每次迭代选择的原子在下次迭代中可能会被抛弃

在这之前先读了下参考论文[1],论文前面还是看得懂一点的,讲了一些压缩感知的基础知识,还聊到了压缩重构方法主要分为三类,但是到了第2部分介绍算法的时候又看不懂了,感觉符号都还没聊清楚就开始讲流程了。佩服看得懂的博主,还说很容易就看懂了。。。希望自己好好努力也能看懂这些外文文献,fighting啦!

那么我先把论文中的流程贴出来,并没有对符号作过多的解释。。。  supp(x)表示x的支撑集 

然后在网上找到了符合论文中符号的代码。

function Sest = cosaomp(Phi,u,K,tol,maxiterations)
Sest = zeros(size(Phi,2),1);
v = u;
t = 1;
numericalprecision = 1e-12;
T = [];
while (t <= maxiterations) && (norm(v)/norm(u) > tol)
  y = abs(Phi'*v);
  [vals,z] = sort(y,'descend');
  Omega = find(y >= vals(2*K) & y > numericalprecision);
  T = union(Omega,T);
  b = pinv(Phi(:,T))*u;
  [vals,z] = sort(abs(b),'descend');
  Kgoodindices = (abs(b) >= vals(K) & abs(b) > numericalprecision);
  T = T(Kgoodindices);
  Sest = zeros(size(Phi,2),1);
  phit = Phi(:,T);
  b = pinv(phit)*u;
  Sest(T) = b;
  v = u - phit*b;
  t = t+1;
end

接下来综合代码我准备强行解释一波论文算法的伪代码流程,哎呀半懂半懂希望以后要全懂全懂。

1.Identification(识别)

大意是说要构造一个signal proxy,在伪代码中构造signal proxy是y=Phi*v,下图是从论文中摘出来的,突然明白了这段话的意思,首先翻译一下。信号重构的最大难点在于找到目标信号中这些最大项所在的位置。CoSaOMP受到RIP的启发,假设字典矩阵的RIP常数为远远小于1的一个值,对s稀疏的信号x,y=Phi*Phi x可以作为信号的一个代理。因为y的每一个s向量的结合的能量与信号x中s个向量的能量相对应。(我觉得这里的Phi应该是理解为字典矩阵的,因为计算内积的时候我们是选择将字典矩阵与残差相乘,残差初始化为观测向量也就是Phi*x)。这一步对应着代码的第8行。

接着是伪代码中所说的Identify large components,也就是找到内积值中最大的2K项,复制给Ω,对应上述代码的第10行。

2.Support Merger(合并支撑集)

代码第11行。

3.Estimation

这里是求解一个最小二乘问题,pinv是求伪逆矩阵。

“b|Tc←0”中的“Tc”应该是T的补集(complementary set),向量b的元素序号为全集,子集T对应的元素等于最小二乘解,补集对应的元素为零。

4.Pruning(修剪)

代码第13行,选出b中K个最大项。

5.Sample Update(更新)

强行解释结束了,接下来贴出博主的解释。

1、CoSaMP重构算法流程

步骤(5)稍微有点绕,综合代码理解一下还是不难的。

2、压缩采样匹配追踪(CoSaOMP)Matlab代码(CS_CoSaMP.m)

function [ theta ] = CS_CoSaMP( y,A,K ) 
%CS_CoSaOMP Summary of this function goes here 
%Created by jbb0523@@2015-04-29 
%Version: 1.1 modified by jbb0523 @2015-05-09 
%   Detailed explanation goes here 
%   y = Phi * x 
%   x = Psi * theta 
%   y = Phi*Psi * theta 
%   令 A = Phi*Psi, 则y=A*theta 
%   K is the sparsity level 
%   现在已知y和A,求theta 
%   Reference:Needell D,Tropp J A.CoSaMP:Iterative signal recovery from 
%   incomplete and inaccurate samples[J].Applied and Computation Harmonic  
%   Analysis,2009,26:301-321. 
    [y_rows,y_columns] = size(y); 
    if y_rows<y_columns 
        y = y';%y should be a column vector 
    end 
    [M,N] = size(A);%传感矩阵A为M*N矩阵 
    theta = zeros(N,1);%用来存储恢复的theta(列向量) 
    Pos_theta = [];%用来迭代过程中存储A被选择的列序号 
    r_n = y;%初始化残差(residual)为y 
    for kk=1:K%最多迭代K次 
        %(1) Identification 
        product = A'*r_n;%传感矩阵A各列与残差的内积 
        [val,pos]=sort(abs(product),'descend'); 
        Js = pos(1:2*K);%选出内积值最大的2K列 
        %(2) Support Merger 
        Is = union(Pos_theta,Js);%Pos_theta与Js并集 
        %(3) Estimation 
        %At的行数要大于列数,此为最小二乘的基础(列线性无关) 
        if length(Is)<=M 
            At = A(:,Is);%将A的这几列组成矩阵At 
        else%At的列数大于行数,列必为线性相关的,At'*At将不可逆 
            if kk == 1 
                theta_ls = 0; 
            end 
            break;%跳出for循环 
        end 
        %y=At*theta,以下求theta的最小二乘解(Least Square) 
        theta_ls = (At'*At)^(-1)*At'*y;%最小二乘解 
        %(4) Pruning 
        [val,pos]=sort(abs(theta_ls),'descend'); 
        %(5) Sample Update 
        Pos_theta = Is(pos(1:K)); 
        theta_ls = theta_ls(pos(1:K)); 
        %At(:,pos(1:K))*theta_ls是y在At(:,pos(1:K))列空间上的正交投影 
        r_n = y - At(:,pos(1:K))*theta_ls;%更新残差  
        if norm(r_n)<1e-6%Repeat the steps until r=0 
            break;%跳出for循环 
        end 
    end 
    theta(Pos_theta)=theta_ls;%恢复出的theta 
end 

3、CoSaMP单次重构测试代码

以下测试代码基本与OMP单次重构测试代码一样。

%压缩感知重构算法测试 
clear all;close all;clc; 
M = 64;%观测值个数 
N = 256;%信号x的长度 
K = 12;%信号x的稀疏度 
Index_K = randperm(N); 
x = zeros(N,1); 
x(Index_K(1:K)) = 5*randn(K,1);%x为K稀疏的,且位置是随机的 
Psi = eye(N);%x本身是稀疏的,定义稀疏矩阵为单位阵x=Psi*theta 
Phi = randn(M,N);%测量矩阵为高斯矩阵 
A = Phi * Psi;%传感矩阵 
y = Phi * x;%得到观测向量y 
%% 恢复重构信号x 
tic 
theta = CS_CoSaMP( y,A,K ); 
x_r = Psi * theta;% x=Psi * theta 
toc 
%% 绘图 
figure; 
plot(x_r,'k.-');%绘出x的恢复信号 
hold on; 
plot(x,'r');%绘出原信号x 
hold off; 
legend('Recovery','Original') 
fprintf('\n恢复残差:'); 
norm(x_r-x)%恢复残差  

运行结果如下:(信号为随机生成,所以每次结果均不一样)

 1)图:

2)Command  windows

      Elapsedtime is 0.073375 seconds.

      恢复残差:

      ans=

          7.3248e-015

4、测量数M与重构成功概率关系曲线绘制例程代码

以下测试代码基本与OMP测量数M与重构成功概率关系曲线绘制代码一样。增加了“fprintf('K=%d,M=%d\n',K,M);”,可以观察程序运行进度。

clear all;close all;clc; 
%% 参数配置初始化 
CNT = 1000;%对于每组(K,M,N),重复迭代次数 
N = 256;%信号x的长度 
Psi = eye(N);%x本身是稀疏的,定义稀疏矩阵为单位阵x=Psi*theta 
K_set = [4,12,20,28,36];%信号x的稀疏度集合 
Percentage = zeros(length(K_set),N);%存储恢复成功概率 
%% 主循环,遍历每组(K,M,N) 
tic 
for kk = 1:length(K_set) 
    K = K_set(kk);%本次稀疏度 
    M_set = 2*K:5:N;%M没必要全部遍历,每隔5测试一个就可以了 
    PercentageK = zeros(1,length(M_set));%存储此稀疏度K下不同M的恢复成功概率 
    for mm = 1:length(M_set) 
       M = M_set(mm);%本次观测值个数 
       fprintf('K=%d,M=%d\n',K,M); 
       P = 0; 
       for cnt = 1:CNT %每个观测值个数均运行CNT次 
            Index_K = randperm(N); 
            x = zeros(N,1); 
            x(Index_K(1:K)) = 5*randn(K,1);%x为K稀疏的,且位置是随机的                 
            Phi = randn(M,N)/sqrt(M);%测量矩阵为高斯矩阵 
            A = Phi * Psi;%传感矩阵 
            y = Phi * x;%得到观测向量y 
            theta = CS_CoSaMP(y,A,K);%恢复重构信号theta 
            x_r = Psi * theta;% x=Psi * theta 
            if norm(x_r-x)<1e-6%如果残差小于1e-6则认为恢复成功 
                P = P + 1; 
            end 
       end 
       PercentageK(mm) = P/CNT*100;%计算恢复概率 
    end 
    Percentage(kk,1:length(M_set)) = PercentageK; 
end 
toc 
save CoSaMPMtoPercentage1000 %运行一次不容易,把变量全部存储下来 
%% 绘图 
S = ['-ks';'-ko';'-kd';'-kv';'-k*']; 
figure; 
for kk = 1:length(K_set) 
    K = K_set(kk); 
    M_set = 2*K:5:N; 
    L_Mset = length(M_set); 
    plot(M_set,Percentage(kk,1:L_Mset),S(kk,:));%绘出x的恢复信号 
    hold on; 
end 

本程序运行结果:

最后摘出文献[4]中关于ROMP优缺点的分析:

ROMP 算法虽具有贪婪算法的速度以及凸优化算法的强有力的理论保证,但其与StOMP 算法一样,对稀疏度K 的依赖性太大,稀疏度估计的准确与否,将会影响到算法的收敛性、收敛速度、鲁棒性以及重构信号的性能。针对此缺点,提出了正则化自适应匹配追踪( Regularized adaptive matching pursuit,RAMP) 算法,该算法将ROMP 算法进行改进,引入回溯的思想,自适应调节候选集原子的数目。

CoSaMP 算法为了提高算法的收敛速度和算法效率,通过回溯的思想从原子库里选择多个相关原子同时剔除部分不相关原子。设算法的迭代步长为K,候选集中最多有3K 个原子,每次最多剔除K个原子,以保证支撑集中有2K 个原子。CoSaMP 算法虽结合了组合算法的思想保证了算法的收敛速度,而且提供了严格的误差界,但其与ROMP 算法一样需要已知信号的稀疏度K。然而实际应用中的信号往往是近似稀疏的,其稀疏度K需要去估计。如果低估了K 的值,算法精确重构的能力会下降甚至可能会消除,导致算法不再收敛;若高估了K 的值,算法的鲁棒性和重构精度都将会下降,使得重构的信号的误差增大,导致最终重构得到的信号失真。此外,CoSaMP 算法每步迭代时增加与剔除原子所依据的原则不一样,增加原子时依据的是原子与余量的相关性原则,剔除原子时依据的是重构信号的大小,标准的不同可能会导致对支撑集的估计不准确。针对第一个问题,仍可以采取改变信号的稀疏度,多次运行,使得重构精度最高的稀疏度即作为信号的稀疏度的思想,也可以引入回溯思想自适应选择原子。针对第二个问题,可以改变剔除原子的标准,采用依据原子与余量的相关性原则,剔除相关性小的原子,使得每步迭代时增加与剔除原子所依据的标准一样。

参考文献:

[1]D. Needell, J.A. Tropp.CoSaMP: Iterative signal recoveryfrom incomplete and inaccurate samples.http://arxiv.org/pdf/0803.2392v2.pdf

[2]D.Needell, J.A. Tropp.CoSaMP: Iterative signal recoveryfrom incomplete and inaccurate samples[J]. Communications of theACM,2010,53(12):93-100.

(http://dl.acm.org/citation.cfm?id=1859229)

[3] 彬彬有礼.压缩感知重构算法之压缩采样匹配追踪(CoSaMP).

[4] 杨真真,杨震,孙林慧.信号压缩重构的正交匹配追踪类算法综述[J]. 信号处理,2013,29(4):486-496.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

教你几招搞定 LSTMs 的独门绝技(附代码)

如果你用过 PyTorch 进行深度学习研究和实验的话,你可能经历过欣喜愉悦、能量爆棚的体验,甚至有点像是走在阳光下,感觉生活竟然如此美好 。但是直到你试着用 ...

69710
来自专栏人工智能

从零开始学人工智能-Python·决策树·简介

决策树是听上去比较厉害且又相对简单的算法,但在实现它的过程中可能会对编程本身有更深的理解、尤其是对递归的利用 我个人的习惯是先说明最终能干什么、然后再来说怎么实...

22660
来自专栏机器之心

谷歌开放GNMT教程:如何使用TensorFlow构建自己的神经机器翻译系统

选自谷歌 机器之心编译 参与:机器之心编辑部 近日,谷歌官方在 Github 开放了一份神经机器翻译教程,该教程从基本概念实现开始,首先搭建了一个简单的NMT模...

60360
来自专栏深度学习自然语言处理

实例讲解决策树分类器

决策树是一种简单高效并且具有强解释性的模型,广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树,如:

12040
来自专栏人工智能

神经张量网络:探索文本实体之间的关系

在这篇文章中,我将介绍神经张量网络(NTN),如在用神经张量网络推理知识库的推理中所描述的那样 。我的NTN实现使用最新版本的Python 2.7,Keras...

96000
来自专栏月色的自留地

从锅炉工到AI专家(10)

29850
来自专栏人工智能

在线手写识别的多卷积神经网络方法

本文所描述的研究主要关注在线手写体识别系统中的单词识别技术。该在线手写体识别系统使用多组件神经网络(multiple component neural netw...

1.5K70
来自专栏数据科学

数据科学家的工具箱教程

非常实用,不扯任何理论概念 不包含python基础教程,numpy pandas等常见已经中文化很好的部分知识。

33340
来自专栏技术随笔

[福利] 深入理解 RNNs & LSTM 网络学习资料图解

77590
来自专栏闪电gogogo的专栏

压缩感知重构算法之子空间追踪(SP)

SP的提出时间比CoSaMP提出时间稍晚一些,但和压缩采样匹配追踪(CoSaMP)的方法几乎是一样的。SP与CoSaMP主要区别在于“In each itera...

21970

扫码关注云+社区

领取腾讯云代金券