稀疏表示求解：OMP（The Orthogonal Matching Pursuit Algorithm）_omp algorithm

稀疏表示求解：OMP（The Orthogonal Matching Pursuit Algorithm）

---

---

一、一些定义与原理

1. $L_0$范数

定义为向量中非零元素的个数，用于描述向量的稀疏程度。

2. $L_0$范数约束的稀疏表示问题描述（OMP求解目标）

问题描述如下：
$$\underset{x}{\min }||x|{|}_0,s.t.Ax=b$$
对于稀疏表示这一特定应用，该公式可解释为找到最稀疏的$x$（通过$L_0$范数作为罚项约束），使得$b$能够在特定的矩阵$A$下（稀疏表示任务中称$A$为字典）被$x$表示。我们的目的是求解稀疏系数$x$。

3. $L_0$范数约束的稀疏表示问题的求解是NP难的

引入一个概念:矩阵$A$的spark，即矩阵中最小的线性相关组中列向量的个数。
具体来说，如下矩阵的rank为4，而spark为3（即标红的三列是线性相关的，也是最小的线性相关列向量组）。
如果想要了解spark在压缩感知中的应用，可以去搜一下。
根据Michael Elad等人的证明：当且仅当$spark(A)>2k$时，可以通过上述最小0范数优化问题得到稀疏系数$x$的精确近似。我们可以直观想象一下spark的求解过程：
首先明确，$spark>=2$，存在两个向量相等的情况时取等号。
进而，从$n=2$开始搜索所有的列向量组合，直到第$n=N$次时某一组合中的向量线性相关，则$spark=N$。
显然这种搜索所有可能性的方法由于矩阵$A$庞大的列向量个数（过完备性），使得很难在多项式时间内得到问题的解。因此研究者们致力于如何优化最小0范数优化问题的求解。
具体来说，如果矩阵$A$有2000列，$N=15$的话，则需要大约$7.5\times 10^{20}$年来求解。

---

二、OMP算法

1. 引入残差（residual）

根据上述最小0范数优化问题描述，可以对$Ax=b$限制不那么严格，引入如下误差：
$$r_k=b-A{x}_k$$
OMP的原理就是选择下一个非零值$x$，以尽可能减少残差$r_k$使得$Ax$更接近于$b$。这就将最小0范数优化问题转化为了一个迭代求解问题。

2. 具体步骤

借用一下Elad大佬的