语音增强-----互补联合字典学习介绍_互补联合稀疏表示

生成性字典学习

考虑加性噪声情况下，对于单通道语音增强来说，其信号模型可以表示为
$$x\left(t\right)=s\left(t\right)+n\left(t\right)$$
经过STFT写成幅度谱的表示形式为
$$\mathbf{X}=\mathbf{S}+\mathbf{N}$$
利用近似K-SVD算法（稀疏表示的算法改为LARC算法）对已有的干净语言训练样本${\mathbf{S}}^{train}$和噪声训练样本${\mathbf{N}}^{train}$进行学习，得到干净语音字典${\mathbf{D}}_S$和噪声字典${\mathbf{D}}_N$，将其组合成一个总字典$\mathbf{D}=\left[{\mathbf{D}}_S,{\mathbf{D}}_N\right]$。
在降噪阶段，对测试带噪语言可以表示为
X t e s t = D × C = [ D S , D N ] × [ C S C N ] {{\mathbf{X}}^{test}}=\mathbf{D}\times \mathbf{C}=\left[ {{\mathbf{D}}_{S}},{{\mathbf{D}}_{N}} \right]\times \left[

$$\begin{matrix} { {\mathbf{C}}_{S}} \\ { {\mathbf{C}}_{N}} \\ \end{matrix}$$ \right] Xtest=D×C=[DS​,DN​]×[CS​CN​​]
因此，利用LARC算法，对带噪语音进行稀疏表示，可以求得其在两个字典上的稀疏表示系数${\mathbf{C}}_S^{test}$和${\mathbf{C}}_N^{test}$，从而得到增强后的语音幅度谱
$$\hat{\mathbf{S}}={\mathbf{D}}_S\times {\mathbf{C}}_S^{test}$$
对增强后的语音幅度谱$\hat{\mathbf{S}}$乘以带噪信号的相位后进行ISTFT即可增强后的时域语音信号.
具体过程可以表示为

互补联合字典学习

由于带噪语音和干净语音或者噪声之间存在包含与被包含的关系，即前者与后者存在着一定的映射关系，那么可以考虑基于联合训练字典的方法来进行语音增强。
在训练阶段，将带噪语音和干净语音联合训练
$$\underset{{\mathbf{D}}_s,{\mathbf{D}}_{x1},{\mathbf{C}}_1}{\min }{\Vert \mathbf{X}-{\mathbf{D}}_{x1}{\mathbf{C}}_1\Vert }_F^2\text{+}{\Vert \mathbf{S}-{\mathbf{D}}_s{\mathbf{C}}_1\Vert }_F^{2}s.t.f\left({\mathbf{C}}_1\right)\le \mu$$
其中${\mathbf{D}}_{x1}$与${\mathbf{D}}_s$分别为带噪语音字典和干净语音字典，${\mathbf{C}}_1$为相同的稀疏表示系数，$f\left({\mathbf{C}}_1\right)$表示对${\mathbf{C}}_1$的稀疏约束，$\mu$为稀疏约束阈值。
带噪语音和噪声联合训练
$$\underset{{\mathbf{D}}_n,{\mathbf{D}}_{x2},{\mathbf{C}}_2}{\min }{\Vert \mathbf{X}-{\mathbf{D}}_{x2}{\mathbf{C}}_2\Vert }_F^2+{\Vert \mathbf{N}-{\mathbf{D}}_n{\mathbf{C}}_2\Vert }_F^{2}s.t.f\left({\mathbf{C}}_2\right)\le \mu$$
${\mathbf{D}}_{x2}$与${\mathbf{D}}_n$分别为带噪语音字典和噪声字典，${\mathbf{C}}_2$为相同的稀疏表示系数。
更进一步地，可以表示为
min ⁡ D s , D x 1 , C 1   ∥ [ X S ] − [ D x 1 D s ] C 1 ∥ F 2 s . t .   f ( C 1 ) ≤ μ \underset{{{\mathbf{D}}_{s}},{{\mathbf{D}}_{x1}},{{\mathbf{C}}_{1}}}{\mathop{\min }}\,\left\| \left[

$$\begin{matrix} \mathbf{X} \\ \mathbf{S} \\ \end{matrix}$$ \right]-\left[ $$\begin{matrix} { {\mathbf{D}}_{x1}} \\ { {\mathbf{D}}_{s}} \\ \end{matrix}$$ \right]{{\mathbf{C}}_{1}} \right\|_{F}^{2}s.t.\text{ }f\left( {{\mathbf{C}}_{1}} \right)\le \mu Ds​,Dx1​,C1​min​∥∥∥∥​[XS​]−[Dx1​Ds​​]C1​∥∥∥∥​F2​s.t. f(C1​)≤μ
$$\underset{{\mathbf{D}}_n,{\mathbf{D}}_{x2},{\mathbf{C}}_2}{\min }{\Vert \left[\begin{array}{c}\mathbf{X}\\ \mathbf{N}\end{array}\right]-\left[\begin{array}{c}{\mathbf{D}}_{x2}\\ {\mathbf{D}}_n\end{array}\right]{\mathbf{C}}_2\Vert }_F^{2}s.t.f\left({\mathbf{C}}_2\right)\le \mu$$
利用近似K-SVD算法更新字典，利用LARC算法进行稀疏表示，交替迭代求解最终得到两组字典${\mathbf{D}}_{x1}$和${\mathbf{D}}_s$、${\mathbf{D}}_{x2}$和${\mathbf{D}}_n$。
在增强阶段，用训练得到的两组联合字典${\mathbf{D}}_{x1}$和${\mathbf{D}}_s$、${\mathbf{D}}_{x2}$和${\mathbf{D}}_n$，我们对测试的带噪语音${\mathbf{X}}^{test}$进行两路的稀疏表示
$${\mathbf{E}}_1^{\ast }=\arg \underset{{\mathbf{E}}_1}{\min }{\Vert {\mathbf{X}}^{test}-{\mathbf{D}}_{x1}{\mathbf{E}}_1\Vert }_F^{2}s.t.f\left({\mathbf{E}}_1\right)\le \mu$$
$${\mathbf{E}}_2^{\ast }=\arg \underset{{\mathbf{E}}_2}{\min }{\Vert {\mathbf{X}}^{test}-{\mathbf{D}}_{x2}{\mathbf{E}}_2\Vert }_F^{2}s.t.f\left({\mathbf{E}}_2\right)\le \mu$$
那么，可以得到两路信号
$${\hat{\mathbf{S}}}_1^{test}={\mathbf{D}}_s{\mathbf{E}}_1^{\ast }$$
$${\hat{\mathbf{N}}}_2^{test}={\mathbf{D}}_n{\mathbf{E}}_2^{\ast }$$
由于考虑的是加性噪声模型，那么
$${\hat{\mathbf{N}}}_1^{test}={\mathbf{X}}^{test}-{\hat{\mathbf{S}}}_1^{test}$$
$${\hat{\mathbf{S}}}_2^{test}={\mathbf{X}}^{test}-{\hat{\mathbf{N}}}_2^{test}$$
对两路信号进行加权
$${\hat{\mathbf{S}}}^{test}=(1-\alpha ){\hat{\mathbf{S}}}_1^{test}+\alpha {\hat{\mathbf{S}}}_2^{test}$$
$${\hat{\mathbf{N}}}^{test}=(1-\alpha ){\hat{\mathbf{N}}}_1^{test}+\alpha {\hat{\mathbf{N}}}_2^{test}$$
构造时频域上的维纳滤波器
$$\mathbf{M}=\frac{{\left({\hat{\mathbf{S}}}^{test}\right)}^2}{{\left({\hat{\mathbf{S}}}^{test}\right)}^2+{\left({\hat{\mathbf{N}}}^{test}\right)}^2}$$
得到增强后的语音幅度谱
$${\tilde{\mathbf{S}}}^{test}=\mathbf{M}\odot {\mathbf{X}}^{test}$$
对增强后的语音幅度$\hat{\mathbf{S}}$乘以带噪信号的相位后进行ISTFT即可增强后的时域语音信号。
具体过程可以表示为

下面对上述几种方法进行仿真，其中加权系数$\alpha =0$时，将其称作为JDL0，加权系数$\alpha =1$时，将其称为JDL1。

仿真参数设置

GDL算法的结果如下：

从图中可以看出，经过GDL算法处理后的增强后的语音有了明显的改善，但在细节方面仍存在一些不足。

JDL1算法结果：

从实验结果来看，虽然有一定的效果，但是效果有很大的不足，这是因为，直接利用估计的噪声进行语音增强，显然噪声的信息远不如信号的信息重要，直接利用噪声进行语音增强则会存在较大的误差。

JDL0结果如下：

从结果来看，效果较JDL1有很大的改善，这也验证了上述说法的正确性。
当然这里只给出了两种极端的$\alpha$值，没有很好地利用信号或者是噪声的信息，比如有利用归一化残留分量、基尼系数、自适应权系数等进行加权的，则会取得更好的效果，这里就不再叙述。

关于语音及噪声文件，具体请参考：语音信号处理常用语料库下载地址

参考文献：
[1]罗友. 基于联合字典学习和稀疏表示的语音降噪算法研究[D].中国科学技术大学,2016.
[2]Y. Zhu, J. Fu, X. Xu and Z. Ye, “Modified Complementary Joint Sparse Representations: A Novel Post-Filtering to MVDR Beamforming,” 2019 IEEE International Workshop on Signal Processing Systems (SiPS), 2019, pp. 1-6, doi: 10.1109/SiPS47522.2019.9020522.
[3]Y. Luo, G. Bao, Y. Xu and Z. Ye, “Supervised Monaural Speech Enhancement Using Complementary Joint Sparse Representations,” in IEEE Signal Processing Letters, vol. 23, no. 2, pp. 237-241, Feb. 2016, doi: 10.1109/LSP.2015.2509480.
[4]贾海蓉,王卫梅,王雁,裴俊华.区分性联合稀疏字典交替优化的语音增强[J].西安电子科技大学学报,2019,46(03):74-81.
[5]孙林慧,吴子皓,谢可丽,李平安.基于双层字典学习的单通道语音增强方法[J].信号处理,2020,36(06):1001-1012.