互信息的原理、计算和应用_互信息损失函数

Mutual Information 互信息

Background

熵 Entropy

在信息论中，熵是给定概率下的最佳编码方法^[1]
H ( x ) = − E x [ log ⁡ p ( x ) ] = − ∑ x p ( x ) log ⁡ p ( x ) = − ∫ p ( x ) log ⁡ p ( x )

$$\begin{aligned} H(x)&=-\mathbb{E}_x[\log{p(x)}]\\ &=-\sum_x{p(x)\log{p(x)}}\\ &=-\int{p(x)\log{p(x)}} \end{aligned}$$ H(x)​=−Ex​[logp(x)]=−x∑​p(x)logp(x)=−∫p(x)logp(x)​

交叉熵 Cross Entropy

从信息论的角度看，交叉熵是用本来为$q(x)$事件编码的规则来对一个全新的事件$p(x)$
H ( p , q ) = − E x ∼ p ( x ) [ q ( x ) ] = − ∑ x p ( x ) log ⁡ q ( x ) = − ∫ x p ( x ) log ⁡ q ( x )

$$\begin{aligned} H(p,q)&=-\mathbb{E}_{x\sim p(x)}[q(x)]\\ &=-\sum_x{p(x)\log{q(x)}}\\ &=-\int_x{p(x)\log{q(x)}} \end{aligned}$$ H(p,q)​=−Ex∼p(x)​[q(x)]=−x∑​p(x)logq(x)=−∫x​p(x)logq(x)​
显然由于对$p(x)$采用了其他的编码方式，有$H(p,p)<H(p,q)$。采用其他编码方式造成的资源浪费就定义为KL-散度(KL-divergence)，也叫相对熵
$$D_{KL}=H(p,q)-H(p)$$

条件熵 Conditional Entropy

条件熵是指已知某个变量$Z$之后，变量$X$的熵
H ( X ∣ Z ) = − E x , z [ p ( x ∣ z ) ] = − ∑ x , z p ( x , z ) log ⁡ p ( x ∣ z ) = − ∫ x , z p ( x , z ) log ⁡ p ( x ∣ z )

$$\begin{aligned} H(X|Z)&=-\mathbb{E}_{x,z}[p(x|z)]\\ &=-\sum_{x,z}{p(x,z)\log{p(x|z)}}\\ &=-\int_{x,z}{p(x,z)\log{p(x|z)}} \end{aligned}$$ H(X∣Z)​=−Ex,z​[p(x∣z)]=−x,z∑​p(x,z)logp(x∣z)=−∫x,z​p(x,z)logp(x∣z)​

显然$H(X)>H(X|Z)$。

KL-散度 KL-divergence

D K L ( p ( x ) ∣ ∣ q ( x ) ) = H ( p ∣ q ) − H ( p ) = ∑ x p ( x ) log ⁡ p ( x ) q ( x ) = ∫ p ( x ) log ⁡ p ( x ) q ( x )

$$\begin{aligned} D_{KL}{(p(x)||q(x))} &= H(p|q)-H(p)\\ &=\sum_x{p(x)\log{\frac{p(x)}{q(x)}}}\\ &=\int{p(x)\log{\frac{p(x)}{q(x)}}} \end{aligned}$$ DKL​(p(x)∣∣q(x))​=H(p∣q)−H(p)=x∑​p(x)logq(x)p(x)​=∫p(x)logq(x)p(x)​​

KL-散度可以看成是两个概率分布之间的度量，需要注意的是它没有对称性，并且$D_{K}L(p(x)||q(x))\ge 0$^[4]。(Appendix A.)

定义

互信息量化了两个随机变量X和Z之间的相关性^[2]
I ( X ; Z ) = D K L ( P X Z ∣ ∣ P X ⊗ P Z ) = ∫ X × Z log ⁡ d P X Z d P X ⊗ P Z d P X Z

$$\begin{aligned} I(X;Z)&=D_{KL}(\mathbb{P}_{XZ}||\mathbb{P}_X\otimes\mathbb{P}_Z)\\ &=\int_{\mathcal{X}\times\mathcal{Z}}{\log{\frac{d\mathbb{P}_{XZ}}{d\mathbb{P}_X\otimes\mathbb{P}_Z}d\mathbb{P}_{XZ}}} \end{aligned}$$ I(X;Z)​=DKL​(PXZ​∣∣PX​⊗PZ​)=∫X×Z​logdPX​⊗PZ​dPXZ​​dPXZ​​
其中${\mathbb{P}}_{XZ}$是联合概率分布，${\mathbb{P}}_X={\int }_{\mathcal{Z}}d{\mathbb{P}}_{XZ}$与${\mathbb{P}}_Z={\int }_{\mathcal{X}}d{\mathbb{P}}_{XZ}$边缘分布函数，也就是说互信息可以看成联合概率分布和边缘概率分布之积的距离。

互信息也可以理解为在已知变量$Z$的情况下，表示变量$X$所节省的资源
$$I(X;Z)=H(x)-H(X|Z)$$
与相关系数不同的是，互信息更倾向于捕捉非线形的关系。但是，一般情况下的互信息是很难计算的，因为变量X和Z的概率分布难以获得。

计算方法

Variational approach^[3]

考虑到$D_{KL}(p(x|y)||q(x|y))\ge 0$，则
$$\sum _{x}p(x|y)\log p(x|y)-p(x|y)\log q(x|y)\ge 0$$
那么可以得到
I ( x , y ) = H ( x ) − H ( x ∣ y ) = H ( x ) − ∑ y p ( y ) ∑ x p ( x ∣ y ) log ⁡ p ( x ∣ y ) ≥ H ( x ) + ∑ y p ( y ) ∑ x p ( x ∣ y ) log ⁡ q ( x ∣ y ) = H ( x ) + E x , y ∼ p ( x , y ) [ log ⁡ q ( x ∣ y ) ] = d e f I ~ ( x , y )

$$\begin{aligned} I(x,y)&=H(x)-H(x|y)\\ &=H(x)-\sum_y{p(y)\sum_x{p(x|y)\log{p(x|y)}}}\\ &\geq H(x)+\sum_y{p(y)\sum_x{p(x|y)\log{q(x|y)}}}\\ &=H(x)+\mathbb{E}_{x,y\sim p(x,y)}[\log{q(x|y)}]\\ &\overset{\rm{def}}{=}\tilde{I}(x,y) \end{aligned}$$ I(x,y)​=H(x)−H(x∣y)=H(x)−y∑​p(y)x∑​p(x∣y)logp(x∣y)≥H(x)+y∑​p(y)x∑​p(x∣y)logq(x∣y)=H(x)+Ex,y∼p(x,y)​[logq(x∣y)]=defI~(x,y)​

只要不断的推进$\tilde{I}(x,y)$的边界，就能得到互信息的估计值。假设估计的目标为$p(y|x,\theta )$，与EM算法类似，IM算法进行以下迭代

1. 固定$q(x|y)，{\theta }^{new}=\arg {\max }_{\theta }[\tilde{I}(x,y)]$
2. 固定$\theta ，q^{new}=\arg {\max }_{(q(x|y)\in Q)}\tilde{I}(x,y)$

其中$Q$是特定的概率分布，可以方便$E_{(x,y\sim p(x,y)})[\log q(x|y)]$的计算，一般情况下选为高斯分布。

Mutual Information Neural Estimation, MINE^[5]

根据KL散度的Donsker-Varadhan表示
$$D_{KL}(\mathbb{P}||\mathbb{Q})=\underset{T:\Omega \to \mathbb{R}}{\sup }{\mathbb{E}}_{\mathbb{P}}[T]-\log {\mathbb{E}}_{\mathbb{Q}}[e^T]$$
不断推进这个函数的上界就可以得到KL-散度的估计值。 (Appendix B.)

其中$\theta$就是神经网络的参数。

DEEP INFOMAX^[6]

1. 同时优化计算互信息的网络参数$\omega$和生成器的参数$\psi$
   $$(\hat{\omega },\hat{\psi })=\arg \underset{\omega ,\psi }{\max }{\hat{I}}_{\omega }(X,E_{\psi }(X))$$
   因为同时对$\omega ,\psi$进行优化，因此可以让编码器E和互信息的估计网络T共享某些神经网络层，即$E_{\psi }=f_{\psi }\circ C_{\psi }$，$T_{\omega ,\psi }=D_{\omega }\circ g\circ (C_{\psi },E_{\psi })$

2. 可以使用非KL-散度对互信息进行估计，比如Jenson-Shannon估计
   $${\hat{I}}_{\omega ,\psi }^{(\mathrm{J}\mathrm{S}\mathrm{D})}:={\mathbb{E}}_{\mathbb{P}}[-\mathrm{s}\mathrm{p}(-T_{\omega ,\psi }(x,E_{\psi }(x)))]-{\mathbb{E}}_{\mathbb{P}\times \tilde{\mathbb{P}}}[\mathrm{s}\mathrm{p}(T_{\omega ,\psi }(x,E_{\psi }(x)))]$$
   其中$\mathrm{s}\mathrm{p}(z)=\log (1+e^z),x\sim P,x^{\prime }\sim \tilde{P}$。

   或者噪音对比估计Noise-Contrastive Estimation (NCE)
   $${\hat{I}}_{\omega ,\psi }^{(\mathrm{i}\mathrm{n}\mathrm{f}\mathrm{o}NCE)}:={\mathbb{E}}_{\mathbb{P}}[T_{\omega ,\psi }(x,E_{\psi }(x))-{\mathbb{E}}_{\tilde{\mathbb{P}}}[\log \sum _{x^{\prime }}{e}^{T_{\omega ,\psi }(x^{\prime },E_{\psi }(x))}]]$$

应用

迁移学习

不仅利用老师网络的logits层和标签进行调整，还利用中间层之间的互信息^[7]。由变分法可知
I ( t ; s ) = H ( t ) − H ( t ∣ s ) ≥ H ( t ) + E t , s [ log ⁡ q ( t ∣ s ) ]

$$\begin{aligned} I(t;s)&=H(t)-H(t|s)\\ &\geq H(t)+\mathbb{E}_{t,s}[\log{q(t|s)}] \end{aligned}$$ I(t;s)​=H(t)−H(t∣s)≥H(t)+Et,s​[logq(t∣s)]​
则模型的损失函数变为
$$\tilde{\mathcal{L}}={\mathcal{L}}_S-\sum _{k=1}^K{\lambda }_k{\mathbb{E}}_{t^{(k)},s^{(k)}}[\log q(t^{(k)}|s^{(k)})]$$

强化学习+迁移学习^[8]

强化学习迁移的一个阻碍是，两个不同任务之间的动作空间、状态空间等不一致。通过互信息可以对不同任务的空间进行转化，达到迁移强化学习的目的

最终的损失函数由三部分组成
L c o u p l i n g = − 1 N π ∑ j = 1 N π log ⁡ p θ j − 1 N V ∑ j = 1 N V log ⁡ p ψ j L P P O = L P P O θ + L P P O ψ L M I ( ϕ , ω ) = − E s ∼ ρ π θ [ log ⁡ q ω ( s ∣ ϕ ( s ) ) ]

$$\begin{aligned} \mathcal{L}_{\rm coupling}&=-\frac{1}{N_{\pi}}\sum_{j=1}^{N_{\pi}}{\log{p_{\theta}^j}}-\frac{1}{N_V}\sum_{j=1}^{N_V}{\log{p_{\psi}^j}}\\ \mathcal{L}_{\rm PPO}&=\mathcal{L}_{\rm PPO}^{\theta}+\mathcal{L}_{\rm PPO}^{\psi}\\ \mathcal{L}_{ {\rm MI}(\phi,\omega)}&=-\mathbb{E}_{s\sim \rho_{\pi_{\theta}}}[\log{q_{\omega}(s|\phi(s))}] \end{aligned}$$ Lcoupling​LPPO​LMI(ϕ,ω)​​=−Nπ​1​j=1∑Nπ​​logpθj​−NV​1​j=1∑NV​​logpψj​=LPPOθ​+LPPOψ​=−Es∼ρπθ​​​[logqω​(s∣ϕ(s))]​

自监督学习^[6]

通过正负采样样本之间的互信息和图片的空间信息，网络在无监督的情况下学习图片深层的信息。

References

1. http://colah.github.io/posts/2015-09-Visual-Information/
2. Mutual Information Neural Estimation. https://arxiv.org/pdf/1801.04062.pdf
3. The IM Algorithm: A variational approach to Information Maximization. http://aivalley.com/Papers/MI_NIPS_final.pdf
4. https://zhuanlan.zhihu.com/p/39682125
5. https://arxiv.org/pdf/1801.04062.pdf
6. Learning Deep Representation By Mutual Information Estimation and Maximization. https://arxiv.org/pdf/1808.06670.pdf
7. Variational Information Distillation for Knowledge Transfer. https://openaccess.thecvf.com/content_CVPR_2019/papers/Ahn_Variational_Information_Distillation_for_Knowledge_Transfer_CVPR_2019_paper.pdf
8. Mutual Information Based Knowledge Transfer Under State-Action Dimension Mismatch. https://arxiv.org/pdf/2006.07041.pdf

Appendix

A.

$D_{KL}(p(x)||q(x))\ge 0$

设$f(x)\ge 0且{\int }_{x}f(x)=1$ ，$g$为任意可测实函数且$\phi$为凸函数，则有Jensen不等式如下
$$\phi \left({\int }_{x}g(x)f(x)\right)\le {\int }_x\phi (g(x))f(x)$$
注意到$-\ln x$为严格凸函数，且$q(x)\ge 0,{\int }_{x}q(x)=1$。令$\phi (x)=-\ln x,g(x)=\frac{q(x)}{p(x)},f(x)=p(x)$，则
$$D_{KL}(p||q)={\int }_{x}p(x)\left[-\ln \frac{q(x)}{p(x)}\right]\ge -\ln {\int }_{x}q(x)=0$$

B.

$$D_{KL}(\mathbb{P}||\mathbb{Q})=\underset{T:\Omega \to \mathbb{R}}{\sup }{\mathbb{E}}_{\mathbb{P}}[T]-\log {\mathbb{E}}_{\mathbb{Q}}[e^T]$$

A simple proof goes as follows. For a given function $T$, consider the Gibbs distribution $\mathbb{G}$ defined by $d\mathbb{G}=\frac{1}{Z}{e}^{T}d\mathbb{Q}$, where $Z=E_{\mathbb{Q}}[e^T]$. By construction,
$${\mathbb{E}}_{\mathbb{P}}[T]-\log Z={\mathbb{E}}_{\mathbb{P}}[\log \frac{d\mathbb{G}}{d\mathbb{Q}}](1)$$
Let $∆$ be the gap,
$$∆:=D_{KL}(\mathbb{P}||\mathbb{Q})-({\mathbb{E}}_{\mathbb{P}}[T]-\log {\mathbb{E}}_{\mathbb{Q}}[e^T])(2)$$
Using (1), we can write $∆$ as a KL-divergence:
$$∆:={\mathbb{E}}_{\mathbb{P}}[\log \frac{d\mathbb{P}}{d\mathbb{Q}}-\log \frac{d\mathbb{G}}{d\mathbb{Q}}]={\mathbb{E}}_{\mathbb{P}}[\log \frac{d\mathbb{P}}{d\mathbb{G}}]=D_{KL}(\mathbb{P}||\mathbb{G})(3)$$
The positivity of the KL-divergence gives $∆\ge 0$. We have thus shown that for any $T$,
$$D_{KL}(\mathbb{P}||\mathbb{Q})={\mathbb{E}}_{\mathbb{P}}[T]-\log ({\mathbb{E}}_{\mathbb{Q}}[e^T])$$
and the inequality is preserved upon taking the supremum over the right-hand side. Finally, the identity (3) also shows that this bound is tight whenever $\mathbb{G}=\mathbb{P}$, namely for optimal functions $T^{\ast }$ taking the form $T^{\ast }=\log \frac{d\mathbb{P}}{d\mathbb{Q}}+C$ for some constant $C\in \mathbb{R}$.