论文阅读 (二十三)：Attention-based Deep Multiple Instance Learning (2018)

1 Methodology

1.1 MIL

1.1.1 符号系统

  符号说明：

  MIL假设可以重写如下：
Y = { 0 , iff ∑ k y k = 0 , 1 , otherwise . Y =

$$\begin{cases} \begin{aligned} 0, &&\text{iff} \sum_k y_k = 0,\\ 1, &&\text{otherwise}. \end{aligned} \end{cases}$$ Y=⎩⎪⎨⎪⎧​0,1,​​iffk∑​yk​=0,otherwise.​​  该假设暗含MIL模型是permutation-invariant。此外，以上操作可以制定为以下：
Y = max ⁡ k { y k } . Y = \max_k \{ y_k \}. Y=kmax​{yk​}.  不过基于最大实例标签的优化方式是有以下问题的：1）梯度消失 (?)；2）这个式子适用的前提是有一个实例级别的分类器。
  对此，本文认为包标签是$\theta (X)\in [0,1]$的伯努利分布。

1.1.2 实例与包的联系

  基于包中实例无序且独立的假设，$\theta (X)$必满足permutation-invariant。因此，MIL可以根据对称函数基本定理的特定形式来考虑：
  定理1：当且仅当以下式子满足，包的得分函数$S(X)\in \mathbb{R}$是一个对称函数：
$$S(X)=g(\sum _{\mathbf{x}\in X}f(\mathbf{x})),$$其中$f$和$g$是你现在不知道的转换函数。
  还有一个类似的：
  定理2：对于任意的$ϵ>0$，Hausdorff连续对称函数$S(X)\in \mathbb{R}$能够由$g({\max }_{\mathbf{x}\in X}f(\mathbf{x}))$任意近似，其中$\max$按元素最大操作：
$$|S(X)-g(\underset{\mathbf{x}\in X}{\max }f(\mathbf{x}))|<ϵ.$$  两者的区别就在于后者可以任意近似。当然，他们提供了一个三步式分类包的方法：
  1）$f$转换实例；
  2）$\sigma$汇总转换后的实例；
  3）$g$得到包的得分。

1.1.3 MIL方法

  1）实例级别：$f$是一个实例级别的分类器，返回值为每个实例的分数，$g$则是判别函数。
  2）嵌入级别：$f$将实例映射为一个低维嵌入；MIL池化用于获取包的表示。
  现在说这些就只是说这些而已。
  wou~~~~~~~~~~

1.2 MINN

  经典MIL问题中，假设实例是无需进一步处理的特征向量。然而，诸如图像或文本任务，进一步的特征提取是必须的。因此，本文考虑神经网络$f_{\psi }(\cdot )$作为转换，其用于将实例${\mathbf{x}}_k$转换为低维嵌入，即${\mathbf{h}}_k=f_{\psi }({\mathbf{x}}_k)$，其中${\mathbf{h}}_k\in \mathcal{H}=[0,1]$。
  事实上，$\theta (X)$由转换$g_{\varphi }:\mathcal{H}\to [0,1]$确定。
  目前，唯一的限制是MIL池化需要适应变化。

1.3 MIL池化

  最大池化给定为：
∀ m = 1 , ⋯   , M : z m = max ⁡ k = 1 , ⋯   , K { h k m } . \forall_{m = 1, \cdots, M}: z_m = \max_{k = 1, \cdots, K} \{ {\bf{h}}_{km} \}. ∀m=1,⋯,M​:zm​=k=1,⋯,Kmax​{hkm​}.  平均池化给定为：
$$\mathbf{z}=\frac{1}{K}\sum _{k=1}^K{\mathbf{h}}_k.$$  一些其他的池化这里不表。

1.4 注意力机制池化

  以前的池化都有一个显著缺陷：1）预定义的；2）非训练的。
  对于实例而言，最大池化还是斯国一的，但是对于嵌入方法可就不合适了。相应的，平均池化也是这样。

1.4.1 注意力机制

  本文提出一个实例加权方式，权重则由神经网络确定。此外，权重之和需为1。
  令 H = { h 1 , ⋯   , h K } H = \{ {\bf{h}}_1, \cdots, {\bf{h}}_K \} H={h1​,⋯,hK​}表示包的嵌入，MIL嵌入的定义如下：
$$\mathbf{z}=\sum _{k=1}^K{a}_k{\mathbf{h}}_k,$$其中
a k = exp ⁡ { w ⊤ tanh ⁡ ( V h k ⊤ ) } ∑ j = 1 K exp ⁡ { w ⊤ tanh ⁡ ( V h j ⊤ ) } , a_k = \frac{\exp \{ {\bf{w}}^\top \tanh ({\bf{Vh}}_k^\top)\}}{\sum_{j = 1}^K \exp \{ {\bf{w}}^\top \tanh ({\bf{Vh}}_j^\top)\}}, ak​=∑j=1K​exp{w⊤tanh(Vhj⊤​)}exp{w⊤tanh(Vhk⊤​)}​,其中$\mathbf{w}\in {\mathbb{R}}^{L\times 1}$，$\mathbf{V}\in {\mathbb{R}}^{L\times M}$。

1.4.2 门控注意力机制

  $\tanh$可能无法很好地适应复杂模型的学习。因此引入门控机制为：
a k = exp ⁡ { w ⊤ tanh ⁡ ( V h k ⊤ ) } ⊙ sigm ( U h k ⊤ ) ∑ j = 1 K exp ⁡ { w ⊤ tanh ⁡ ( V h j ⊤ ) } ⊙ sigm ( U h j ⊤ ) , a_k = \frac{\exp \{ {\bf{w}}^\top \tanh ({\bf{Vh}}_k^\top)\} \odot \text{sigm} ({\bf{Uh}}_k^\top)}{\sum_{j = 1}^K \exp \{ {\bf{w}}^\top \tanh ({\bf{Vh}}_j^\top)\}\odot \text{sigm} ({\bf{Uh}}_j^\top)}, ak​=∑j=1K​exp{w⊤tanh(Vhj⊤​)}⊙sigm(Uhj⊤​)exp{w⊤tanh(Vhk⊤​)}⊙sigm(Uhk⊤​)​,其中$\mathbf{U}\in {\mathbb{R}}^{L\times M}$，$\odot$是按元素乘法，$\text{sigm}(\cdot )$是sigmoid函数。

2 实验

2.1 数据集

  1）基准
  2）MNIST-bags
  3）reallife histopathology

2.2 评估手段

  5次10折交叉验证。

2.3 参数设置

  1）维度$L$：64，128和256
  2）参数初始化参照了某人，偏置设置为0