模仿学习(GMM-GMR应用)_高斯混合回归

模仿学习

---

GMM-高斯混合模型

利用概率混合模型的方法，表征机器人运动轨迹。
写一下自己对高斯混合模型GMM的理解，如何采用GMR 进行数据回归

一维高斯分布：
$$f(x)=\frac{1}{\sqrt{2\pi }\cdot \delta }\cdot e^{-\frac{(x-\mu {)}^2}{2{\delta }^2}}$$
二维高斯分布：
假设两变量$x_1,x_2$相对独立，且都服从高斯分布，存在以下等式：
$$f(x_1,x_2)=f(x_1)\cdot f(x_2)$$
式中$f(x_1)$:
$$f(x_1)=\frac{1}{\sqrt{2\pi }\cdot {\delta }_1}\cdot e^{-\frac{(x_1-{\mu }_1{)}^2}{2{\delta }_1^2}}$$
其中${\delta }_1$和${\mu }_1$是变量$x_1$的标准差和均值,二维的高斯分布函数可以表示为：
$$f(x_1,x_2)=f(x_1)\cdot f(x_2)$$
$$=\frac{1}{2\pi \cdot {\delta }_1{\delta }_2}\cdot e^{-\frac{{\delta }_2^2(x_1-{\mu }_1{)}^2+{\delta }_1^2(x_2-{\mu }_2{)}^2}{2{\delta }_1^2{\delta }_2^2}}$$

扩展多维高斯分布：

$$N(\overrightarrow{X}|\overrightarrow{\mu },\Sigma )=\frac{1}{(2\pi {)}^{\frac{D}{2}}\cdot |\Sigma {|}^{\frac{1}{2}}}\cdot e^{-\frac{(\overrightarrow{X}-\overrightarrow{\mu }{)}^T\cdot {\Sigma }^{-1}\cdot (\overrightarrow{X}-\overrightarrow{\mu })}{2}}$$

如果是二维高斯分布
$\overrightarrow{X}=[x_1,x_2]$

$\overrightarrow{\mu }=[{\mu }_1,{\mu }_2]$

${\Sigma }^{-1}=$ [ 1 δ 1 2 0 0 1 δ 2 2 ]

$$\begin{bmatrix} \frac{1}{\delta^2_1} & 0 \\ 0 & \frac{1}{\delta^2_2} \\ \end{bmatrix}$$ [δ12​1​0​0δ22​1​​]

式中：
$\overrightarrow{X}$表示维度为D的向量
$\overrightarrow{\mu }$表示$\overrightarrow{X}$各维度的均值组成的向量
$\Sigma$代表所有向量的协方差矩阵，是一D×D维的矩阵
补充一下协方差的定义，帮助理解：如何理解协方差矩阵（散布矩阵）

以上都是单高斯模型 ，高斯混合模型（GMM）可以看作是由 E 个单高斯模型组合而成的模型，每个单高斯模型称为一个“Component”，这些 Component 线性加成在一起就组成了 GMM 的概率密度函数 $p(x)$，参见（高斯混合模型的一个例子）以及很好的讲解漫谈 Clustering (3): Gaussian Mixture Model，高斯混合模型能够平滑地近似任意形状的密度分布，公式为：
$$p(x)=\sum _{e=1}^E{\pi }_{e}N({\mu }_e,{\Sigma }_e)$$

GMM-GMR

终极目的：找出x→y的映射；

高斯混合回归（GMR）的基本假设是，联合输入（x）×输出（y）空间中的数据可以用一组高斯分布很好地表示，这被称为高斯混合模型（GMM）。输入可以是时间位置或者其他外部状态，输出是机器人的轨迹变量，如末端位置、速度、加速度。两种典型的轨迹是：
1）x表示时间，y为机器人末端位置、关节位置或力等,则示教轨迹表示时间驱动(Time-driven) 的技能
2）如果x表示位置,y为速度, 则示教轨迹对应自治的 (Autonomous) 动态系统

左图：在20个示例数据点上具有3个高斯的高斯混合模型（gmm）。该模型是在联合输入×输出空间上通过无监督学习（EM）获得的。右图：高斯混合回归，调节输入空间X，获得输出空间Y的均值和方差

通过EM方法训练，得到高斯混合模型 p(x,y)：
$$p(x,y)=\sum _{e=1}^E{\pi }_{e}N({\mu }_e,{\Sigma }_e)$$

对于高斯混合回归，我们的目的在于预测：$\overline{y}=E(y|x)$（x→y的映射了），给定x时y的期望。为此，可以按如下方式分解${\mu }_e$和${\sum }_e$

$${\mu }_e=[{\mu }_{e,X}^T,{\mu }_{e,Y}^T{]}^T$$
Σ e = [ Σ e , X Σ e , X Y Σ e , Y X Σ e , Y ] \Sigma_e=

$$\begin{bmatrix} \Sigma_{e,X} & \Sigma_{e,XY} \\ \Sigma_{e,YX} & \Sigma_{e,Y}\\ \end{bmatrix}$$ Σe​=[Σe,X​Σe,YX​​Σe,XY​Σe,Y​​]
给定输入x的情况下,y的输出可以用条件概率分布来描述（GMR回归是怎么回归的我也不知道，这是结果）
$$p(y|x)=\sum _{e=1}^E{h}_e(x)N({\mu }_{e,Y}+{\Sigma }_{e,YX}{\Sigma }_{e,X}^{-1}(x-{\mu }_{e,X}),{\Sigma }_{e,YX}{\Sigma }_{e,X}^{-1}{\Sigma }_{e,XY})$$

得到分布后，可得给定输入x,y的期望为：
$$\overline{y}=\sum _{e=1}^E{h}_e(x)({\mu }_{e,Y}+{\Sigma }_{e,YX}{\Sigma }_{e,X}^{-1}(x-{\mu }_{e,X}))$$

其中$h_e(x)$为
$$h_e(x)=\frac{{\pi }_{e}N(x;{\mu }_{e,X},{\Sigma }_{e,X})}{{\sum }_{l=1}^E{\pi }_{l}N(x;{\mu }_{l,X},{\Sigma }_{l,X})}$$

参考
[1] 基于模仿学习的机械臂运动规划与柔顺控制研究
[2] 漫谈 Clustering (3): Gaussian Mixture Model
[3] 高斯混合模型GMM
[4] Many Regression Algorithms, One Unified Model – A Review
[5] 基于增量高斯混合回归的自适应软测量方法_李德阳
[6] A tutorial on task-parameterized movement learning and retrieval
[7] Reinforcement Learning for Imitating Constrained Reaching Movements