当前位置: article > 正文

机器学习的数学基础（3）：正交性原理（orthogonality principle）

作者：Li_阴宅 | 2024-07-16 11:46:16

踩

正交性原理

思考这样一个问题，令S为一个希尔伯特空间，而 $\tau$ 空间S的一个子空间

当我们给定了 $x\in S$ ，如何求最近 $\tau$ 上距离x最近的点。

则我们用数学语言表示该问题为一个优化问题：

$\min \left \| x-y \right \|\quad y\in \tau$

该问题的解可以直接通过一个定理给出，即正交性定理（orthogonality principle）

Orthogonality Principle

定理描述如下：

令S为一个希尔伯特空间，而 $\tau$ 空间S的一个子空间，当我们给定任意的 $x\in S$ ，

1. 一定存在一个唯一的点 $\hat{x}\in \tau$ 遵循： $x-\hat{x}\perp \tau$

2. 满足1的这个点 $\hat{x}$ 是该优化问题的唯一解

接下来我们将分两部分证明上述定理，第一部分先证明满足1的解一定是问题的解，第二部分则会给出解的具体表达式以及唯一性的证明

Part I

由定理第一条我们有： $\left \langle x-\hat{x},y \right \rangle=0$ 对于任何 $\tau$ 中元素都成立

$\left \| x-y \right \|^{2}=\left \| (x-\hat{x}-(y-\hat{x})) \right \|^2=\left \| x-\hat{x} \right \|^2+\left \| y-\hat{x} \right \|^2$

（其中第二个等式是因为 $y-\hat{x}$ 也在空间 $\tau$ 中，所以内积为0

所以显然： $\left \| x-y \right \|^{2}\geq \left \| x-\hat{x} \right \|^2$ ，当 $y=\hat{x}$ 时等号成立，因此这也就证明了满足定理第一条的解一定时优化问题的解。

Part II

这一部分我们将给出解的计算方法，并通过解析表达式来去说明解是唯一的

现在假设 $\tau$ 的一组基底为 $v_1,v_2,...v_N$ ，那么解则可以表示为：

$\hat{x}=a_1v_1+a_2v_2+...+a_Nv_N$

则有：

$\left \langle x-\sum_{k=1}^{N}a_kv_k ,v_n\right \rangle=0\rightarrow \left \langle x,v_n \right \rangle=\sum_{k=1}^{N}a_k\left \langle v_k,v_n \right \rangle$

求解ak，我们则可以通过线性代数的知识进行直接求解，首先我们把上述等式表示为矩阵的形式：

左边的矩阵叫做基底vn的Gram矩阵，记作G，我们将右边的矩阵记为b

因为所有基底全部是线性无关的，所以G可逆，进而我们可以直接写出a的表达式：

$a=G^{-1}b$

并且由于G是可逆的，自然a只存在唯一解

以上

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/833938