交替最小二乘与最小二乘法_交替最小二乘法

1.ALS是Alternating Least Squares，交替最小二乘。这是一种数值计算的方法。

2.在推荐系统中，我们经常需要计算矩阵分解。比如M是原本的评分矩阵，我们想找到两个矩阵P和Q使得，

$M=PQ^{^{T}}$或者$min||M-PQ^{_{T}}||_{2}^{2}$

 因为这里P和Q同时都是变量，计算会比较复杂。一个简单的方法是，固定其中一个，计算另外一个。

3.例如

先随机产生P0，然后固定P0，求解

然后再固定Q1，求解

之后再固定P1，求解

这样交替进行，每次只更新P和Q的其中一个，每一步计算的过程就和最小二乘法一样；所以叫做交替最小二乘法。

 

4.最小二乘法(least squares method)

 

5.例如：有些线性方程组没有解，但是应用中需要有一个解，所以给出方程组的近似解--最小二乘解

在线性回归中，通过最小二乘法，求最小误差平方和，利用求偏导，使方程组的各个方程=0,得到b0,b1的值，b1是通过计算n个样本的数值得到的，$b0=\bar{y}-b1\bar{x}$，所以b0是依据样本的数值加上之前得到的b1得到的，于是求得线性回归方程。

$b1=\frac{\sum x_{i}y_{i}-[(\sum x_{i})(y_{i})]/n}{\sum x_{i}^{2}-(\sum x_{i})^{2}/n}$