FM 之 embedding的具体理解_fm模型embedding学习

作者：你好赵伟 | 2024-05-24 08:32:25

踩

fm模型embedding学习

简单回顾：

FM的公式：
$\hat{y}(x) :=w_{0}+\underbrace{\sum_{i=1}^{n} w_{i} x_{i}}_{LR模型}+\underbrace{\sum_{i=1}^{n} \sum_{j=i+1}^{n}\left\langle v_{i}, v_{j}\right\rangle x_{i} x_{j}}_{Dense化两两特征}$
$KaTeX parse error: Unknown column alignment: * at position 172: …{\begin{array}{*̲{20}{c}} {0.4}\…$

进入embedding

$v_i$ 和 $v_j$ 又是什么含义呢？ $v_i$ 的意思：对于 $x_i $这个特征来说它会学到一个 embedding 向量，特征组合权重是通过各自的 embedding 的内积呈现的，因为它内积完就是个数值，可以代表它的权重，这就是 FM 模型。
$v_{1} \ \ [0.3,0.2,0.8,0.5,0.3]\\ v_{2} \ \ [0.2,0.5,0.7,0.9,0.1]\\ v_{3} \ \ [0.1,0.4,0.6,0.3,0.1]\\ \cdot \cdot \cdot \\ v_{n-1} \ [0.3,0.5,0.9,0.3,0.1]\\ v_{n} \ \ [0.4,0.1,0.4,0.9,0.1]\\$

$w_{i, j}=\left\langle v_{i}, v_{j}\right\rangle \neq 0$ , 即使训练数据中一定有数据 $x_{i} x_{j}=0$ .
那么 $v_{i}$ 或是 $v_{j}$ 就是embedding了。
FM是获取数据向量表示的其中一种方法。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/616621