深度学习推荐系统——特征工程_深度神经网络特征工程

深度学习推荐模型演化方向：
1）增加神经网络复杂程度：从最简单的单层神经网络模型 AutoRec，到经典的深度神经网络结构 Deep Crossing，主要的进化方式在于增加了深度神经网络的层数和结构复杂度。
2）丰富特征交叉方式：例如改变了用户向量和物品向量互操作方式的 NeuralCF，定义了多种特生向量交叉操作的 PNN 模型。
3）组合模型：主要是指 Wide&Deep 模型及其后续变种等，其思路是通过组合两种不同特点、优势互补的深度学习网络，提升模型的综合能力。
4）FM 模型的深度学习演化版本：FM 在深度学习时代有了诸多后续版本，其中包括 NFM、FNN、AFM 等。
5）注意力机制与推荐模型的结合：将注意力机制应用与深度学习推荐模型中，主要包括结合 FM 与注意力机制的 AFM、引入注意力机制的 CTR 预估模型 DIN。
6）序列模型与推荐模型的结合：这类模型的特点是使用序列模型模拟用户行为和用户兴趣的演化趋势，代表模型是 DIEN。
7）强化学习与推荐模型的结合： 模型的在线学习和实时更新，代表模型是 DRN。

AutoRec

  将自编码器与协同过滤结合，提出的一种单隐层神经网络推荐模型，首先利用共现矩阵完成物体向量或用户向量的自编码，根据自编码结果得到用户对物品的预估评分，进而推荐排序。

  $m$ 个用户对 $n$ 个物品的评分组成 $m\times n$ 的共现矩阵。对物品 $i$，用户评分向量 $r^{(i)}$，是自编码器的重构目标。重建函数为 $h(r;\theta )=f(W\cdot g(Vr+\mu )+b)$，$f$ 和 $g$ 为激活函数。则目标函数为：
$$\underset{\theta }{\min }\sum _{i=1}^n{\Vert r^{(i)}-h(r_{(i)};\theta )\Vert }^2+\frac{\lambda }{2}\cdot (||W|{|}_F^2+||V|{|}_F^2)$$

优缺点：有一定的泛化和表达能力；结构较为简单表达能力不足。

Deep Crossing

  应用于搜索广告场景，使用了三类特征：类别型特征（编码成 one-hot、multi-hot）、数值型特征（直接拼接进向量）、其它需要进一步处理的特征。
  Embedding 层以 FC 结构为主（也可用 Word2word 等），将稀疏的类别特征转为稠密的 Embedding 特征；Stacking 层把 Embedding 特征与数值特征拼接；Multiple Residual Units 用残差单元将不同特征交叉组合；Scoring 层为输出层使用逻辑回归模型。

优点：模型具有深度交叉能力。

NeuralCF

  用多层输出网络+输出层的模式代替了矩阵分解模型中的内积操作，引入非线性特征并充分交叉。

  NeuralCF 混合模型整合了上述模型和基于内积的矩阵分解模型。

优缺点：灵活地组合特征使用神经网络拟合函数，利用不同的互操作层进行特征的交叉组合和拼接；没有引入其他类型的特征。

PNN

  对比 Deep Crossing，PNN 的改进在于将 Stacking 层替换成 Product Layer，通过两两交互代替简单拼接，获取特征交叉信息。乘积特征交叉部分分为内积操作 IPNN 和外积操作 OPNN：
$$\begin{gathered} g_{inner(f_i,f_j)}=⟨f_i,f_j⟩ \\ {g}_{outer(f_i,f_j)}=f_i{f}_j^T \end{gathered}$$
  外积操作得到方形矩阵，为了简便计算，将 Embedding 向量两两互操作所得外积矩阵相加，则叠加后的矩阵 $p$ 相当于让所有 Embedding 向量经过平均池化后，再进行外积互操作。

优缺点：Embedding 向量之间的交叉方式多样化；外积操作的简化过程中无差别交叉忽略了部分有价值信息。

Wide&Deep

  由单输入层的 Wide 和多隐层的 Deep 组成，Wide 让模型具有记忆能力，Deep 让模型具有泛化能力。一般简单模型记忆能力强，深度神经网络泛化性能强。

  Wide 部分：线性模型输入二进制的 one-hot 稀疏表示特征进行训练，将“已安装应用”和“曝光应用”做交叉积变换。交叉特征 AND（user_installed_app=netflix, impresion_app=Pandora）表示既安装了 netflix app同时又浏览过 Pandora 的用户特征为1，否则为0。Wide 部分将这些特征组合后馈送到最终层。

优点：抓住业务问题本质特点，融合传统模型和深度学习的优势；结构简单易于在工程上实现。

Deep&Cross

  基于 Wide&Deep，用 Cross 网络代替原来的 Wide 部分，使用多层交叉层，增加特征之间的交互力度。

FNN

  Factorization Machine supported Neural Network，FM 与深度学习模型的结合，在FM上接入若干全连接层。利用 DNN 对特征进行隐式交叉。采用两阶段训练方式，首先针对任务构建 FM 模型，完成模型参数的学习，再将 FM 的参数作为 FNN 底层参数的初始值，将 FM 作为先验知识加入到模型中，防止因为数据稀疏造成模型参数偏差。

优缺点：引入 DNN 对特征进行更高阶组合，减少特征工程，能在一定程度上增强FM的学习能力；两阶段训练模式，在应用过程中不方便，且模型能力受限于 FM 表征能力的上限；专注于高阶组合特征，却没有将低阶特征纳入模型。

DeepFM

  将 FM 与 Wide&Deep 进行了整合，用 FM 替代了原有的 Wide 部分，加强了浅层网络部分的特征组合能力。两部分共享相同的 Embedding 层，FM 部分对来自不同特征域的隐向量进行两两交叉，FM 的输出与网络输出一同输入最终输出层。

NFM

  Neural Factorization Machines，用一个表达能力更强的函数代替 FM 原有的二阶隐向量内积，而该函数通过神经网络来实现。在 Embedding 层和多层神经网络之间，加入特征交叉池化层，即两两 Embedding 向量做元素积后，对交叉特征向量求和。