机器学习-深度学习_先用adam再用sgd可以吗

1、深度学习知识架构

2、线性回归

 

 能够同时预测多个目标，进行多目标学习，通过合并多个任务loss，一般能够产生比单个模型更好的效果。线性回归能够清楚的描述分割线性分布的数据，对非线性分布的数据描述较弱。

3、从线性到非线性-非线性激励

 常用的非线性激励函数：

 （1）Sigmoid

 （2）tahn

 

（3）ReLU(Rectified Linear Units)线性整流函数,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

 

 （4）Leaky ReLU 带泄露整流函数

4、神经元-神经网络

 5、神经网络的”配件“

（1）损失函数（Softmax：使分类问题的预测结果更明显；Cross entropy：处理目标为[0,1]区间的回归问题，以及生成）

 （2）学习率（数值大：收敛速度快，数值小：精度高）

如何选用合适的学习率步骤：1.Fixed  2.Step   3.Adagrad   4.RMSprop

（3）动量

正常：x += -learning_rate * dx

另一种：v = mu * v - learning_rate * dx

（4）过拟合

预测的结果好与不好，要看两个因素：bias和variance，如果bias大，variance小，欠拟合；如果bias小，variance大，过拟合；最好结果是bias和variance都小。

过拟合-应对：

①Regularization