线性回归用来做预测,LR用来做分类。线性回归是来拟合函数,LR是来预测函数。线性回归用最小二乘法来计算参数,LR用最大似然估计来计算参数。线性回归更容易受到异常值的影响,而LR对异常值有较好的稳定性。LR本质上还是线性回归，只是特征到结果的映射过程中加了一层函数映射，即sigmoid函数，即先把特征线性求和，然后使用sigmoid函数将线性和约束至(0,1)之间，结果值用于二分或回归预测。

SVM的推导：推导 | SVM详解（1）SVM基本型 - 知乎

LR和SVM的异同:

LR和SVM都是分类算法（SVM也可以用与回归）LR是参数模型,SVM为非参数模型。LR采用的损失函数为logisticalloss,而SVM采用的是hingeloss。在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点。LR的模型相对简单,在进行大规模线性分类时比较方便。

逻辑回归方法基于概率理论，假设样本为1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值

支持向量机基于几何间隔最大化原理，认为存在最大几何间隔的分类面为最优分类面

参考 LR和SVM的区别 - 1直在路上1 - 博客园

分类算法及其应用场景：

单一的分类方法主要包括：LR逻辑回归，SVM支持向量机，DT决策树、NB朴素贝叶斯、NN人工神经网络、K-近邻；集成学习算法：基于Bagging和Boosting算法思想，RF随机森林,GBDT，Adaboost,XGboost。

Batch Normalization：批标准化

通过规范化的手段,将越来越偏的分布拉回到均值为0方差为1的标准正态分布,使得激活函数的输入值落在激活函数对输入比较敏感的区域,从而使梯度变大,加快学习收敛速度,避免梯度消失的问题。

参考：深度学习中 Batch Normalization为什么效果好？深度学习中 Batch Normalization为什么效果好？ - 知乎

BN带来的好处。

(1) 减轻了对参数初始化的依赖，这是利于调参的朋友们的。

(2) 训练更快，可以使用更高的学习率。

(3) BN一定程度上增加了泛化能力，dropout等技术可以去掉。

欠拟合、过拟合的解决方法：

过拟合：早停法、决策树剪枝、正则化、

神经网络的dropout

逐层归一化(batch normalization)

增加样本，数据清洗之后在进行模型训练

集成学习Bagging使模型更加的稳定，其作用是因为降低了模型的方差，对过拟合有一定的作用

如何解决梯度消失和梯度爆炸问题

激活函数的原因，由于梯度求导的过程中梯度非常小，无法有效反向传播误差，造成梯度消失的问题

1）使用 ReLU、LReLU、ELU、maxout 等激活函数

sigmoid函数的梯度随着x的增大或减小和消失，而ReLU不会。

2）使用批规范化

通过规范化操作将输出信号x规范化到均值为0，方差为1保证网络的稳定性。从上述分析分可以看到，反向传播式子中有w的存在，所以w的大小影响了梯度的消失和爆炸，Batch Normalization 就是通过对每一层的输出规范为均值和方差一致的方法，消除了w带来的放大缩小的影响，进而解决梯度消失和爆炸的问题。

如何解决正负样本不平衡问题：

数据不平衡问题：

过采样，对训练集里面样本数量较少的类别（少数类）进行过采样，合成新的样本来缓解类不平衡。

欠采样，对训练集里面样本数量较多的类别（多数类）进行欠采样，抛弃一些样本来缓解类不平衡。

合成新的少数类

阈值移动

线性回归和逻辑回归：

参考： 一、线性回归和逻辑回归_呆呆的猫的博客-CSDN博客_线性回归和逻辑回归 整理的特别好！！！必看！

逻辑回归的损失函数：对数似然损失函数

loss = -【yln a - (1-y)ln a】

其中y表示样本的真实标签，即0或者1.

a表示预测结果是0或者1的概率,则a的取值在区间【0,1】。

当因此上面多项式中我们单次智能考虑一种预测的结果--正例/负例。

考虑正例时，即y= 1时，loss函数=-【yln a】, 当a越接近于1,则ln a取的最大值， y = 1，则损失函数取得最小值。

补充：逻辑回归是做二分类的，也就是依据伯努利分布进行推导的算法

1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题）

2、两个方法都可以增加不同的正则化项，如l1、l2等等。所以在很多实验中，两种算法的结果是很接近的。

区别：

1、LR是参数模型，SVM是非参数模型。

2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss，这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。

3、SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。

4、逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。

5、logic 能做的 svm能做，但可能在准确率上有问题，svm能做的logic有的做不了。

训练网络不收敛的原因：

（1）没有做数据归一化；

（2）没有检查过预处理结果和最终的训练测试结果；

（3）没有做数据预处理；

（4）没有使用正则化；

（5）Batch Size设的太大；

（6）学习率设的不合适；

（7）最后一层的激活函数错误；

（8）网络存在坏梯度，比如当Relu对负值的梯度为0，反向传播时，梯度为0表示不传播；

（9）参数初始化错误；

（10）网络设定不合理，网络太浅或者太深；

（11）隐藏层神经元数量错误；

（12）数据集标签的设置有错误

My Neural Network isn't working! What should I do?

使用较小卷积核的好处：

使用了3个3*3卷积核来代替7*7卷积核，使用了2个3*3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

对于两个3*3卷积核，所用的参数总量为2*(3*3)*channels, 对于5*5卷积核为5*5*channels, 因此可以显著地减少参数的数量。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/344849

计算机视觉算法 面试必备知识点（2022）_计算机视觉算法 面试必备知识点(2022)_视觉算法面试_奶盖芒果的博客-csdn博客

优化算法，Adam, Momentum, Adagard，SGD原理：

正则化：

Logit函数和sigmoid函数的关系：

损失函数：

交叉熵损失函数：

神经网络为啥使用交叉熵？

激活函数的作用：

逻辑回归和线性回归：