复试——机器学习与深度学习_机器学习复试

1.机器学习

KNN ：监督学习算法

监督：数据有标签；无监督：数据无标签
1.距离度量：欧式距离（计算特征之间相似度）
2.确定邻居数量
3.投票机制

决策树

根节点代表分类的开始
基尼系数：计算各属性特征对结论的影响

朴素贝叶斯

基于概率手段进行学习
到了，坐飞机的概率=坐飞机，且能到的概率/能到的概率
知识点学习可参考b站：风中摇曳的小萝卜

2.深度学习

设计一个很深的网络架构让机器自己学——找一个函数f
常见神经网络输入：1.向量，2.矩阵，3.序列
输出类别：
1.回归任务（填空）：预测温度
2.分类任务（选择）：猫/狗，类别固定，下棋在棋盘格中选
3.生成任务/结构化（简答）：任人发挥

3.回归与神经元

需要数据，从数据中找到函数

1.步骤

1.定义函数（模型）
2.定义损失函数loss（衡量真实值与预测值的差距大小）
3.根据loss,对模型优化

2.公式

y’=wx+b
y:预测值，w:weight权重，b:bias偏置
loss:L(w,b)=|y’-y|=|wx+b-y|
loss越小越好

3.优化：优化w和b

w*,b*=arg minL（求出让loss最小的一组w和b）
以w为例：
1.随机选择w’
2.计算w偏导，w’=w偏导（偏导由torch框架自动计算）
3.更新w:w’‘=w’-学习率（超参数/人为决定）*w偏导
=>最后得到优化后的模型

学习率大小设置参考大佬
MAE:L(w,b)=|y’-y| 均绝对误差
MSE:L(w,b)=(y’-y)^2 均方误差