当前位置:   article > 正文

浙江大学机器学习(胡浩基)学习笔记二:人工神经网络、深度学习_胡浩基 人工智能 笔记

胡浩基 人工智能 笔记

一、人工神经网络

1.1 概念

仿生学
人工智能模拟的是人类大脑对世界的认识。研究大脑认知机理,总结大脑处理信息的方式是实现人工智能的先决条件。
数理学派
在现在及可预见的未来,人类无法完全了解人脑的认知机理,计算机与人脑具有完全不同的物理属性与体系结构。
片面强调计算机对人脑的模仿,不可能也不必须。

神经元的数学模型:在这里插入图片描述
在这里插入图片描述

1.2 感知器算法

感知器算法(perception algorithm):
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
总结:感知器算法就是不断输入数据,重复第二步,然后找到w、b使所有训练样本都达到平衡状态。

证明算法可以终止:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
定理:
在这里插入图片描述
条件:存在一个权重向量ωopt使得ωopt^T*xi>0

过拟合overfit:预测函数复杂度高于训练数据复杂度。

1.3 多层神经网络

单层人工神经网络无法解决线性不可分问题,所以需要多层神经网络。

定理:如果层与层之间的非线性函数是阶跃函数,则三层神经网络可以模拟任何决策面。

设计网络的准则:
如果问题简单,则神经网络层数与每层神经元个数可以少一些,如果问题复杂,则神经元个数与神经网络层数可以多一些。
网络模型的复杂度要和训练样本的复杂度相匹配。

1.4 梯度下降法

Gradient Descent Method,求解局部最小值。
步骤:

  1. 随机选取ω和b的初始值(ω0 b0);
  2. 用迭代算法求目标函数的极值;
    在这里插入图片描述
    求梯度(切向),沿负方向移动一点,判断大小,直至走到最小值处。
    在这里插入图片描述
    在这里插入图片描述
    上述基于一维情况,如果多维就可以进行泰勒展开。

1.5 后向传播算法

Back Propagation Algorithm:
它们的参数是互相关联的,可以利用神经网络结构来简化求偏导的计算,用已经计算出的偏导数链式求导法则求出未求出的偏导数。
它从输出往输入推,先计算离输出较近的偏导数,再计算离输出较远的偏导数。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、深度学习

2.1 卷积神经网络CNN

Convolutional Neural Networks:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
把相邻四个数值取平均
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 自编码器

编码器采用分层初始化的思想
自编码器:Auto-Encoder,是一种无监督式学习模型。它基于反向传播算法与最优化方法(如梯度下降法),利用输入数据 X本身作为监督,来指导神经网络尝试学习一个映射关系,从而得到一个重构输出Xr。
编码器的作用是把高维输入X编码成低维的隐变量h从而强迫神经网络学习最有信息量的特征;
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/767915
推荐阅读
相关标签
  

闽ICP备14008679号