哈工大神经网络与深度学习知识总结（一）_哈工大 知识表示与推理学什么

1. 概述

人工智能(Artificial Intelligence)： 是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。

机器学习：是人工智能的一个重要分支，是实现智能化的关键。其主要方法是通过经验来改善计算机系统的性能。

然而，机器学习遇到了较大的瓶颈，例如：视觉信息处理以及非结构化数据。因而引出了人工神经网络。

人工神经网络 (ANN)：是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。信息处理由人工神经元间的相互作用来实现，由联接权来传递，具有学习能力、自适应性、联接强度的可变性。

人工智能的发展史

1.推理期（1956-60年代末）：基于逻辑和事实规则，出现了几何定理证明器、语言翻译器等。

2.知识期（70年代初-80年代中期）：意识到知识对于人工智能系统的重要性，构建专家知识库，出现专家系统

3.学习期（90年代至今）：让计算机自动从数据中分析并获取规律，然后进行预测，出现机器学习（machine learning），伴随着计算机运算能力的提高，神经网络重新兴起，并促进了深度学习的发展

同时，各国也都提出了研究计划，例如：

2013年4月，美国正式公布“推进创新神经技术脑研究计划”（BRAIN）

2019年2月，美国国家科技政策办公室发布由总统特朗普签署的《美国人工智能倡议》（American AI Initiative）

2013年初，欧盟宣布未来十年“新兴旗舰技术项目”——人脑计划（HBP）。总投资12亿欧元。计划2018年前开发出第一个智能人造大脑。

2014年9月，启动大脑研究计划 Brain/MINDS。计划为期10年，旨在理解大脑如何工作以及通过建立动物模型，研究大脑神经回路技术，从而更好地诊断以及治疗大脑疾病。

神经网络与深度学习发展趋势：人才需求巨大，

神经网络与深度学习应用趋势：计算机视觉，机器学习，图像识别，语音识别，机器人，自然语言处理

神经网络与深度学习技术应用：难题求解，自动规划、调度与配置，自动程序设计，机器翻译，智能控制，智能决策，智能制造，智能人机接口，图像识别，数据挖掘，艺术创作，机器博弈，服务型智能机器人。双足智能机器人，消费电子领域，无人作战系统，航天领域。

2. 线性分类与感知机

线性回归：

假定预测值与样本特征间的函数关系是线性的，回归分析的任务，就在于根据样本X和Y的观察值，去估计函数h，寻求变量之间近似的函数关系。定义：

其中，n = 特征数目；

xj = 每个训练样本第j个特征的值，可以认为是特征向量中的第j个值。

为了方便，记x0= 1，则多变量线性回归可以记为：(θ、x都表示(n+1，1)维列向量)

构造代价函数：

目标为：找到超平面参数，使得J最小。

简单来说，可以使用解析解

线性二分类问题

线性分类定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。

考虑引入sigmod函数：

将线性回归问题变成了线性分类问题。

此时无法在使用解析解，因此需要使用梯度下降法进行迭代，即：

指数回归：

将二分类问题使用条件概率进行描述，可得：

可以取极大似然分布：

对此式子求最大值即为求得极值。

多分类回归：需要引入多个超平面

取代价函数：

对应梯度：

神经元模型：

其中，作用函数f有如下常见形式：

非对称型sigmod函数：

对称型sigmod函数:

对称型阶跃函数：

感知机模型：

对于分类的样本，有：

可定义损失函数如下：

需要找到超平面参数为：

3. 多层前馈网络与误差反传算法

在面对线性不可分问题的时候，可以引入多层感知机。

多层感知机：在输入和输出层之间加一或多层隐单元，即构成了多层感知机（多层前馈神经网络）。

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。

网络结构：见图，u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。

BP学习算法由正向传播和反向传播组成：① 正向传播是输入信号从输入层经隐层，传

向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

② 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下

降法调整各层节点的权值和阈值，使误差减小。

网络训练的目的，是使对每一个输入样本，调整网络参数，使输出均方误差最小化。这是一个最优化问题。

选取：

前向传播：

隐含层输出：对于l层第i个神经元

误差反传：

算法拓展：

考虑二分类问题：

加入正则项：

可得:

算法评估：

优点：学习完全自主，可逼近任意非线性函数

缺点:算法非全局收敛，收敛速度慢，学习速率α的选择，神经网络如何设计（层数以及节点数）