【期末总复习】神经网络与深度学习蒲公英书

浅层学习

one-hot向量

相似度的概念

局部表示和分布式表示示例

学习器

准确率

机器学习的三个基本要素：模型、学习准则、优化算法

【概念】期望风险

 【概念】损失函数

 【运用】三分类问题

 【概念】过拟合

 【概念】欠拟合

超参数 

【选择 / 判断】验证集概念

线性回归 

经验风险最小化中的平方损失函数 

什么时候出现不可逆的情况

机器学习模型的四种偏差和方差组合情况（左下过拟合，右上欠拟合）

 

 监督学习

两类线性可分 

感知器收敛性

 支持向量机超平面距离

 【概念】支持向量

sigmoid型函数 

零中心化

死亡relu问题

理论上无限逼近 

 误差的反向传播

【简单计算】一维卷积示例 

常用卷积：窄卷积、宽卷积、等宽卷积

 汇聚层、最大汇聚

 汇聚层中最大汇聚过程示例

 转置卷积

 【选择 / 名词解释】空洞卷积

循环神经网络特点：短期记忆 

简单循环网络+层内连接

 循环神经网络的通用近似定理

图灵完备

 计算梯度的两个概念

 梯度爆炸、梯度消失

权重消失 

长程依赖问题 

门控机制

 长短期记忆

更新门

 【概念】小批量梯度下降法

学习率与批量之间的关系

哪些方法需要调整参数以实现最小化代价函数

学习速率大会发生什么问题

【概念】逆时衰减公式

【概念】ADAgrad

【概念】权重衰减

新架构的测试时间（加隐藏层）会涉及哪些因素

【概念、计算方法】软、硬注意力

阐述bagging和boosting的关联性和关系

图灵机结构概念、功能、组成部分

输入归一化的目的

 逐层归一化

 

 

adam算法的阐述

自适应学习率的方法有哪些

【概念】学习率预热的描述

【概念 / 选择】rmsprop阐述

【概念 / 判断】adadelta相关说法

神经网络中什么方法处理过拟合

【概念】丢弃法的阐述

【概念】三角循环学习率

常见的超参数、超参数优化方法和计算

【概念】L1L2正则化、用处

记忆网络典型结构的概念、各部分作用、功能

 

 

自训练算法的伪代码（框图）介绍

adaboost伪代码