全新升级|必读经典书，独家打造《深度学习》花书视频课训练营！9周吃透“圣经”教材！...

Week1  

 >>花书第一章——第四章(掌握数学基础)

【视频课】矩阵的对角化分解，以及一般矩阵的svd分解，以及应用

【视频课】PCA算法推导

【视频课】逆矩阵以及伪逆举证，线性回归，最小二乘估计，最小范数估计

【视频课】极大似然估计，误差的高斯分布与最小二乘估计的等价性

【视频课】最优化，无约束，有约束，拉格朗日乘子的意义，kkt松弛条件

作业：

【代码】参考Notebook，温习线性代数

【总结】列出花书前四章必须要掌握的十个知识点，附带上自己的学习心得【思考题】一元线性回归的基本假设有哪些？

Week2

 >>花书5.1-5.4，花书5.5-5.7.1

【视频课】机器学习算法基本概念，

【视频课】回归与分类任务，欠拟合过拟合，模型选取交叉验证

【视频课】极大似然估计，贝叶斯估计

作业：

【拓展】了解bias-variance tradeoff

【习题】根据图示判断算法建模情况

【推导】通过梯度下降算法最小化负对数似然求解逻辑回归

【思考题】交叉验证的基本流程是什么？最大似然估计与贝叶斯估计的区别有哪些？

Week3

 >>花书5.7.2-5.7.3章

【视频课】监督学习:逻辑回归，SVM,LDA，决策树

【视频课】非监督学习:PCA,kmeans

【视频课】梯度下降，随机梯度下降

作业：

【推导】硬间隔支持向量机推导

【思考题】举几个例子说明不同聚类方法的应用场景。

【习题】比较随机梯度下降与批梯度下降

Week4

 >>花书第6章

【视频课】前馈神经网络的基本概念，XOR

【视频课】基于梯度的学习，代价函数(MSE,CE)，以及输出单元，求导

【视频课】神经网络的隐层，各种非线性变换，以及求导

【视频课】前向传播与反向传播算法，以及参数更新

作业：

【思考题】为什么在神经网络中加入非线性是必须的？

【推导】完成softmax输出单元cross-entropy损失函数的梯度推导。

【习题】写出下列每个激活函数的表达式及其导数

【实战】完成⼀个反向传播实例

Week5

 >>花书第7、8章

视频课(第七章)：

1.参数正则化

2.数据集增强，噪声鲁棒性

3.半监督，多任务

4.提前终止，参数共享，稀疏矩阵

5.dropout

6.数据增强，simu

7.bagging

视频课(第八章)：

1.局部极小，病态，梯度悬崖，梯度爆炸与消失

2.moment & NAG

3.自适应学习率，adagrad,adam

4.二阶方法，牛顿，拟牛顿，共轭梯度

5.batch norm

6.监督预训练

作业：

【习题】⽤公式说明为何L2正则化⼜常被称作“weight decay”

【思考题】为什么在神经⽹络中，dropout可以起到正则化的作⽤？

【思考题】什么时候适合⽤Adam？RMSProp？SGD?

Week6

 >>花书第9章

【视频课】卷积神经网络

【视频课】局部感知权值共享

经典论文带读

【视频课】CNN用于句分类--第一篇真正意义上的神经网络用于文本分类之作  《Convolutional Neural Networks for Sentence Classification》论文讲解

【视频课】ResNet网络结构《Deep Residual Learning for Image Recognition》论文讲解

作业：

【思考题】卷积操作的本质特性包括稀疏交互和参数共享，具体解释这两种特性及其作用。

【思考题】关于最大池化层，选出给出的选择正确项。

【习题】完成卷积神经网络的经典习题

Week7- Week8

 >>花书第10章

【视频课】具有时序性的任务,时间依赖性

【视频课】RNN与双向RNN的结构，前向与反向算法,梯度爆炸与梯度消失

【视频课】LSTM与biLSTM的结构，前向与反向算法

【视频课】GRU与biGRU的结构，前向与反向算法

【视频课】讲解和分享实际案例

作业：

【作图】画出图10.13c的展开图

【作图】可以完成给定任务的RNN计算图

【推导】参考博客，了解随时间反向传播在LSTM中的推导

Week9

实际工作中的一些经验以及前沿技术介绍与分享

【视频课】多GPU并行计算

【视频课】模型的压缩与加速

【视频课】知识蒸馏

作业：

【总结】观看深度学习最新进展视频，总结几条你认为深度学习最有潜力的发展方向

【期末复盘】复盘所学到的知识，构建自己的机器学习和深度学习知识框架