深度神经网络 基本知识 记录

资料：https://www.bilibili.com/video/BV1K94y1Z7wn/?spm_id_from=333.337.search-card.all.click&vd_source=14a476de9132ba6b2c3cbc2221750b99

计划：3~4天

注：网课讲的内容比较糅杂，记录的内容可能会出现重复

杂

• 人工智能包括ML，ML包括DL
• 机器学习需要人工大量参与，深度学习可以主动提取特征
• 神经网络要看作是从数据中提取特征的方法

深度学习的流程

• 数据获取→特征工程→建立模型→评估与应用
• 特征工程的主要内容？
  • 数据特征决定模型解决问题的上限，算法与参数的选择决定选择 何种方式逼近上限
  • 预处理和特征提取，是特征工程核心步骤
• TODO 特征如何提取？
• 深度学习的应用？
  • 计算机视觉（输入是图片）
    • 图片分类任务
      • 挑战： 光纤，形状，被遮挡，背景干扰
    • 癌细胞检测
    • 变脸
    • 分辨率重构
  • 自然语言处理（输入是文本） 

深度学习基础

• 线性函数/得分函数：属于每一个类别的得分值，不同像素点对识别图像是只猫，起到的作用不同。3072个像素点要对应3072个参数
• W每行中不同的权重值影响最后的得分
• 做不同的任务，区别是损失函数不同，损失函数含义：距离正确结果的距离
• Softmax分类器：归一化得到x（range [0,1]）→取-log(x)作为损失值
• 前向传播：从前往后。用W和x计算出Loss value​​​​​​​. 可以引入多个W，每个W关注特征不同
• 反向传播：逐层从后往前传播。current_gradient = backward_gradient * local_gradient
  • 加法门单元：后边梯度v传来时，v分给x和y
  • MAX门单元：后边梯度v传来，仅传递给最大值
  • 乘法门单元：对于x而言，梯度值是yv；y梯度是xv
• 整体架构
  • 层次结构：可以有好多个W矩阵
  • 全连接：多个特征可以叠加到下一层一个特征上
  • 非线性：每层计算结束后，会进行非线性映射