MATLAB算法实战应用案例精讲-【深度学习】归一化

目录

为什么要做特征归一化/标准化？

常用feature scaling方法

计算方式上对比分析

feature scaling 需要还是不需要

什么时候需要feature scaling？

什么时候不需要Feature Scaling？

归一化基础知识点

1. 什么是归一化

2. 为什么要归一化

3. 为什么归一化能提高求解最优解的速度

4. 归一化有哪些类型

5. 不同归一化的使用条件

6. 归一化和标准化的联系与区别

层归一化

综述

提出背景

概念及算法

算法作用

paddle中的API

应用实例：

应用场景

---

---

为什么要做特征归一化/标准化？

Feature scaling，常见的提法有“特征归一化”、“标准化”，是数据预处理中的重要技术，有时甚至决定了算法能不能work以及work得好不好。谈到feature scaling的必要性，最常用的2个例子可能是：

• 特征间的单位（尺度）可能不同，比如身高和体重，比如摄氏度和华氏度，比如房屋面积和房间数，一个特征的变化范围可能是[1000, 10000]，另一个特征的变化范围可能是[−0.1,0.2]，在进行距离有关的计算时，单位的不同会导致计算结果的不同，尺度大的特征会起决定性作用，而尺度小的特征其作用可能会被忽略，为了消除特征间单位和尺度差异的影响，以对每维特征同等看待，需要对特征进行归一化。

• 原始特征下，因尺度差异，其损失函数的等高线图可能是椭圆形，梯度方向垂直于等高线，下降会走zigzag路线，而不是指向local minimum。通过对特征进行zero-mean and unit-variance变换后，其损失函数的等高线图更接近圆形，梯度下降的方向震荡更小，收敛更快，如下图所示，图片来自Andrew Ng。