深度学习初探（一）机器学习与深度学习_机器学习是一门让机器自动从数据中学习规则的研究学科

机器学习是一门通过让机器自动从数据中学习规则的研究学科
在机器学习中，有一门通过神经网络来学习复杂、抽象逻辑的方向，称为神经网络。
深层神经网络有了一个新名字，叫做深度学习，深度学习特指基于深层神经网络实现的模型或算法

机器学习可以分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning)。

常见的有监督学习有线性回归，逻辑回归，支持向量机，随机森林等
常见的无监督学习算法有自编码器，生成对抗网络等。
常见的强化学习算法有 DQN，PPO
神经网络算法是一类通过神经网络从数据中学习的算法，它仍然属于机器学习的范畴。受限于计算能力和数据量，早期的神经网络层数较浅，一般在 1~4 层左右，网络表达 能力有限。随着计算能力的提升和大数据时代的到来，高度并行化的GPU 和海量数据让大规模神经网络的训练成为可能。
我们一般将利用深层神经网络实现的算法或模型称作深度学习，本质上神经网络和深度学习是相同的。

传统的机器学习算法一般会人为设计具有一定通用性的特征检测方法，如 SIFT，HOG 特征，这些特征能够适合某一类的任务，具有一定的通用性，但是如何设计特征方法，特征方法的 好坏是问题的关键。神经网络的出现，使得人为设计特征这一部分工作可以通过神经网络让机器自动学习，不需要人类干预。但是浅层的神经网络的特征提取能力较为有限，而深层的神经网络擅长提取深层，抽象的高层特征，因此具有更好的性能表现。我们将神经网络的发展历程大致分为浅层神经网络阶段和深度学习阶段

反向传播算法(Backpropagation，简称 BP 算法)的提出，它是现代深度学习的 核心理论基础。遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为 代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机 拥有严格的理论基础，需要的样本数量较少，同时也具有良好的泛化能力，相比之下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也一般

2006 年，Geoffrey Hinton 等人发现通过逐层预训练的方式可以较好地训练多层神经网络，并在MNIST 手写数字图片数据集上取得了优于 SVM 的错误率，开启了第 3 次人工智能的复兴
2012 年，Alex Krizhevsky 提出了 8 层的深层神经网络 AlexNet，它采用了 ReLU 激活函数，并使用Dropout 技术防止过拟合，同时抛弃了逐层预训练的方式，直接在 2 块 GTX580 GPU 上训练网络
ResNet 系列网络实现简单，效果显著，很快将网络的层数提升至数百层，甚至上千层，同时保持性能不变甚至更好

传统的机器学习算法并不像神经网络这样对数据量和计算能力有严苛的要求，通常在 CPU 上串行训练即可得到满意结果。但是深度学习非常依赖并行加速计算设备，目前的大部分神经网络均使用 NVIDIA GPU 和 Google TPU 或其他神经网络并行加速芯片训练模型参数。如围棋程序 AlphaGo Zero 在 64 块 GPU 上从 零开始训练了 40 天才得以超越所有的 AlphaGo 历史版本；自动网络结构搜索算法使用了 800 块GPU同时训练才能优化出较好的网络结构。
深度学习算法已经广泛应用到人们生活的角角落落，例如手机中的语音助手，汽车上的智能辅助驾驶，人脸支付等等
图片识别(Image Classification) 是常见的分类问题。神经网络的输入为图片数据，输出值为当前样本属于每个类别的概率，通常选取概率值最大的类别作为样本的预测类别。图片识别是最早成功应用深度学习的任务之一，经典的网络模型有 VGG 系列、Inception 系 列、ResNet 系列等。

计算机视觉
图片识别：
目标检测：通过算法自动检测出图片中常见物体的大致位置
语义分割：通过算法自动分割并识别出图片中的内容，可以 将语义分割理解为每个像素点的分类问题，分析每个像素点属于物体的类别
视频理解：视频分类，行为检测，视频主体抽取
图片生成：通过学习真实图片的分布，并从学习到的分布中采样而获 得逼真度较高的生成图片。

自然语言处理
机器翻译：源语言到目标语言的直译技术
聊天机器人: 聊天机器人也是自然语言处理的一项主流任务，通过机器自动与人类对话，对于人类的简单诉求提供满意的自动回复，提高客户的服务效率和服务质量。 常应用在咨询系统、娱乐系统，智能家居等中。

强化学习
虚拟游戏: 相对于真实环境，虚拟游戏平台既可以训练、测试强化学习算法，又可以避 免无关干扰，同时也能将实验代价降到最低。
机器人：美国波士顿动力公司在人工智能应用中取得喜人的成就，其制造的机器人在复杂地形行 走，多智能体协作等任务上表现良好
自动驾驶(Autonomous Driving：被认为是强化学习短期内能技术落地的一个应用方 向，很多公司投入大量资源在自动驾驶上，如百度、Uber，Google 无人车等，其中百度的 无人巴士“阿波龙”已经在北京、雄安、武汉等地展开试运营