【动手学深度学习】 1前言_李沫的课
赞
踩
李沫《动手学深度学习》课程学习
具体代码保存在自己的内存中，学完之后会考虑将资源全部上传，写文档的目的是保留一些自己认为重要的内容、调试的过程、练习的内容，尽力一周一章的学习进度。
目录
1.1.3 目标函数（objective function）
1.1 关键组件
1.1.1 数据（data）
1、数据由样本(example、sample)组成，大部分时候遵循独立同分布(independently and identically distributed, i.i.d.).
2、样本有时也叫做数据点（data point）或者数据实例（data instance），通常每个样本由一组称为特征（features，或协变量（covariates））的属性组成。 机器学习模型会根据这些属性进行预测。
3、要预测的是一个特殊的属性，它被称为标签（label，或目标（target））
4、当每个样本的特征类别数量都是相同的时候，其特征向量是固定长度的，这个长度被称为数据的维数（dimensionality）。
5、数据集分成两部分：训练数据集用于拟合模型参数，测试数据集用于评估拟合的模型。
1.1.2 模型（model）
1.1.3 目标函数（objective function）
1、在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，我们称之为目标函数（objective function）。
2、通常定义一个目标函数，并希望优化它到最低点。 因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。
3、通常，损失函数是根据模型参数定义的，并取决于数据集。 在一个数据集上，我们通过最小化总损失来学习模型参数的最佳值。
4、当一个模型在训练集上表现良好，但不能推广到测试集时，我们说这个模型是“过拟合”（overfitting）的。
1.1.4 优化算法
1、一旦我们获得了一些数据源及其表示、一个模型和一个合适的损失函数，我们接下来就需要一种算法，它能够搜索出最佳参数，以最小化损失函数。
2、深度学习中，大多流行的优化算法通常基于一种基本方法–梯度下降（gradient descent）。
3、 简而言之，在每个步骤中，梯度下降法都会检查每个参数，看看如果你仅对该参数进行少量变动，训练集损失会朝哪个方向移动。 然后，它在可以减少损失的方向上优化参数。
1.2 各种机器学习问题
1.2.1 监督学习
监督学习可以理解为样本的组成是 特征+标签
1.2.1.1 回归
当标签取任意数值时，我们称之为回归问题。 我们的目标是生成一个模型，它的预测非常接近实际标签值。
判断回归问题的一个很好的经验法则是，任何有关“多少”的问题很可能就是回归问题。比如：
-
这个手术需要多少小时？
-
在未来六小时，这个镇会有多少降雨量？
1.2.1.2 分类
在分类问题中，我们希望模型能够预测样本属于哪个类别（category，正式称为类（class））
分类问题可以分为二元分类、多元分类、层次分类
1.2.1.3 标记问题
学习预测不相互排斥的类别的问题称为多标签分类（multi-label classification）。 举个例子，人们在技术博客上贴的标签，比如“机器学习”、“技术”、“小工具”、“编程语言”、“Linux”、“云计算”、“AWS”。 一篇典型的文章可能会用5-10个标签，因为这些概念是相互关联的。 关于“云计算”的帖子可能会提到“AWS”，而关于“机器学习”的帖子也可能涉及“编程语言”。
1.2.1.4. 搜索
即使结果集是相同的，集内的顺序有时却很重要。
该问题的一种可能的解决方案：首先为集合中的每个元素分配相应的相关性分数，然后检索评级最高的元素。
1.2.1.5 推荐系统
1.2.1.6 序列学习
序列学习需要摄取输入序列或预测输出序列，或两者兼而有之。 具体来说，输入和输出都是可变长度的序列。
1.2.2 无监督学习
——数据中不含有“目标”的机器学习问题
-
聚类（clustering）问题：没有标签的情况下，我们是否能给数据分类呢？比如，给定一组照片，我们能把它们分成风景照片、狗、婴儿、猫和山峰的照片吗？同样，给定一组用户的网页浏览记录，我们能否将具有相似行为的用户聚类呢？
-
主成分分析（principal component analysis）问题：我们能否找到少量的参数来准确地捕捉数据的线性相关属性？比如，一个球的运动轨迹可以用球的速度、直径和质量来描述。再比如，裁缝们已经开发出了一小部分参数，这些参数相当准确地描述了人体的形状，以适应衣服的需要。另一个例子：在欧几里得空间中是否存在一种（任意结构的）对象的表示，使其符号属性能够很好地匹配?这可以用来描述实体及其关系，例如“罗马” − “意大利” + “法国” = “巴黎”。
-
因果关系（causality）和概率图模型（probabilistic graphical models）问题：我们能否描述观察到的许多数据的根本原因？例如，如果我们有关于房价、污染、犯罪、地理位置、教育和工资的人口统计数据，我们能否简单地根据经验数据发现它们之间的关系？
-
生成对抗性网络（generative adversarial networks）：为我们提供一种合成数据的方法，甚至像图像和音频这样复杂的非结构化数据。潜在的统计机制是检查真实和虚假数据是否相同的测试。
1.2.3 与环境互动
1.2.4 强化学习
1.3. 小结
-
机器学习研究计算机系统如何利用经验（通常是数据）来提高特定任务的性能。它结合了统计学、数据挖掘和优化的思想。通常，它是被用作实现人工智能解决方案的一种手段。
-
表示学习作为机器学习的一类，其研究的重点是如何自动找到合适的数据表示方式。深度学习是通过学习多层次的转换来进行的多层次的表示学习。
-
深度学习不仅取代了传统机器学习的浅层模型，而且取代了劳动密集型的特征工程。
-
最近在深度学习方面取得的许多进展，大都是由廉价传感器和互联网规模应用所产生的大量数据，以及（通过GPU）算力的突破来触发的。
-
整个系统优化是获得高性能的关键环节。有效的深度学习框架的开源使得这一点的设计和实现变得非常容易。
