机器学习笔记——基础导论_梁毅雄 中南大学

一、写在前面

• 一名985计科专业在校本科生，刚开始接触机器学习这门课程。想通过CSDN博客的方式整理并记录自己的学习思路，也希望以小白的角度去帮助自己还有更多人理解看似深奥的学科领域。

• 经过两年专业课与基础课的学习，我们已经有能力去接触机器学习这门课程。机器学习要求首先是数学功底深厚，微积分、线性代数、概率论将会发挥重要的作用也会是学习上最大的门槛，另外需要掌握基本的编程技巧并且熟练使用python语言。

• 我对自己也没有十足的信心，但我认为不会对一切挑战做足充分的准备，都是应该在学习的过程中发现问题弥补，无论是数学功底还是编程技巧让我们边学习边提升。机器学习当然是块硬骨头，越硬的骨头就越不该留到以后啃。

• 特别感谢中南大学梁毅雄教授与台湾大学李宏毅教授提供的教学与资料支持。博文仅仅设计本人的浅薄理解，欢迎大家提出问题。

二、到底什么是机器学习呢？

• 有关机器学习学界并没有统一的定义，而是各自有各自的说法，各自有各自的道理。我将结合两位老师的概念结合思考，阐述一下自己对于机器学习的理解。

1.李宏毅教授的看法

• 引用李宏毅教授通俗的理解，机器学习其实就是自动寻找函数式的过程。函数式设计一对映射，从给出的输入到想要的输出之间建立的映射。而机器学习其实就是不断寻找调整最合适映射的过程。比如说：语音识别将输入的音频通过函数式映射转化为文字；图像识别将输入的图片识别出这是一只小猫；前两年爆火的Alpha Go识别现有棋局给出下一步落棋操作…

• 很多时候事物之间的规律很难由人类主观推断，要是万事万物都能有明确的界限，那么就不需要机器学习了。人类直接告诉计算机什么特征的是猫而不是狗，就不需要设计函数式不断学习调整了。正因为规律无法直接获得才需要计算机通过大量的计算去模拟逼近我们想要的答案。

2.梁毅雄教授的看法

• 梁毅雄老师给出了机器学习的四大关键词：任务、性能、经验、完善。机器学习完整的思维过程应该包括以上四大关键词，下面我详细解释一下我对这四个词语的浅薄理解。

1.任务：机器学习需要有明确的任务指示，也就是想要通过机器学习达成的目标。比如识别图片中动物的物种、识别语音中表达的含义、找到游戏下一步最优的方案等等。

2.性能：机器学习是一种近似模拟逼近的过程，因此我们得出的预估结果与实际情况或者正确答案之间会有一定的差距，而这个差距就体现为我们机器学习算法的性能。常用损失函数（Loss Function)来表征当前模型函数的优劣，并且有助于进一步调整参数。

3.经验：经验是机器学习的关键因素。根据经验的有无、经验的种类还可以将机器学习分为监督学习（有师学习）、非监督学习（无师学习）、半监督学习等等。经验是函数式预测的矫正标准。

4.完善：机器学习的目标一定是个可优化可发展的内容。不能是公理或者被严格证明的定理，可以用机器学习的方法去研究处理，但不可完善的主题是没有意义的。

• 课堂上的一个例子耐人寻味：我们通过调查一个地区10年内每天的太阳升起 的方向作为学习经验，去研究太阳升起方向的规律。这并不是一个机器学习问题，因为默认太阳东升西落这个问题不具有机器学习的研究意义。

三、机器学习有哪些分类？

1.监督学习（Supervised Learning)

• 我们的内容将不关注定义与形式，而是以通俗易懂的话去阐释自己的理解。

• 监督学习又名有师学习，这个名字更加的直接形象。老师的职责就是告诉学习中的学生什么是对什么是错，然后学生按照老师的标准发挥自己的个性去调整。虽然现实中老师不一定都是正确的，但在机器学习中的“老师”一定视为百分百正确的不二准则。

• 监督学习中会提供大量的人为标注过的数据，我们成为Labelled Data。在监督学习中更为关键的并不是模型与参数而是标注数据，往往在实际应用中标注数据需要由相关领域专家给出并且花费极高的代价。因此后续几种机器学习的种类，比如非监督学习、半监督学习、强化学习都是在标注数据不同程度欠缺的前提下产生的。

• 监督学习看似简单，但却是机器学习领域中最关键的组成部分。监督学习的核心问题有两个：回归(Regression)与分类(Classification)。那么这两大问题该如何区分呢？

• 两大问题均用来预测，但预测的内容与结果截然不同。回归问题预测的结果是连续的，往往输出的结果是一个数值。分类问题预测的结果是离散的，往往输出的结果是对一个事物打上标签。

• 比如：预测明天的温度数字，这是一个回归问题。预测明天是阴是晴，这却是一个分类问题。根据预测结果的不同便可以区分。

• 除此之外，回归可细分为：线性回归、逻辑回归、多项式回归等几种类型。分类可分为二分类、多分类等几种类型。

2.非监督学习（Unsupervised Learning)

• 监督学习的所有数据集都拥有明确且正确的标注，而非监督学习的数据集则没有相关标注。
• 如下图所示，监督学习中圈与叉代表了两类数据，监督学习所做的只是寻找一条直线将二类分开，并且可以根据此标准处理其他数据。而非监督学习的数据并没有明确标注，需要做的便是以某种角度思考相似性实现分类。
• 其中这类问题在监督学习中称为分类(Classification)，而在非监督学习中称为聚类(Clustering)。
  
• 相较于监督学习客观严谨的评判标准，非监督学习在过程中会建立一种相对主观的价值体系，并用这种主观的价值体系来筛选和分析数据。不同的思考角度与衡量标准也会产生不一样的学习结果。

3.半监督学习（Semi-Supervised Learning)

• 前面我们提到过，机器学习的分类标准很大程度上取决于数据的标注情况。监督学习的数据全部经过标注，而非监督学习的数据全部未标注。实际情况中并不像这样非黑即白，我们可能拥有大量未标注的数据，也会拥有少量标注过的数据。这样的情况便适合于半监督学习。
• 我们可以将半监督学习的数据集分为两个集合，完全标注的数据集和未标注的数据集。当然我们可以对完全标注的数据集使用有监督分类的方法，对未标注的数据集使用无监督聚类的方法。半监督学习将有监督分类与无监督聚类有机结合，优劣互补。

四、机器学习的前沿进展？

1.强化学习（Reinforcement Learning)

• 大名鼎鼎的Alpha Go打败了全球各大围棋高手，而Alpha Go的强大便是来源于强化学习（当然也包括对棋谱大量研究的监督学习）。
• 就Alpha Go的学习历程而言，我们可以清晰地看到监督学习与强化学习的区别。通过监督学习研究世界上各种棋谱，训练有素的模型当遇到某一棋局时便可以给出下一步要执行的操作。
• 而强化学习的过程是根据下一步执行的操作推演最后的结果，根据结果的优劣生成积极或者消极的反馈来表明所执行操作的优劣。当然无法知道是哪一步操作导致了最后的输赢，具体的原理有待进一步学习。

2.可能出现的几种问题？

• 现在简单的机器学习可以根据一张图片给出这是猫或者是狗的判断，而进一步AI能否给出做出此判断的理由呢？这就是Explainable AI领域。
• 原始的照片可以通过模型机器给出正确的答案，“这是只猫”。但如果人为加入了某些肉眼不可见的干扰信息，就可能导致模型机器给出错误的答案：“这是只海星”。这就是Adversarial Attack领域。
• 一般的机器学习模型都比较庞大，用很复杂的模型解决一个很简单的问题。那么能不能将模型缩小优化呢？这就是Network Compression领域。
• 完善的机器学习模型，给出输入便会得到相应的输出。但有时输入明显与主题无关，机器就会盲目根据自己的计算考量给出明显错误的答案。机器模型能否知道自己“不知道”呢？这就是Anomaly Detection领域。
• 实际应用机器学习模型后便可以知道，在实验室针对训练集我们的模型可能达到99.5%的超高精准度，而一来到实际应用场景精准度却只有57.5%。所以说训练集与测试集往往有较大的差异，我们的模型从通过训练测试到实际应用还能保证高精准度有很长的路要走。
• 看似人工智能的智力水平已超过人类，无论是围棋还是星际人类都下不过AI。但是我们要知道，机器学习的速度与能力远逊于我们人类。就星际争霸这款游戏来说，机器通过900小时的学习才达到4000分的水平，而人类只用了2小时就达到了相同水平。假设人类同样使用900小时所能达到的水平一定远超机器。机器只不过是做了人类不愿做的重复性的工作。

3.迁移学习（Transfer Learning)

4.主动学习（Meta Learning)

• 主动学习顾名思义，我们的机器模型可以具备学习学习的能力。也就是Learn to learn。以往的模型我们设计一个具有学习能力的程序，而主动学习的模型我们要设计一个可以自动学习不同学习能力的模型。这就是主动学习的含义。

5.终身学习（Life-long Learning)

-现在的大部分机器学习模型，学习了任务1后掌握了任务1，学习了任务2后忘掉任务1掌握了任务2，学习了任务3后只剩下了任务3。那能否有一种学习模型，其学习过的知识全部存储，这样不断对这个模型进行不同角度的学习训练，或许就可以成为“天网”一样的机器人。