机器学习的定义_arthursamuel 机器学习

一、什么是机器学习

1. ARTHUR SAMUEL给出的定义

ARTHUR SAMUEL是机器学习领域的先驱之一，他编写了世界上第一个棋类游戏的人工智能程序。

• ARTHUR SAMUEL对机器学习的定义：

Machine Learning is fields of study that gives
computers the ability to learn without being
explicitly programmed.

机器学习是这样的一个领域，它赋予计算机学习的能力，（这
种学习能力）不是通过显著式编程获得的。
1
2
3
4
5
6

（1）显著式编程和非显著式编程（包含两个例子）

• 在ARTHUR SAMUEL的定义中，什么是“显著式编程”？

例如 1 ：
1. 我们编程让计算机自动的区别菊花和玫瑰，现在我们人为
的告诉计算机菊花是黄色的，玫瑰是红色的（告诉计算机这
个规律），所以计算机就会看到黄色就识别为菊花，看到红色
识别为玫瑰，这就是显著式编程（告诉计算机“规律”）；

2.但是，如果我们只给计算机一堆菊花的图片，一堆玫瑰的
图片，然后编写程序，让计算机自己去总结菊花和玫瑰的区别，
如果程序写的没有问题，那么计算机就有可能通过大量的图
片，也能总结出菊花是黄色，玫瑰是红色的这个规律，当然计
算机也可能总结出菊花的花瓣很长，玫瑰的花瓣很圆等等其他
的规律；

像 2 这种的，我们事先并不约束计算机必须总结出什么规律
，而是让计算机从一大堆可能的规律中“自己”挑出最能区分出
菊花和玫瑰的一些规律。从而完成对菊花和玫瑰的识别。
这种让计算机自己总结的规律的编程方法，叫做非显著式编程。

ARTHUR SAMUEL所定义的机器学习，是专指这种非显著式编
程的方式。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

例如 2 ：
	我们编程让机器人到教室外面的咖啡机冲泡一杯咖啡，
	显著式的编程如下：
		我们发指令给机器人让他左转（门在机器人的左
		边），接着让他朝前走5步，然后右转，再超前走5
		步，走到了咖啡机的面前，然后发指令让机器人拿
		起杯子，放在合适的位置，按下按钮开始冲泡咖
		啡，等冲好咖啡，再一次发送指令，让机器人从
		原路返回。
	由以上的例子，可以知道，显著式编程有很大的劣势：
	我们必须帮机器人把它所处的环境调查的一清二楚，帮
	他规划清楚，这所耗费的时间太多了。
	
	非显著式编程的优势就体现出来了：
	非显著式编程的做法：
	1.规定机器人可以采用的一系列行为（向左，向右。。。）
	2.我们规定在特定的环境下，机器人做这些行为所带来的
	收益，我们把它叫做“收益函数”。
	例如：机器人采取某个行为让自己摔倒了，那么我们的程序
	就要规定这时候的收益函数为负值；如果机器人采取某
	个行为让自己撞到墙上了，那么我们也要规定这时候的
	收益函数为负值；如果机器人采取某个行为让自己取到
	了咖啡（程序奖励此行为），我们就规定这时候的收益
	函数为正值。

	我们一旦规定了行为和收益函数后，我们就不管了，我
	们会构造一个算法，让计算机自己去找最大化收益函数
	的行为。
	可能：一开始，计算机会采用随机化的行为；但是只要
	我们的程序编的还可以，计算机是可能找到一个最大化
	收益函数的行为模式的。
	可以得知，非显著式编程，可以让计算机通过数据，经
	验自动的学习，完成我们交给的任务。

正如 Arthur Samuel的定义，机器学习关注的是这种非显著式的编程。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

2.机器学习的第二个定义

1998年 Tom Mitshell 在他的书《Machine Learning》中的定义：

A computer program is said to learn from 
experience E with respect to some task T
and some performance measure P，if its 
performance on T ，as measured by P，improves 
with experience E.

一个计算机程序被称为可以学习，是指它能够针对某个任务T
和某个性能指标P，从经验E中学习。这种学习的特点是，它
在T上的被P所衡量的性能，会随着经验E的增加而提高。 
1
2
3
4
5
6
7
8
9

（1）举例菊花和玫瑰的例子来解释（T E P）

任务T：编写计算机程序识别菊花和玫瑰
经验E：一大堆菊花和玫瑰的图片（在机器学习中称为训练样
本 training samples）
性能指标P：不同的机器学习算法会有不同，
在这里我们以最常规的识别率（Recognition Rate）为例，
即让更多的菊花被识别为菊花，让更多的玫瑰被识别为玫瑰，
把识别的正确率简称为识别率，作为性能指标（作为最终的衡
量的标准）

根据Tom Mitshell 的定义，机器学习就是针对识别菊花和
玫瑰这样的任务构造某种算法，这种算法的特点是：当训练的
菊花和玫瑰的图片越来越多时（即Experience 越来越多
时），识别率（Performance Measure）也会越来越高。

我们会发现，前面所说的显著式编程是无法达到这一目的的，
因为它定死了程序的输入和输出，识别率不会随着训练样本的
增加而变化。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

（2）举例机器人冲泡咖啡的例子来解释（T E P）

任务T：设计程序让机器人冲咖啡
经验E：机器人多次尝试的行为和这些行为产生的结果
性能指标P：在规定时间内成功冲好咖啡的次数
如果我们编写的机器学习程序足够的好，那么机器人在运行的
过程中收集的行为越多，机器人就可以通过这些以往的行为和
经验进行学习，从而在规定的时间内，能够更多次成功的获得咖啡。
1
2
3
4
5
6

（3）Tom Mitshell 比Arthur Samuel 的定义更加数学化

根据经验E来提高性能指标P的过程是典型的最优化问题，数
学中最优化的各种理论都可以应用其中，数学在现代机器学习
中占有重要的作用。
1
2
3