【AI大咖】认真认识一代AI教父Hinton

AI长路漫漫，很多大咖功不可没，今天推出新的专栏《AI大咖》，让我们一起了解AI大牛，认识他们的研究，打听他们的八卦吧。

今天首“扒”深度学习鼻祖—Geoffrey Hinton，一起走进AI教父的传奇人生。

作者 | 言有三&小满

编辑 | 言有三&小满

 

1 30秒了解Hinton

Geoffrey Everest Hinton，加拿大认知心理学家和计算机科学家，1947年生人，现年72岁，有两任妻子，两个孩子，被誉为”人工智能教父“。

Hinton在剑桥大学获得实验心理学学士学位，在爱丁堡大学获得人工智能博士学位。现任Google副总裁兼工程研究员，同时在多伦多大学教书育人，也是VectorInstitute首席科学顾问。

个人主页：

http://www.cs.toronto.edu/~hinton/bio.html。

2018年因作为“深度学习领域的三大先驱之一”获得图灵奖，被彭博社选为2017年改变全球商业格局的50人。

Hinton率先将反向传播(Backpropagation)用于多层神经网络，发明了玻尔兹曼机(Boltzmann machine)，提出逐层初始化预训练方法揭开了深度学习的序幕，提出了胶囊神经网络(capsule network)。

Hinton也培养了一批“优秀”的学生，包括：

同获2018年图灵奖的Yann LeCun是Hinton的博士后，担任Facebook人工智能研究院总监。

Brendan Frey是Hinton的博士，DeepGenomics公司创始人和CEO。

Radford Neal是Hinton的博士，R语言的pqR解释器作者。

Ilya Sutskever是Hinton的博士，DNNresearch的联合创始人，目前任OpenAI 研究总监。

Alex Krizhevsky是Hinton的博士，AlexNet网络一作。

 

2 代表性研究论文

2.1、反向传播算法的使用

Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 1988, 5(3): 1.

2.2、CNN语音识别开篇TDN网络

Waibel A, Hanazawa T, Hinton G, et al. Phoneme recognition using time-delay neural networks[J]. Backpropagation: Theory, Architectures and Applications, 1995: 35-61.

2.3、DBN网络的学习

Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.

2.4、深度学习的开篇

Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.

2.5、数据降维可视化方法t-SNE

Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605.

2.6、DBM模型

Salakhutdinov R, Hinton G. Deep boltzmann machines[C]//Artificial intelligence and statistics. 2009: 448-455.

2.7、ReLU激活函数的使用

Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 807-814.

2.8、RBM模型的训练

Hinton G E. A practical guide to training restricted Boltzmann machines[M]//Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg, 2012: 599-619.

2.9、深度学习语音识别开篇Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition[J]. IEEE Signal processing magazine, 2012, 29.

2.10、深度学习图像识别开篇AlexNet

Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

2.11、权重初始化和Momentum优化方法的研究

Sutskever I, Martens J, Dahl G, et al. On the importance of initialization and momentum in deep learning[C]//International conference on machine learning. 2013: 1139-1147.

2.12、 Dropout方法提出

Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

2.13、三巨头深度学习综述LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.

2.14、蒸馏学习算法

Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.

2.15、Capsule Network

Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]//Advances in neural information processing systems. 2017: 3856-3866.

Hinton总的论文引用量为280000+，近年来发表作品较少，但是随着深度学习研究进步，引用量大幅度增加。

所有的论文，在以下GitHub项目中可以获取，或者给公众号发送关键词消息“Hinton”，即可获得下载链接。

https://github.com/longpeng2008/Awesome_DNN_Researchers

 

3 代表性个人成就

1998年被授予英国皇家学会(Royal Society)会员

2001年被授予国际认知科学领域最高学术荣誉Rumelhart Prize

2005年被授予国际人工智能联合会议(IJCAI)卓越研究奖

2016年被授予美国国家工程院外籍院士

2018年被授予图灵奖

 

4 优秀，来自彪悍家族的压力

Hinton是Hinton家的优秀男性基因和Boole家的优秀女性基因的继承者。

布尔代数的Boole，深度学习泰斗Hinton，《牛虻》作者伏尼契，北京第一位中国绿卡获得者寒春……原来都是相亲相爱的一家人！

主人公Geoffrey Everest Hinton出生在英国南部的温布尔登，在布里斯托尔长大，下面是小时候的照片。

母亲(Margaret Clark)是一位数学老师，父亲(Howard Everest Hinton)是一位专注甲壳虫研究的昆虫学家。

Hinton的父亲是一个对体力和智力都严苛要求、让人心生敬畏的父亲，Hinton回忆说，“他喜欢那些思维清晰的人。如果你说了哪怕一点废话，他就会称其为垃圾。他不是那种多愁善感的思想者，他也不会虐待人，但他确实极其强硬。”

Hinton的曾祖父(Charles Howard Hinton)是一名数学家和科幻作家。

他的妻子叫Mary Ellen，Mary Ellen的父亲叫George Boole，就是布尔代数、布尔电路、布尔类型、布尔表达式等等中的布尔。

曾祖父有两个儿子，一位是主人公的爷爷，另一位(Sebastian Hinton)也生有两个孩子：William Howard Hinton和Joan Chase Hinton。哥哥William中文名韩丁，一位农学家、记者、马克思主义者，1945年来到中国，写过很多关于中国的书，最著名的就是《翻身》。妹妹Joan中文名寒春，芝加哥大学核物理研究所研究生，参与过曼哈顿计划，因原子弹的巨大破坏而放弃核物理，也是北京第一位中国绿卡获得者。

Hinton的中间名是Everest，来自他曾祖母的叔叔、地理学家Everest，“珠穆朗玛峰”的英文名就是以他的名字命名的。

爆过家谱后，是不是和小编一样感叹这个恐怖的家族拥有着十分强大的基因，一次访谈中Hinton打趣到，“我大概在7岁的时候就意识到，不读博士不行了”。

 

5 成功者的标配，不顺利的求学路

Hinton说过，从小他的母亲给过他两种选择：“做学者，或是做失败者”。

中学时，Hinton在克里夫顿学院结识了一位朋友了解到了全息图，其中讲到了人脑如何存储记忆，这是Hinton的AI之路的开始。

18岁的Hinton进入剑桥大学国王学院攻读物理和化学，但只读了一个月就退学了。一年之后，他又重新申请了国王学院的建筑学，结果又退学了，这次他只坚持了一天。之后又转向了物理和生理学，后来又转到了哲学，花1年修完了2年的课程，结果和自己的导师吵了起来。最后的最后，他转向了心理学，并在1970年获得实验心理学学士学位。毕竟，优秀的人才都要经历几次退学。

毕业后Hinton成了一名木匠，一边做书架、木门，一边思考大脑工作原理。

一年多的体力劳动后回归了学术界。1972年，Hinton进入爱丁堡大学，开始读人工智能博士，主攻神经网络。

一次，Hinton参加了一个类似EST-y的研讨班。活动最后一天，每个人都要宣布各自生命中最最想要的东西。当大家在窃窃私语说想要被爱时，Hinton的宣言令自己和大家都大吃一惊。“我真正想要的是一个博士！”，他怒吼到，点燃了一个7岁时就藏匿在内心的想法。

 

6 信我，直到世界追上我的脚步

为了找到一个支持他研究神经网络的栖身之处，也避免研究被用于军事项目，Hinton来到了加拿大高级研究所(CIFAR)，就是CIFAR10/CIFAR100数据集中的那个CIFAR，最后落脚在加拿大的多伦多大学。

如今因为Hinton，加拿大现已成为AI研究的重要力量之一，吸引了多家人工智慧巨头将研究中心开到了多伦多。

来到加拿大后，Hinton慢慢的有了一小撮深度学习的跟随者，包括OpenAI的联合创始人兼董事伊利亚•苏奇凯弗(Ilya sutskever)等。

80年代早期计算机没有能力处理神经网络所需的大量数据，所以Hinton等人的成功是有限的，当时AI的主流方向不是模仿大脑。AI研究的工作岗位和资金稀缺使得这10名左右的团队在“AI寒冬”的黑暗中等待着黎明。

21世纪初期，Hinton被一些学术机构，AI与计算机科学领域的圈子拒之门外。参加学术会议时，Hinton常坐在房间的最角落里，在大牛云集的会议上完全被忽视。

直到这个世界开始慢慢追上他的脚步。

进入21世纪后计算机硬件的能力发展迅速，数据以惊人的速度开始积累，神经网络的训练开始变得可行。

2006年Hinton在Science上发表文章揭开了深度学习的序幕。2009年Hinton的2位学生使用神经网络赢下了一个语音识别比赛。2012年另外两个学生轻松赢下了当年的ImageNet ILSVRC挑战赛，提出著名的AlexNet。

Hinton说：“我们不再是疯子边缘，我们现在是疯狂的核心”。

Hinton的脚步从未停歇，2017年发表了Capsule Networks(胶囊网络)，带来了深度学习的新研究方向。

 

7 两任妻子的生命，坚定拥抱AI医疗

Hinton的第一任妻子Ros因为卵巢癌去世，第二任妻子Jackie后来也被诊断出患有胰腺癌。

在陪伴妻子治病时，Hinton目睹了太多低效的数据处理和大量误诊带来的困扰，这让他对深度学习改革医疗的潜力更加充满热情。

Hinton建立了向量学院Vector Institute，最早的一批项目中就包括用神经网络研究多伦多医院提供的大量数据。后来Hinton的学生Brendan Frey在多伦多创办了Deep Genomics，正开发能够读取DNA的AI。

AI在医疗方向的研究也是当下的热门，期望AI能够在人类对抗疾病的战争中发挥更大的作用。

 

8 Hinton经典语句

“大概在7岁的时候我就意识到，不读博士不行了。”

“如果你想了解非常复杂的设备，像大脑这样的，你必须要自己做一个。”

"大家都不认可时，为什么不放弃？因为坚信“其他人都错了！”

“我们都是机器，只不过是以生物的方式出生。大多数做AI的人毫不怀疑我们是机器。人类只是非常有想象力的机器。我不应该这样说，但我们都是特别的、很棒的机器。”

 

总结

AI教父Hinton因从小伤了背，05年之后严重到不能坐立，已站立工作12年，他坚持大步行走在大学操场上，Google公司内。他的一生经历过学术界的不认可、科研世家的压力、两任患癌的妻子，用了40年执着神经网络，终引人工智能风骚，向Hinton致敬。

转载文章请后台联系

侵权必究

感谢各位看官的耐心阅读，不足之处希望多多指教。后续内容将会不定期奉上，欢迎大家关注有三公众号 有三AI！