深度学习：智能时代的核心驱动力量

内容简介

科技巨头纷纷拥抱学习，自动驾驶、AI、语音识别、图像识别、智能翻译以及震惊世界的 AlphaGo，背后都是学习在发挥的作用。学习是人工智能从概念到繁荣得以实现的主流技术。经过学习训练的计算机，不再被动按照指令运转，而是像自然进化的生命那样，开始自主地从经验中学习。

本书作者特伦斯 · 谢诺夫斯基是人工智能十大科学家之一、学习先驱及奠基者，亲历了学习在 20 世纪 70 年代到 90 年代的寒冬。但他和一众开拓者，利用大数据和不断增强的计算能力，终于在神经网络算法上取得重大突破，实现了人工智能井喷式的发展。

作为学习领域的通识作品，本书以恢弘的笔触，通过 3 个部分全景展现了学习的发展、演变与应用，以亲历者视角回溯了学习浪潮在过去 60 年间的发展脉络与人工智能的螺旋上升，并前瞻性地预测了智能时代的商业图景。

---

名人推荐

特伦斯是一名杰出的神经科学家，我们于 1986 年共同发明了玻尔兹曼机。

——AI 教父 杰弗里 · 辛顿

人工智能是科技王冠上的钻石，而学习代表了其中一个承上启下的重要阶段。这本书有助于在我们心目中更加清晰准确地绘制人工智能的未来图景。你可以从本书中了解到那些令人惊讶，甚至于有些担忧的科技进展，大致了解它们背后的原理。这展现了人工智能相对于人类而言的单方面优势。你也能看到许多真实事例，反映了人工智能相对于人类而言的“笨拙”。在现实中，这种“笨拙”的情况往往更加普遍。这些事例有时令人忍俊不禁，它恰恰体现了我们人类的大脑是多么精妙的设计。

——微软小冰之父、微软（亚洲）互联网工程院副院长 李笛

特伦斯 · 谢诺夫斯基作为学习领域的先驱，带领该领域由理论命题走向实证科学。这是一大飞跃。

——诺贝尔生理学或医学奖得主 埃里克 · 坎德尔

作为学习领域的亲历者，以及学习灵魂人物的同行者，谢诺夫斯基分享了这一技术发展过程中的洞见和轶事。这本书记录了人工智能这场狂飙运动，字里行间都能感受到作者的兴奋和投入。

——互联网之父、谷歌副总裁 文顿 · 瑟夫

人工智能正在觉醒，世界正在被。学习正是这一变化背后的驱动力。特伦斯 · 谢诺夫斯基扎根该领域研究 30 年，是的先驱。如果你想了解人工智能，必读此书。

——麻省理工学院斯隆商学院 埃里克 · 布林约尔夫松

---

作者简介

特伦斯 · 谢诺夫斯基 Terrence (Terry) Sejnowski

世界十大 AI 科学家之一，美国四大国家学院（国家科学院、国家医学院、国家工程院、国家艺术与科学学院）在世仅 3 位的“四院院士”之一，AI 会议 NIPS 基金会主席。

作为神经网络的先驱，早在 1986 年，特伦斯就与杰弗里 · 辛顿共同发明了玻尔兹曼机，把神经网络带入到研究与应用的热潮，将学习从边缘课题变成了互联网科技公司仰赖的核心技术，实现了人工智能井喷式的发展。

特伦斯现任美国索尔克生物研究所(美国生命科学领域成果多的研究机构) 计算神经生物学实验室主任，是美国政府注资 50 亿美元“脑计划”项目（BRAIN，the Brain Research through Advancing Innovative Neurotechnologies）领军人物。

特伦斯同时是大在线学台 Coursera 受欢迎课程《学习如何学习》（Learning how to learn）主理人，通过讲解大脑认知的底层知识，让学习者可以改变思维模式，提高学习的能力和效率。目前该课程学习人数已经超过了 300 万。

本书内容

推荐序 面对科技拐点，我们的判断与选择

李笛

微软小冰之父

微软（亚洲）互联网工程院副院长

在近年来陆续出版的、解读人工智能技术与趋势的许多书籍中，这是一本不可多得的好书。它的阅读过程令人愉悦，涉及的知识深度又比较恰当。因此，即使是不具备相关领域知识背景的读者，也能够轻松地读完它。人们完全可以利用“碎片时间”来研读这本 30 多万字的大作，从而集中了解到与人工智能相关的技术分支、组织人物与重要事件。在人工智能热度很高的当下，这本书的价值在于，帮助读者建立一种相对贴近事实的科学观。

读者可以把这本书当作一本有关人工智能的简明历史来看待。人工智能是科技王冠上的钻石，而深度学习代表了其中一个承上启下的重要阶段。深度学习脱胎于科学家们六十多年前开始的人工智能研究，其自身的概念形成，到落地开花，则只有十多年的光景。与过去相比，深度学习极大地推进了人工智能各个分支课题的发展速度；与未来相比，我们今天所取得的一切成果，都是非常粗糙的，注定会被更好的成果取代。因此，了解深度学习，就如同站在一个关键的节点上向时间河流的上下游看，一览无余。

我相信，不同的人会从这本书中得到不同的收获。总体而言，这本书有助于在我们心目中更加清晰准确地绘制人工智能的未来图景。从某种意义上说，所有的过去亦都昭示了未来，但我更建议读者以最轻松的心态来阅读它。因为这样，能够让读者以更加客观公正的视角去检阅人类与机器的能力短板与优长——你可以从本书中了解到那些令人惊讶，甚至于有些担忧的科技进展，大致了解它们背后的原理。这展现了人工智能相对于人类而言的单方面优势。另一方面，你也能看到许多真实事例，反映了人工智能相对于人类而言的“笨拙”。科学与科学幻想泾渭分明。在现实中，这种“笨拙”的情况往往更加普遍。这些事例有时令人忍俊不禁，它恰恰体现了我们人类的大脑是多么精妙的设计。

事实上，在我看来，当下最令人彷徨不定的，并不是人工智能有多么“强大”或有多么“笨拙”，而是我们已处在一个科技的拐点，需要由我们每个人对未来的走向做出抉择。这是一个非常具有现实意义的话题。虽然深度学习是这个拐点的主要推动力之一，但它并不需要为我们的困扰承担责任：

• 选择权的困扰：一辆无人驾驶汽车行驶在道路上，假设突然面临必然要发生的车祸，它应当向左撞向一个无辜的老人，还是向右撞向一个无辜的壮年？

• 决策权的困扰：一个系统可以基于人类个体不具备的广泛即时的大数据，用任何人无法企及的速度，迅速做出某个决策。这样的洞察和决策力，应该掌握在谁的手中？

• 工作权的困扰：一项基于人工智能的技术可以比人类以更好的质量和速度去完成某项生产。这项技术应该归属于工厂主来代替工人，还是应该归属于工人来帮助工厂主更好地完成工作？前者会带来失业，而后者有望带来更高的工作效率。

• 社会层面的困扰：一个面向情感的人工智能机器人帮助一个人解决孤单，却使他主动减少了与他人的社交沟通。这种陪伴究竟是在帮他解决问题，还是制造了更多的问题？

• 技术滥用的困扰：一项技术可以帮助任何人打造与他们高度相似的语音，制造出来的声音，令他的家人也难辨真假。这样的技术会不会被别有用心的人用于犯罪，例如诈骗电话？

不知不觉间，这些看似遥远的事，突然间已变成我们必须要面对的现实情况，而我们也已经在上述一些场景中做出了初步的抉择。其中一个关键因素是，人们常常对人工智能的“智商”印象深刻，但往往忽略了：人工智能系统化的优势之一在于“大规模的并发”。因此，任何一种以上技术应用的场景，只要乘以巨大的人口，都会带来很大的影响。相对而言，在围棋游戏中赢过人类，其实是最不需要担忧的了。

在微软，我们最近成立了与人工智能及伦理相关的组织，力图在当前的框架内去发现尽量多的问题，尽可能在早期就避免问题的发生。微软在人工智能领域的技术和产品线很广泛，因此我们做过的抉择也相对较多。这些抉择往往决定了我们在有能力的情况下，主动放弃去做什么。

这意味着克制与敬畏之心。例如：微软小冰在两年前推出拟人的全双工语音电话技术（Full Duplex）时，我们就制定了该产品的伦理规则，不允许在用户不知情的情况下，让小冰伪装成真人去拨打电话。我们也不使用微软小冰的技术去从事呼叫中心的外呼业务，因为它存在被滥用为垃圾广告电话的风险——尽管这些往往意味着巨大的商业价值。今天，在中国、美国、日本、印度和印度尼西亚，微软小冰拥有近7亿人类用户，如果她在对话的时候努力诱导人们去购买某种商品，显然会带来可观的收入预期。但谁会愿意和一个一心想着如何诱导你买东西的人成为知己呢？

这种克制，不仅仅是一两家企业的责任。它依赖于整个社会对人工智能，特别是深度学习相关技术的了解。对技术的了解越普遍，也就越能帮助企业更好地运用手中的技术，进而帮助我们每一个人获得更好的生活，享受人工智能为我们带来的价值。

在我看来，这就是这本书所具有的现实意义。它并非教科书，而是一本面向未来的历史书。它揭示了人工智能有望给世界、给人类带来的巨大改变，远超我们现在所能想象到的全双工语音、人脸识别、情感计算甚至是自动驾驶。换句话说，基于我们现在的技术和产品水平，相信许多人已能在脑海中比较清晰地勾勒出，自己在马路上与一辆并没有司机驾驶的汽车相遇的场景。但与人工智能即将展现的伟大图景相比，这些都不值一提。

中文版序 人工智能会放大认知能力

60 年前，数字计算机在人工智能（AI）的萌芽期问世，深度学习革命的种子也在那时被播种开来。深度学习是数据密集型的，通过实例来学习如何解决难题，比如视觉对象识别、语音识别和自然语言翻译等。人类从婴儿时期睁开眼睛的那个时刻起，就开始从经验中学习，到后来获得语言、运动、玩电子游戏等最高程度的能力；相比之下，传统的劳动密集型人工智能方法是基于编写不同的复杂计算机程序来解决每个问题。

本书讲述了 20 世纪 80 年代一小群研究人员的故事，他们证明了基于大脑式计算的全新方法是可行的，从而为深度学习的发展奠定了基础。

当时已有的人工智能学术研究中心都投注于编程，并且都具有强大的实力，但却无法解决上述任何难题。又过了 30 年，计算机才变得足够快，也出现了大量可供利用的数据。这一变化让深度学习得以克服这些难题，并在今天的人工智能领域占据主导地位。其他领域同样可以借鉴这一经验教训，例如语言学，曾经普遍持有的既定信念阻碍了该领域整整一代研究者的进步。深度学习改变了语言学，使其发展基于来自现实世界的数据，而非无法捕捉这些复杂性的理想世界的数据。

回溯历史，人工智能诞生的秘密可以在自然界中找到答案，我们对此并不应该感到惊讶。大自然有数亿年的时间通过进化找到解决方案，对这些解决方案进行逆向工程能够让我们受益匪浅。了解大脑如何运转是 21 世纪最大的挑战之一。大自然发明了许多经受住了时间考验的算法。理解这一挑战并投资于大脑研究的国家将获得巨大的回报，远远超出 20 世纪物理学和化学研究的突破所产生的影响，这些影响已经极大地丰富了我们的生活。美国已经为“BRAIN 计划”（英文全称为 Brain Research through Advancing Innovative Neurotechnologies，即“通过推动创新型神经技术开展大脑研究计划”）注资 50 亿美元，欧洲、日本和许多其他国家或地区也在进行类似的投资。中国正在投资当前的人工智能技术，但它是否拥有投资大脑研究的远见，年青一代又是否会接受这一挑战呢？

深度学习对社会和个人生活将产生深远的影响，其影响方式也是难以想象的。在本书中，我提出了一个观点，即你无须担心人工智能将接管你的工作。人工智能会让你更聪明，让你所能实现的成就达到新的高度。就像工业革命时期蒸汽机放大了物理能力一样，人工智能也会放大认知能力。我们刚刚步入一个新的时代——信息时代。我们进入的新世界不仅会使我们变得更聪明，还会让我们更清楚地认识自己，从而回答古代的哲学先驱们最早提出的一系列问题。对于自身，我们又会得出哪些深刻的见解呢？

前言 深度学习与智能的本质

如果你在连接了互联网的安卓手机或谷歌翻译平台上使用语音识别功能，你其实是在与经过深度学习训练的神经网络[1]进行交流。过去几年，深度学习为谷歌带来了丰厚的利润，足以支付 Google X 实验室中所有未来主义项目的成本，包括自动驾驶汽车、谷歌眼镜和谷歌大脑。[2]谷歌是最早拥抱深度学习的互联网公司之一，并在 2013 年聘请了深度学习之父杰弗里 · 辛顿（Geoffrey Hinton），其他公司也在竞相追赶它的脚步。

人工智能近期取得的进展得益于大脑逆向工程。分层神经网络模型的学习算法受到了神经元之间交流方式的启发，并依据经验进行了改进。在网络内部，世界的复杂性转变为五彩缤纷的内部活动模式，这些模式是智能的元素。我在 20 世纪 80 年代研究的网络模型很小，相比之下，现在的模型有数百万个人造神经元，深度达到了几十层。持久的努力、大数据和更强大的计算机运算能力使得深度学习在人工智能领域一些最困难的问题上取得了重大突破。

我们并不善于想象新技术对未来的影响。谁能在 1990 年互联网刚开始商业化的过程中预见到它对音乐产业的影响，以及对出租车业务、政治运动，还有我们日常生活几乎所有方面的影响？同样，我们也未能预见到电脑会如何改变我们的生活。IBM（国际商业机器公司）总裁托马斯 · 沃森（Thomas J. Watson）在 1943 年说的一句话后来被广泛引用：“我觉得全世界也许能卖出 5 台计算机吧。”[3]很难想象一个新发明都有哪些用途，其发明人对这些用途的预测也不见得比其他人更准确。在乌托邦和世界末日的两极之间，有很多关于深度学习和人工智能应用场景的预测空间，但即使是最具想象力的科幻小说作家也不大可能猜出它们最终会产生什么样的影响。

本书的初稿是我在太平洋西北地区[4]徒步旅行，并思索了近几十年来人工智能领域的显著变化之后写出来的。这本书讲了一个一小群研究人员挑战 AI 研究建制派的故事，这些建制派在当时拥有更充足的资金支持，并被看作“唯一的主导力量”，他们大大低估了这些问题的难度，并且所依赖的对智能的直觉，后来被证明是有误导性的。

地球上的生命充满了无数奥秘，但最具挑战性的也许是智能的本质。自然界充斥着各种形式的智能，从微小的细菌到复杂的人类智能，每种智能都适应了它在自然界中的位置。人工智能也将以多种形式出现，并在智能族谱中占据特殊的位置。随着基于深度神经网络的机器智能日渐成熟，它可以为生物智能提供一个新的概念框架。

这是一本关于深度学习的过去、现在和未来的指南。不过本书并不是对该领域发展历史的全面梳理，而是记录了这一领域重要概念的进步及其背后研究群体的个人观点。人类的记忆并不可靠，对故事的每次复述都会导致记忆的偏差，这个过程叫作“重整记忆”。这本书中的故事延续了 40 多年，尽管有些对我来说依然历历在目，就像昨天刚发生的一样，但我很清楚，那些故事在我的记忆中不断被复述时，有些细节已经悄悄地被改写了。

本书的第一部分提供了深度学习的动机和理解其起源所需的背景信息；第二部分解释了几种不同类型的神经网络架构中的学习算法；第三部分则探讨了深度学习对我们当下生活产生的影响，以及未来若干年可能产生的影响。然而，正如纽约扬基队的哲人尤吉 · 贝拉（Yogi Berra）曾经说过的那样：“做出预测很难，特别是对未来的预测。”本书前八章的内容交代了故事的技术背景；三个部分开头的要事年表记录了与这个故事有关的事件，时间跨度超过了 60 年。

---

[1] 严格地说，神经网络是一个生物实体，机器学习中使用的模型是人工神经网络——ANNies。但若无另行说明，本书中的“神经网络”默认代指人工神经网络。

[2] Conor Dougherty, “Astro Teller, Google’s ‘Captain of Moonshots,’ on Making Profits at Google X,” New York Times, February 6, 2015, https://bits.blogs.nytimes.com/2015/02/16/googles-captain-of-moonshots-on-making-profits-at-google-x. 深度学习将运行数据中心的电力成本降低了 15%，每年可以节省数亿美元。

[3] 尽管沃森在 1943 做出的估计从未得到过确认，但它反映了当时的人们普遍无法想象电脑的未来。

[4] 太平洋西北地区是指美国西北部地区和加拿大的西南部地区。——编者注

要事年表

1956 年

达特茅斯人工智能夏季研究计划（The Dartmouth Artificial Intelligence Summer Research Project）开启了人工智能领域的研究，并鼓舞了一代科学家探寻可以媲美人类智慧的信息技术的潜力。

1962 年

弗兰克 · 罗森布拉特（Frank Rosenblatt）出版了《神经动力学原理：感知器和大脑机制的理论》(Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms)，该书介绍了一种应用于具有单层可变权重的神经网络模型的学习算法，该算法是今天的深度神经网络模型的学习算法的前身。

1962 年

大卫 · 休伯尔（David Hubel）和托斯坦 · 威泽尔（Torsten Wiesel）发表了《猫的视觉皮质中的感受野、双目互动和功能架构》（Receptive Fields,Binocular Interaction and Functional Architecture in the Cat’s Visual Cortex）一文，第一次报道了由微电极记录的单个神经元的响应特性。深度学习网络的架构类似于视觉皮质的层次结构。

1969 年

马文 · 明斯基（Marvin Minsky）和西摩尔 · 帕普特（Seymour Papert）出版了《感知器》(Perceptrons)，该书指出了单个人造神经元的计算极限，标志着神经网络领域寒冬的到来。

1979 年

杰弗里 · 辛顿和詹姆斯 · 安德森（James Anderson）在加州拉荷亚市（La Jolla）举办了“关联记忆的并行模型”（Parallel Models of Associative Memory）研讨会，把新一代的神经网络先驱们聚集到了一起，同时也推动辛顿和安德森在 1981 年发表了同名系列研究著作。

1986 年

第一届神经信息处理系统大会（Neural Information Processing Systems, 以下统称 NIPS[1]）及研讨会在美国丹佛科技中心举办，该会议吸引了很多不同领域的研究人员。

---

[1] NIPS 现通称为 NeurIPS。——译者注

01 机器学习的崛起

不久之前，人们还常说，计算机视觉的辨别能力尚不如一岁大的孩子。如今看来，这句话要改写了。计算机不仅能和大多数成年人一样识别图片中的物体，在马路上驾驶汽车的安全性还高过 16 岁的青少年。更神奇的是，如今的计算机不再是被动按照指令识别和驾驶，而是像自然界的生命由数百万年前开始进化那样，自主地从经验中学习。是数据的井喷促成了这一技术进步。如果说数据是新时代的石油，那么学习算法就是从中提取信息的炼油厂；信息积累成知识；知识深化成理解；理解演变为智慧