《神经网络与深度学习》邱希鹏 学习笔记 (1)_机器学习与神经网络 邱

完成进度

• 第一章
• 第二章 (1)
• …

第一章 绪论

---

绪论概要介绍 人工智能 、机器学习和深度学习

1. 深度学习是一个机器学习问题，指从有限个样例中通过算法总结出一般性的规律，并可以应用到新的未知数据上。
2. 深度学习采用的模型比较复杂，指样本的原始输入到输出目标之间的数据流经多个线性或非线性的组件。

深度学习与神经网络

---

深度学习

上文提及深度学习中的组件，因为每个组件都会对信息进行加工，并进而影响后续的组件，所以我们并不清楚深度学习所得到的结果每个组件的‘贡献’，即 贡献度分配问题。

贡献度分配问题在深度学习中十分重要，它关系到如何学习每个组件的参数。

神经网络

神经网络是 人工神经网络 的简称，目前较好地解决了贡献度分配问题。

神经网络 是由人工神经元以及神经元之间的连接构成。其中，有两类特殊的神经元：一类用来接受外部的信息，一类用来输出信息。

神经网络可以看作是由一组参数控制的复杂函数，并用来处理一些模式识别 _{人脸识别 语音识别}的任务。

目前，深度学习很容易和神经网络混为一谈。这是因为由于神经网络很好地解决了贡献度分配问题，它成为了深度学习主要采用的模型。事实上，深度学习也可以采用其他模型，比如，深度信念网络_还不了解。

人工智能

---

人工智能 (Artificial Intelligence, AI ) ，简单来讲，就是让机器拥有人类的智慧，这也是我们长期的目标。

目前，随着神经科学、认知心理学等学科的发展，我们对大脑的结构有了一定的了解，但对大脑的智能是如何产生的，还知道的很少，我们不理解大脑的运作原理，以及如何产生意识、情感、记忆等功能。因此，通过“复制”人脑来实现人工智能是不切实际的。

图灵测试

1950年， 阿兰 · 图灵 (Alan Turing) 发表的论文 《Computing Machinery and Intelligence》 讨论了创造一种“智能机器”的可能性。

一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机。那么可以认为这个计算机是智能的。

图灵测试引导了人工智能很多研究方向。因为要使得计算机通过图灵测试，计算机就必须具备理解语言、学习、记忆、推理、决策等能力。这样，人工智能就延伸出了许多不同的子学科：机器感知 _{计算机视觉 语音信息处理}、学习 _{模式识别 机器学习}、语言 _{自然语言处理}、记忆 _知识表示、决策_{规划 数据挖掘}等。

达特茅斯 (Dartmouth) 会议

1956年达特茅斯 (Dartmouth) 会议标志着人工智能学科的诞生。

在这次会议上，“人工智能”被提出作为本领域的研究名称，同时，人工智能的研究使命也被确定。

John McCarthy提出了人工智能的定义：

人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。

人工智能的研究领域

目前，人工智能的主要研究领域大体可分为以下几个方面：

1. 感知：模拟人的感知能力，对外部刺激信息进行感知和加工。主要研究领域包括：语音信息处理和计算机视觉等。
2. 学习：模拟人的学习能力，主要研究如何从样例或从与环境的交互中进行学习。主要研究领域包括：监督学习、无监督学习和强化学习等。
3. 认知：模拟人的认知能力。主要研究领域包括：知识表示、自然语言处理、推理、规划、决策等。

人工智能发展历史

推理期

1956年达特茅斯会议后，研究者对人工智能的热情高涨，之后的十几年是人工智能的黄金时期。

这一时期研究者开发出了一系列智能系统，比如几何定理证明器、语言翻译器 等。这些初步的研究成果使得研究者对开发出具有人类智能的机器过于乐观，低估了实现人工智能的难度。

随着研究的深入，研究者意识到了对项目难度评估的不足，原来的乐观预期受到严重打击，人工智能的研究开始陷入低谷。

知识期

20世纪70年代，研究者意识到知识对于人工智能的重要性。特别是对于一些复杂的任务，需要专家来构建知识库。

在这一时期，出现了各种各样的 专家系统 (Expert System) ，并在特定的专业领域取得了很多成果。

学习期

为了解决诸如 语言理解、 图像理解 等问题，研究者开始将研究重点转向让计算机从数据中自己学习。

事实上，“学习”本身也是一种智能行为。从人工智能的萌芽时期开始，就有研究尝试让机器来自动学习，也就是 机器学习。机器学习的主要目的是设计和分析一些学习算法，让计算机可以从数据(经验)中自动分析并获得规律，之后利用学习到的规律对未知数据进行预测，从而帮助人们完成一些特定的任务，提高开发效率。

在人工智能领域，机器学习从一开始就是一个重要的研究领域，但直到1980年以后，机器学习因其在很多领域的出色表现，才逐渐成为热门学科。

<