吴恩达2022机器学习专项课程C2（高级学习算法）W1（神经网络）：2.1神经元与大脑

神经网络

1.初始动机*

神经网络有时也叫人工神经网络，初衷为了模拟人脑或生物大脑的学习和思考方式。现代神经网络虽与初衷有别，但仍保留一些模拟大脑的生物学动机。

2.发展历史

• 1950年代：神经网络的研究起始。
• 1980年代和1990年代：神经网络重新流行，并在应用技术如手写数字识别中展现出巨大潜力，被应用于实际问题如邮政编码读取和支票金额解析。
• 1990年代末：一度再次失宠。
• 2005年起：神经网络技术复兴并开始与“深度学习”这一术语相结合，重新获得关注。

3.深度学习*

随着时间推移，神经网络技术进化并被普遍称为“深度学习”，这一新名称使其在学术和工业界得到更广泛认可和应用。

4.应用历程

• 语音识别：先是深度学习技术显著提高了语音识别系统的性能，其中Waibel和Geoff Hinton在此领域做出了重要贡献。
• 计算机视觉：然后在2012年的ImageNet竞赛成为深度学习在计算机视觉领域的重要转折点，极大地推动了这一技术的发展。
• 自然语言处理：随后，神经网络技术也开始广泛应用于文本处理和自然语言理解领域。

生物神经元

1.基本功能

神经元是大脑中的基本工作单元，负责处理和传递信息。它通过电信号进行通信，这些信号可以在神经元之间传递。

2.神经元的互动方式

神经元拥有多个输入端（树突），这些输入端接收来自其他神经元的电信号，接收到的信号在神经元内部被处理（计算），然后通过输出端（轴突）将信号发送出去。

3.信号传递与思维形成

一个神经元的输出可以成为另一个神经元的输入，形成复杂的神经网络，这种神经元间的互动和信号传递是人类思维和认知功能的基础。

4.神经网络的形成

神经元有时会形成新的连接，这种可塑性是学习和记忆的生物学基础。

生物神经元简化

1.生物神经元的结构

• 细胞体：神经元的主体部分，包含细胞核，是处理信息的中心。
• 树突：接收来自其他神经元的信号的输入结构。
• 轴突：从神经元传出信号到其他神经元的输出结构，通过电脉冲形式传递信号。

2.信号传递过程

神经元通过树突接收电信号，经过细胞体的处理后，通过轴突发送到其他神经元。

3.生物学术语与人工神经网络

虽然了解这些生物学术语有助于理解神经元的工作原理，但在设计和理解人工神经网络时，不必深入了解所有这些细节。

人工神经元*

1.模型简化

人工神经网络使用简化的数学模型来模拟生物神经元的功能。

2.人工神经网络的构建

在构建人工神经网络或深度学习算法时，通常会模拟多个神经元共同工作，传递和处理信息以实现特定功能。

3.计算和输入

一组神经元接收输入数据，进行计算，然后输出新的数据，这些数据可用于下一组神经元的输入或作为最终结果输出。

人工神经元vs生物神经元

1.人脑知识的局限性

尽管人工神经网络设计受生物神经元启发，但对人脑的理解仍有限。盲目模仿难以构建真正的原始智能，需要继续探索大脑的新工作机制。

2.深度学习的研究方向*

深度学习研究已从生物学启发转向基于工程原理，人们能更有效地使用数学和计算模型开发算法。

神经网络兴起的原因*

1.历史背景

随着互联网和移动通信的普及，社会的数字化程度显著提高，某些领域的数据量急剧增加。

2.两个因素

• 当使用大数据训练更大更复杂的神经网络模型时，其性能会显著的不断提高，尤其在处理复杂问题（如语音识别、图像识别和自然语言处理）时，表现远超传统模型。
• GPU或图形处理器单元的崛起，使计算机更快的处理数据。

总结

神经网络最初的动机是模拟人脑或生物大脑工作，现在的神经网络与初衷的差异很大，主要关注于工程原理而不是生物学，但仍保留一些生物大脑工作方式。神经网络一般由多个神经元组成，这些神经元用于接收数据输入并计算输出结果。由于数字化时代，数据量暴增，传统机器学习模型处理数据的性能变差，因此需要构建更复杂的神经网络处理数据。