神经网络模型的基本原理,神经网络模型结构图_经典概念的定义由三部分组成,第一部分是概念的____表示,第二部分是概念的____
赞
踩
人工神经网络的发展历史
1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。
他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。
60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。
M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。
他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。
在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。
1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。
1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。
1986年进行认知微观结构地研究，提出了并行分布处理的理论。1986年，Rumelhart,Hinton,Williams发展了BP算法。
Rumelhart和McClelland出版了《Paralleldistributionprocessing:explorationsinthemicrostructuresofcognition》。
迄今，BP算法已被用于解决大量实际问题。1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。
1988年，Broomhead和Lowe用径向基函数(Radialbasisfunction,RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。
90年代初，Vapnik等提出了支持向量机(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)维数的概念。
人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。
在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。
谷歌人工智能写作项目：小发猫
BP神经网络的发展历史
人工神经网络早期的研究工作应追溯至上世纪40年代人工神经网络基本原理，人工神经网络原理与实践。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。
1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。
因而，他们两人可称为人工神经网络研究的先驱。1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。
1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。
但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。
虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。
这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。
然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异或这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。
60年代末期，人工神经网络的研究进入了低潮。另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。
当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。
80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。
美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。
随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。
神经网络的历史是什么？
沃伦·麦卡洛克和沃尔特·皮茨（1943）基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。
一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能里的应用。一、赫布型学习二十世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习。
赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。从1948年开始，研究人员将这种计算模型的思想应用到B型图灵机上。
法利和韦斯利·A·克拉克（1954）首次使用计算机，当时称作计算器，在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特（1956）等人模拟了一台IBM704计算机上的抽象神经网络的行为。
弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。
这种回路一直无法被神经网络处理，直到保罗·韦伯斯(1975)创造了反向传播算法。在马文·明斯基和西摩尔·派普特（1969）发表了一项关于机器学习的研究以后，神经网络的研究停滞不前。
他们发现了神经网络的两个关键问题。第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。
直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。二、反向传播算法与复兴后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法（Werbos1975）。
这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。在二十世纪80年代中期，分布式并行处理（当时称作联结主义）流行起来。
戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。
人们不清楚人工神经网络能多大程度地反映大脑的功能。
支持向量机和其他更简单的方法（例如线性分类器）在机器学习领域的流行度逐渐超过了神经网络，但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。
三、2006年之后的进展人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。
如果成功的话，这会创造出一种新的神经计算设备，因为它依赖于学习而不是编程，并且它从根本上就是模拟的而不是数字化的，虽然它的第一个实例可能是数字化的CMOS设备。
在2009到2012年之间，JürgenSchmidhuber在SwissAILabIDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。
例如，AlexGravesetal.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛，而且之前并不知道关于将要学习的3种语言的信息。
IDSIA的DanCiresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛，包括IJCNN2011交通标志识别比赛等等。
他们的神经网络也是第一个在重要的基准测试中（例如IJCNN2012交通标志识别和NYU的扬·勒丘恩（YannLeCun）的MNIST手写数字问题）能达到或超过人类水平的人工模式识别器。
类似1980年KunihikoFukushima发明的neocognitron和视觉标准结构（由DavidH.Hubel和TorstenWiesel在初级视皮层中发现的那些简单而又复杂的细胞启发）那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。
2012年，神经网络出现了快速的发展，主要原因在于计算技术的提高，使得很多复杂的运算变得成本低廉。以AlexNet为标志，大量的深度网络开始出现。
2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。
构成典型的人工神经网络具有以下三个部分：1、结构（Architecture）结构指定了网络中的变量和它们的拓扑关系。
例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activitiesoftheneurons）。
2、激励函数（ActivationRule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。
一般激励函数依赖于网络中的权重（即该网络的参数）。3、学习规则（LearningRule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。
一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入图像的数据所激发。
在激励值被加权并通过一个函数（由网络的设计者确定）后，这些神经元的激励值被传递到其他神经元。这个过程不断重复，直到输出神经元被激发。最后，输出神经元的激励值决定了识别出来的是哪个字母。
人工神经网络是哪一年由谁提出来的
人工神经网络是1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts提出来。
他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。
60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。
M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。
扩展资料人工神经网络的特点和优越性，主要表现在三个方面：第一，具有自学习功能。
例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。
预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。第三，具有高速寻找优化解的能力。
寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
人工智能的发展概况
探讨人工智能，就要回答什么是智能的问题，综合各类定义，智能是一种知识与思维的合成,是人类认识世界和改造世界过程中的一种分析问题和解决问题的综合能力。
对于人工智能，美国麻省理工学院的温斯顿教授提出“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作”，斯坦福大学人工智能研究中心尼尔逊教授提出“人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学”。
综合来看人工智能是相对人的智能而言的。其本质是对人思维的信息过程的模拟，是人的智能的物化。是研究、开发模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
（一）感知、处理和反馈构成人工智能的三个关键环节人工智能经过信息采集、处理和反馈三个核心环节，综合表现出智能感知、精确性计算、智能反馈控制，即感知、思考、行动三个层层递进的特征。
智能感知：智能的产生首先需要收集到足够多的结构化数据去表述场景，因此智能感知是实现人工智能的第一步。
智能感知技术的目的是使计算机能“听”、会“看”,目前相应的计算机视觉技术和自然语言处理技术均已经初步成熟，开始商业化尝试。
智能处理：产生智能的第二步是使计算机具备足够的计算能力模拟人的某些思维过程和行为对分析收集来的数据信息做出判断，即对感知的信息进行自我学习、信息检索、逻辑判断、决策，并产生相应反映。
具体的研究领域包括知识表达、自动推理、机器学习等，与精确性计算及编程技术、存储技术、网络技术等密切相关，是大数据技术发展的远期目标，目前该领域研究还处于实验室研究阶段，其中机器学习是人工智能领域目前热度最高，科研成果最密集的领域。
智能反馈：智能反馈控制将前期处理和判断的结果转译为肢体运动和媒介信息传输给人机交互界面或外部设备，实现人机、机物的信息交流和物理互动。
智能反馈控制是人工智能最直观的表现形式，其表达能力展现了系统整体的智能水平。
智能反馈控制领域与机械技术、控制技术和感知技术密切相关，整体表现为机器人学，目前机械技术受制于材料学发展缓慢，控制技术受益于工业机器人领域的积累相对成熟。
（二）深度学习是当前最热的人工智能研究领域在学术界，实现人工智能有三种路线，一是基于逻辑方法进行功能模拟的符号主义路线，代表领域有专家系统和知识工程。
二是基于统计方法的仿生模拟的连接主义路线，代表领域有机器学习和人脑仿生，三是行为主义，希望从进化的角度出发，基于智能控制系统的理论、方法和技术，研究拟人的智能控制行为。
当前，基于人工神经网络的深度学习技术是当前最热的研究领域，被Google，Facebook，IBM，百度，NEC以及其他互联网公司广泛使用，来进行图像和语音识别。
人工神经网络从上个世纪80年代起步，科学家不断优化和推进算法的研究，同时受益于计算机技术的快速提升，目前科学家可以利用GPU（图形处理器）模拟超大型的人工神经网络；互联网业务的快速发展，为深度学习提供了上百万的样本进行训练，上述三个因素共同作用下使语音识别技术和图像识别技术能够达到90%以上的准确率。
（三）主要发达国家积极布局人工智能技术，抢占战略制高点。各国政府高度重视人工智能相关产业的发展。
自人工智能诞生至今，各国都纷纷加大对人工智能的科研投入，其中美国政府主要通过公共投资的方式牵引人工智能产业的发展，2013财年美国政府将22亿美元的国家预算投入到了先进制造业，投入方向之一便是“国家机器人计划”。
在技术方向上，美国将机器人技术列为警惕技术，主攻军用机器人技术，欧洲主攻服务和医疗机器人技术，日本主攻仿人和娱乐机器人。现阶段的技术突破的重点一是云机器人技术，二是人脑仿生计算技术。
美国、日本、巴西等国家均将云机器人作为机器人技术的未来研究方向之一。
伴随着宽带网络设施的普及，云计算、大数据等技术的不断发展，未来机器人技术成本的进一步降低和机器人量产化目标实现，机器人通过网络获得数据或者进行处理将成为可能。
目前国外相关研究的方向包括：建立开放系统机器人架构（包括通用的硬件与软件平台）、网络互联机器人系统平台、机器人网络平台的算法和图像处理系统开发、云机器人相关网络基础设施的研究等。
由于深度学习的成功，学术界进一步沿着连接主义的路线提升计算机对人脑的模拟程度。
人脑仿生计算技术的发展，将使电脑可以模仿人类大脑的运算并能够实现学习和记忆，同时可以触类旁通并实现对知识的创造，这种具有创新能力的设计将会让电脑拥有自我学习和创造的能力，与人类大脑的功能几无二致。
在2013年初的国情咨文中，美国总统奥巴马特别提到为人脑绘图的计划，宣布投入30亿美元在10年内绘制出“人类大脑图谱”，以了解人脑的运行机理。
欧盟委员会也在2013年初宣布，石墨烯和人脑工程两大科技入选“未来新兴旗舰技术项目”，并为此设立专项研发计划，每项计划将在未来10年内分别获得10亿欧元的经费。
美国IBM公司正在研究一种新型的仿生芯片，利用这些芯片，人类可以实现电脑模仿人脑的运算过程，预计最快到2019年可完全模拟出人类大脑。
（四）高科技企业普遍将人工智能视为下一代产业革命和互联网革命的技术引爆点进行投资，加快产业化进程。
谷歌在2013年完成了8家机器人相关企业的收购，在机器学习方面也大肆搜罗企业和人才，收购了DeepMind和计算机视觉领军企业AndrewZisserman，又聘请DARPA原负责人ReginaDugan负责颠覆性创新项目的研究，并安排构建Google基础算法和开发平台的著名计算机科学家JeffDean转战深度学习领域。
苹果2014年在自动化上的资本支出预算高达110亿美元。
苹果手机中采用的Siri智能助理脱胎于美国先进研究项目局（DARPA）投资1.5亿美元，历时5年的CALO（CognitiveAssistantthatLearnsandOrganizes）项目，是美国首个得到大规模产业化应用的人工智能项目。
Amazon计划在2015年能够使用自己的机器人飞行器进行快递服务。
韩国和日本的各家公司也纷纷把机器人技术移植到制造业新领域并尝试进入服务业（五）人工智能的实际应用人工智能概念从1956年提出，到今天初步具备产品化的可能性经历了58年的演进，各个重要组成部分的研究进度和产品化水平各不相同。
人工智能产品的发展是一个渐进性的过程，是一个从单一功能设备向通用设备，从单一场景到复杂场景，从简单行为到复杂行为的发展过程，具有多种表现形式。
人工智能产品近期仍将作为辅助人类工作的工具出现，多表现为传统设备的升级版本，如智能/无人驾驶汽车，扫地机器人，医疗机器人等。
汽车、吸尘器等产品和人类已经有成熟的物理交互模式，人工智能技术通过赋予上述产品一定的机器智能来提升其自动工作的能力。
但未来将会出现在各类环境中模拟人类思维模式去执行各类任务的真正意义的智能机器人，这类产品没有成熟的人机接口可以借鉴，需要从机械、控制、交互各个层面进行全新研发。希望我的回答可以帮到您哦。
BP神经网络的起源学说
人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。
大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。
人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。
人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。
与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。
神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。
树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。
但是，由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。
人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。
利用突触效能的变化来调整存贮内容人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。
虽然人脑每日有大量神经细胞死亡（平均每小时约一千个），但不影响大脑的正常思维活动。
普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。元器件的局部损坏及程序中的微小错误都可能引起严重的失常。
人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。
普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。
人工智能的发展,主要经历哪几个阶段?
1孕育阶段这个阶段主要是指1956年以前。
自古以来，人们就一直试图用各种机器来代替人的部分脑力劳动，以提高人们征服自然的能力，其中对人工智能的产生、发展有重大影响的主要研究成果包括：早在公元前384-公元前322年，伟大的哲学家亚里士多德(Aristotle)就在他的名著《工具论》中提出了形式逻辑的一些主要定律，他提出的三段论至今仍是演绎推理的基本依据。
英国哲学家培根(F.Bacon)曾系统地提出了归纳法，还提出了“知识就是力量”的警句。这对于研究人类的思维过程，以及自20世纪70年代人工智能转向以知识为中心的研究都产生了重要影响。
德国数学家和哲学家莱布尼茨(G.W.Leibniz)提出了万能符号和推理计算的思想，他认为可以建立一种通用的符号语言以及在此符号语言上进行推理的演算。
这一思想不仅为数理逻辑的产生和发展奠定了基础，而且是现代机器思维设计思想的萌芽。英国逻辑学家布尔(C.Boole)致力于使思维规律形式化和实现机械化，并创立了布尔代数。
他在《思维法则》一书中首次用符号语言描述了思维活动的基本推理法则。
英国数学家图灵(A.M.Turing)在1936年提出了一种理想计算机的数学模型，即图灵机，为后来电子数字计算机的问世奠定了理论基础。
美国神经生理学家麦克洛奇(W.McCulloch)与匹兹(W.Pitts)在1943年建成了第一个神经网络模型(M-P模型)，开创了微观人工智能的研究领域，为后来人工神经网络的研究奠定了基础。
美国爱荷华州立大学的阿塔纳索夫(Atanasoff)教授和他的研究生贝瑞(Berry)在1937年至1941年间开发的世界上第一台电子计算机“阿塔纳索夫-贝瑞计算机(Atanasoff-BerryComputer，ABC)”为人工智能的研究奠定了物质基础。
需要说明的是：世界上第一台计算机不是许多书上所说的由美国的莫克利和埃柯特在1946年发明。这是美国历史上一桩著名的公案。
由上面的发展过程可以看出，人工智能的产生和发展绝不是偶然的，它是科学技术发展的必然产物。2形成阶段这个阶段主要是指1956-1969年。
1956年夏季，由当时达特茅斯大学的年轻数学助教、现任斯坦福大学教授麦卡锡(J.MeCarthy)联合哈佛大学年轻数学和神经学家、麻省理工学院教授明斯基(M.L.Minsky)，IBM公司信息研究中心负责人洛切斯特(N.Rochester)，贝尔实验室信息部数学研究员香农(C.E.Shannon)共同发起，邀请普林斯顿大学的莫尔(T.Moore)和IBM公司的塞缪尔(A.L.Samuel)、麻省理工学院的塞尔夫里奇(O.Selfridge)和索罗莫夫(R.Solomonff)以及兰德(RAND)公司和卡内基梅隆大学的纽厄尔(A.Newell)、西蒙(H.A.Simon)等在美国达特茅斯大学召开了一次为时两个月的学术研讨会，讨论关于机器智能的问题。
会上经麦卡锡提议正式采用了“人工智能”这一术语。麦卡锡因而被称为人工智能之父。这是一次具有历史意义的重要会议，它标志着人工智能作为一门新兴学科正式诞生了。
此后，美国形成了多个人工智能研究组织，如纽厄尔和西蒙的Carnegie-RAND协作组，明斯基和麦卡锡的MIT研究组，塞缪尔的IBM工程研究组等。
自这次会议之后的10多年间，人工智能的研究在机器学习、定理证明、模式识别、问题求解、专家系统及人工智能语言等方面都取得了许多引人注目的成就，例如：在机器学习方面，1957年Rosenblatt研制成功了感知机。
这是一种将神经元用于识别的系统，它的学习功能引起了广泛的兴趣，推动了连接机制的研究，但人们很快发现了感知机的局限性。
在定理证明方面，美籍华人数理逻辑学家王浩于1958年在IBM-704机器上用3~5min证明了《数学原理》中有关命题演算的全部定理(220条)，并且还证明了谓词演算中150条定理的85%，1965年鲁宾逊(J.A.Robinson)提出了归结原理，为定理的机器证明作出了突破性的贡献。
在模式识别方面，1959年塞尔夫里奇推出了一个模式识别程序，1965年罗伯特(Roberts)编制出了可分辨积木构造的程序。
在问题求解方面，1960年纽厄尔等人通过心理学试验总结出了人们求解问题的思维规律，编制了通用问题求解程序(GeneralProblemSolver，GPS)，可以用来求解11种不同类型的问题。
在专家系统方面，美国斯坦福大学的费根鲍姆(E.A.Feigenbaum)领导的研究小组自1965年开始专家系统DENDRAL的研究，1968年完成并投入使用。
该专家系统能根据质谱仪的实验，通过分析推理决定化合物的分子结构，其分析能力已接近甚至超过有关化学专家的水平，在美、英等国得到了实际的应用。
该专家系统的研制成功不仅为人们提供了一个实用的专家系统，而且对知识表示、存储、获取、推理及利用等技术是一次非常有益的探索，为以后专家系统的建造树立了榜样，对人工智能的发展产生了深刻的影响，其意义远远超过了系统本身在实用上所创造的价值。
在人工智能语言方面，1960年麦卡锡研制出了人工智能语言(ListProcessing，LISP)，成为建造专家系统的重要工具。
1969年成立的国际人工智能联合会议(InternationalJointConferencesOnArtificialIntelligence，IJCAI)是人工智能发展史上一个重要的里程碑，它标志着人工智能这门新兴学科已经得到了世界的肯定和认可。
1970年创刊的国际性人工智能杂志《ArtificialIntelligence》对推动人工智能的发展，促进研究者们的交流起到了重要的作用。3发展阶段这个阶段主要是指1970年以后。
进入20世纪70年代，许多国家都开展了人工智能的研究，涌现了大量的研究成果。
例如，1972年法国马赛大学的科麦瑞尔(A.Comerauer)提出并实现了逻辑程序设计语言PROLOG；斯坦福大学的肖特利夫(E.H.Shorliffe)等人从1972年开始研制用于诊断和治疗感染性疾病的专家系统MYCIN。
但是，和其他新兴学科的发展一样，人工智能的发展道路也不是平坦的。例如，机器翻译的研究没有像人们最初想象的那么容易。当时人们总以为只要一部双向词典及一些词法知识就可以实现两种语言文字间的互译。
后来发现机器翻译远非这么简单。实际上，由机器翻译出来的文字有时会出现十分荒谬的错误。例如，当把“眼不见，心不烦”的英语句子“Outofsight，outofmind”。
翻译成俄语变成“又瞎又疯”；当把“心有余而力不足”的英语句子“Thespiritiswillingbutthefleshisweak”翻译成俄语，然后再翻译回来时竟变成了“Thewineisgoodbutthemeatisspoiled”，即“酒是好的，但肉变质了”；当把“光阴似箭”的英语句子“Timeflieslikeanarrow”翻译成日语，然后再翻译回来的时候，竟变成了“苍蝇喜欢箭”。
由于机器翻译出现的这些问题，1960年美国政府顾问委员会的一份报告裁定：“还不存在通用的科学文本机器翻译，也没有很近的实现前景。”因此，英国、美国当时中断了对大部分机器翻译项目的资助。
在其他方面，如问题求解、神经网络、机器学习等，也都遇到了困难，使人工智能的研究一时陷入了困境。人工智能研究的先驱者们认真反思，总结前一段研究的经验和教训。
1977年费根鲍姆在第五届国际人工智能联合会议上提出了“知识工程”的概念，对以知识为基础的智能系统的研究与建造起到了重要的作用。大多数人接受了费根鲍姆关于以知识为中心展开人工智能研究的观点。
从此，人工智能的研究又迎来了蓬勃发展的以知识为中心的新时期。
这个时期中，专家系统的研究在多种领域中取得了重大突破，各种不同功能、不同类型的专家系统如雨后春笋般地建立起来，产生了巨大的经济效益及社会效益。
例如，地矿勘探专家系统PROSPECTOR拥有15种矿藏知识，能根据岩石标本及地质勘探数据对矿藏资源进行估计和预测，能对矿床分布、储藏量、品位及开采价值进行推断，制定合理的开采方案。
应用该系统成功地找到了超亿美元的钼矿。专家系统MYCIN能识别51种病菌，正确地处理23种抗菌素，可协助医生诊断、治疗细菌感染性血液病，为患者提供最佳处方。
该系统成功地处理了数百个病例，并通过了严格的测试，显示出了较高的医疗水平。美国DEC公司的专家系统XCON能根据用户要求确定计算机的配置。
由专家做这项工作一般需要3小时，而该系统只需要0.5分钟，速度提高了360倍。DEC公司还建立了另外一些专家系统，由此产生的净收益每年超过4000万美元。
信用卡认证辅助决策专家系统AmericanExpress能够防止不应有的损失，据说每年可节省2700万美元左右。
专家系统的成功，使人们越来越清楚地认识到知识是智能的基础，对人工智能的研究必须以知识为中心来进行。
对知识的表示、利用及获取等的研究取得了较大的进展，特别是对不确定性知识的表示与推理取得了突破，建立了主观Bayes理论、确定性理论、证据理论等，对人工智能中模式识别、自然语言理解等领域的发展提供了支持，解决了许多理论及技术上的问题。
人工智能在博弈中的成功应用也举世瞩目。人们对博弈的研究一直抱有极大的兴趣，早在1956年人工智能刚刚作为一门学科问世时，塞缪尔就研制出了跳棋程序。这个程序能从棋谱中学习，也能从下棋实践中提高棋艺。
1959年它击败了塞缪尔本人，1962年又击败了一个州的冠军。
1991年8月在悉尼举行的第12届国际人工智能联合会议上，IBM公司研制的“深思”(DeepThought)计算机系统就与澳大利亚象棋冠军约翰森(D.Johansen)举行了一场人机对抗赛，结果以1:1平局告终。
1957年西蒙曾预测10年内计算机可以击败人类的世界冠军。虽然在10年内没有实现，但40年后深蓝计算机击败国际象棋棋王卡斯帕罗夫(Kasparov)，仅仅比预测迟了30年。
1996年2月10日至17日，为了纪念世界上第一台电子计算机诞生50周年，美国IBM公司出巨资邀请国际象棋棋王卡斯帕罗夫与IBM公司的深蓝计算机系统进行了六局的“人机大战”。
这场比赛被人们称为“人脑与电脑的世界决战”。参赛的双方分别代表了人脑和电脑的世界最高水平。当时的深蓝是一台运算速度达每秒1亿次的超级计算机。
第一盘，深蓝就给卡斯帕罗夫一个下马威，赢了这位世界冠军，给世界棋坛以极大的震动。但卡斯帕罗夫总结经验，稳扎稳打，在剩下的五盘中赢三盘，平两盘，最后以总比分4:2获胜。
一年后，即1997年5月3日至11日，深蓝再次挑战卡斯帕罗夫。这时，深蓝是一台拥有32个处理器和强大并行计算能力的RS/6000SP/2的超级计算机，运算速度达每秒2亿次。
计算机里存储了百余年来世界顶尖棋手的棋局，5月3日棋王卡斯帕罗夫首战击败深蓝，5月4日深蓝扳回一盘，之后双方战平三局。
双方的决胜局于5月11日拉开了帷幕，卡斯帕罗夫在这盘比赛中仅仅走了19步便放弃了抵抗，比赛用时只有1小时多一点。这样，深蓝最终以3.5：2.5的总比分赢得这场举世瞩目的“人机大战”的胜利。
深蓝的胜利表明了人工智能所达到的成就。尽管它的棋路还远非真正地对人类思维方式的模拟，但它已经向世人说明，电脑能够以人类远远不能企及的速度和准确性，实现属于人类思维的大量任务。
深蓝精湛的残局战略使观战的国际象棋专家们大为惊讶。卡斯帕罗夫也表示：“这场比赛中有许多新的发现，其中之一就是计算机有时也可以走出人性化的棋步。
在一定程度上，我不能不赞扬这台机器，因为它对盘势因素有着深刻的理解，我认为这是一项杰出的科学成就。”因为这场胜利，IBM的股票升值为180亿美元。
4人工智能的学派根据前面的论述，我们知道要理解人工智能就要研究如何在一般的意义上定义知识，可惜的是，准确定义知识也是个十分复杂的事情。
严格来说，人们最早使用的知识定义是柏拉图在《泰阿泰德篇》中给出的，即“被证实的、真的和被相信的陈述”(Justifiedtruebelief，简称JTB条件)。
然而，这个延续了两千多年的定义在1963年被哲学家盖梯尔否定了。盖梯尔提出了一个著名的悖论(简称“盖梯尔悖论”)。该悖论说明柏拉图给出的知识定文存在严重缺陷。
虽然后来人们给出了很多知识的替代定义，但直到现在仍然没有定论。但关于知识，至少有一点是明确的，那就是知识的基本单位是概念。精通掌握任何一门知识，必须从这门知识的基本概念开始学习。
而知识自身也是一个概念。因此，如何定义一个概念，对于人工智能具有非常重要的意义。
给出一个定义看似简单，实际上是非常难的，因为经常会涉及自指的性质(自指：词性的转化——由谓词性转化为体词性，语义则保持不变)。一旦涉及自指，就会出现非常多的问题，很多的语义悖论都出于概念自指。
自指与转指这一对概念最早出自朱德熙先生的《自指与转指》(《方言》1983年第一期，《朱德熙文集》第三卷)。
陆俭明先生在《八十年代中国语法研究》中(第98页)说：“自指和转指的区别在于，自指单纯是词性的转化－由谓词性转化为体词性，语义则保持不变；转指则不仅词性转化，语义也发生变化，尤指行为动作或性质本身转化为指与行为动作或性质相关的事物。
”举例：①教书的来了(“教书的”是转指，转指教书的“人”)；教书的时候要认真(“教书的”语义没变，是自指)。②Unplug一词的原意为“不使用(电源)插座”，是自指；常用来转指为不使用电子乐器的唱歌。
③colored在表示havingcolour(着色)时是自指。colored在表示有色人种时，就是转指。④rich，富有的，是自指。therich，富人，是转指。知识本身也是一个概念。
据此，人工智能的问题就变成了如下三个问题：一、如何定义(或者表示)一个概念、如何学习一个概念、如何应用一个概念。因此对概念进行深人研究就非常必要了。那么，如何定义一个概念呢？
简单起见，这里先讨论最为简单的经典概念。
经典概念的定义由三部分组成：第一部分是概念的符号表示，即概念的名称，说明这个概念叫什么，简称概念名；第二部分是概念的内涵表示，由命题来表示，命题就是能判断真假的陈述句。
第三部分是概念的外延表示，由经典集合来表示，用来说明与概念对应的实际对象是哪些。举一个常见经典概念的例子——素数(primenumber)，其内涵表示是一个命题，即只能够被1和自身整除的自然数。
概念有什么作用呢？或者说概念定义的各个组成部分有什么作用呢？经典概念定义的三部分各有作用，且彼此不能互相代替。具体来说，概念有三个作用或功能，要掌握一个概念，必须清楚其三个功能。
第一个功能是概念的指物功能，即指向客观世界的对象，表示客观世界的对象的可观测性。对象的可观测性是指对象对于人或者仪器的知觉感知特性，不依赖于人的主观感受。
举一个《阿Q正传》里的例子：那赵家的狗，何以看我两眼呢？句子中“赵家的狗”应该是指现实世界当中的一条真正的狗。
但概念的指物功能有时不一定能够实现，有些概念其设想存在的对象在现实世界并不存在，例如“鬼”。第二个功能是指心功能，即指向人心智世界里的对象，代表心智世界里的对象表示。
鲁迅有一篇著名的文章《论丧家的资本家的乏走狗》，显然，这个“狗”不是现实世界的狗，只是他心智世界中的狗，即心里的狗(在客观世界，梁实秋先生显然无论如何不是狗)。概念的指心功能一定存在。
如果对于某一个人，一个概念的指心功能没有实现，则该词对于该人不可见，简单地说，该人不理解该概念。最后一个功能是指名功能，即指向认知世界或者符号世界表示对象的符号名称，这些符号名称组成各种语言。
最著名的例子是乔姆斯基的“colorlessgreenideassleepfuriously”，这句话翻译过来是“无色的绿色思想在狂怒地休息”。
这句话没有什么意思，但是完全符合语法，纯粹是在语义符号世界里，即仅仅指向符号世界而已。当然也有另外，“鸳鸯两字怎生书”指的就是“鸳鸯”这两个字组成的名字。
一般情形下，概念的指名功能依赖于不同的语言系统或者符号系统，由人类所创造，属于认知世界。同一个概念在不同的符号系统里，概念名不一定相同，如汉语称“雨”，英语称“rain”。
根据波普尔的三个世界理论，认知世界、物理世界与心理世界虽然相关，但各不相同。因此，一个概念的三个功能虽然彼此相关，也各不相同。
更重要的是，人类文明发展至今，这三个功能不断发展，彼此都越来越复杂，但概念的三个功能并没有改变。
在现实生活中，如果你要了解一个概念，就需要知道这个概念的三个功能：要知道概念的名字，也要知道概念所指的对象(可能是物理世界)。更要在自己的心智世界里具有该概念的形象(或者图像)。
如果只有一个，那是不行的。知道了概念的三个功能之后，就可以理解人工智能的三个学派以及各学派之间的关系。人工智能也是一个概念，而要使一个概念成为现实，自然要实现概念的三个功能。
人工智能的三个学派关注于如何才能让机器具有人工智能，并根据概念的不同功能给出了不同的研究路线。
专注于实现AI指名功能的人工智能学派成为符号主义，专注于实现AI指心功能的人工智能学派称为连接主义，专注于实现AI指物功能的人工智能学派成为行为主义。
1.符号主义符号主义的代表人物是Simon与Newell，他们提出了物理符号系统假设，即只要在符号计算上实现了相应的功能，那么在现实世界就实现了对应的功能，这是智能的充分必要条件。
因此，符号主义认为，只要在机器上是正确的，现实世界就是正确的。说得更通俗一点，指名对了，指物自然正确。在哲学上，关于物理符号系统假设也有一个著名的思想实验——本章1.1.3节中提到的图灵测试。
图灵测试要解决的问题就是如何判断一台机器是否具有智能。图灵测试将智能的表现完全限定在指名功能里。但马少平教授的故事已经说明，只在指名功能里实现了概念的功能，并不能说明一定实现了概念的指物功能。
实际上，根据指名与指物的不同，哲学家约翰·塞尔勒专门设计了一个思想实验用来批判图灵测试，这就是著名的中文屋实验。
中文屋实验明确说明，即使符号主义成功了，这全是符号的计算跟现实世界也不一定搭界，即完全实现指名功能也不见得具有智能。
这是哲学上对符号主义的一个正式批评，明确指出了按照符号主义实现的人工智能不等同于人的智能。虽然如此，符号主义在人工智能研究中依然扮演了重要角色，其早期工作的主要成就体现在机器证明和知识表示上。
在机器证明方面，早期Simon与Newell做出了重要的贡献，王浩、吴文俊等华人也得出了很重要的结果。机器证明以后，符号主义最重要的成就是专家系统和知识工程，最著名的学者就是Feigenbaum。
如果认为沿着这条路就可以实现全部智能，显然存在问题。日本第五代智能机就是沿着知识工程这条路走的，其后来的失败在现在看来是完全合乎逻辑的。实现符号主义面临的观实挑成主要有三个。
第一个是概念的组合爆炸问题。每个人掌握的基本概念大约有5万个，其形成的组合概念却是无穷的。因为常识难以穷尽，推理步骤可以无穷。第二个是命题的组合悖论问题。
两个都是合理的命题，合起来就变成了没法判断真假的句子了，比如著名的柯里悖论(Curry’sParadox)(1942)。第三个也是最难的问题，即经典概念在实际生活当中是很难得到的，知识也难以提取。
上述三个问题成了符号主义发展的瓶颈。
2.连接主义连接主义认为大脑是一切智能的基础，主要关注于大脑神经元及其连接机制，试图发现大脑的结构及其处理信息的机制、揭示人类智能的本质机理，进而在机器上实现相应的模拟。
前面已经指出知识是智能的基础，而概念是知识的基本单元，因此连接主义实际上主要关注于概念的心智表示以及如何在计算机上实现其心智表示，这对应着概念的指心功能。
2016年发表在Nature上的一篇学术论文揭示了大脑语义地图的存在性，文章指出概念都可以在每个脑区找到对应的表示区，确确实实概念的心智表示是存在的。因此，连接主义也有其坚实的物理基础。
连接主义学派的早期代表人物有麦克洛克、皮茨、霍普菲尔德等。按照这条路，连接主义认为可以实现完全的人工智能。对此，哲学家普特南设计了著名的“缸中之脑实验”，可以看作是对连接主义的一个哲学批判。
缸中之脑实验描述如下：一个人(可以假设是你自己)被邪恶科学家进行了手术，脑被切下来并放在存有营养液的缸中。脑的神经末梢被连接在计算机上，同时计算机按照程序向脑传递信息。
对于这个人来说，人、物体、天空都存在，神经感觉等都可以输入，这个大脑还可以被输入、截取记忆，比如截取掉大脑手术的记忆，然后输入他可能经历的各种环境、日常生活，甚至可以被输入代码，“感觉”到自己正在阅读这一段有趣而荒唐的文字。
缸中之脑实验说明即使连接主义实现了，指心没有问题，但指物依然存在严重问题。因此，连接主义实现的人工智能也不等同于人的智能。尽管如此，连接主义仍是目前最为大众所知的一条AI实现路线。
在围棋上，采用了深度学习技术的AlphaGo战胜了李世石，之后又战胜了柯洁。在机器翻译上，深度学习技术已经超过了人的翻译水平。在语音识别和图像识别上，深度学习也已经达到了实用水准。
客观地说，深度学习的研究成就已经取得了工业级的进展。但是，这并不意味着连接主义就可以实现人的智能。更重要的是，即使要实现完全的连接主义，也面临极大的挑战。
到现在为止，人们并不清楚人脑表示概念的机制，也不清楚人脑中概念的具体表示形式表示方式和组合方式等。现在的神经网络与深度学习实际上与人脑的真正机制距离尚远。
3.行为主义行为主义假设智能取决于感知和行动，不需要知识、表示和推理，只需要将智能行为表现出来就好，即只要能实现指物功能就可以认为具有智能了。这一学派的早期代表作是Brooks的六足爬行机器人。
对此，哲学家普特南也设计了一个思想实验，可以看作是对行为主义的哲学批判，这就是“完美伪装者和斯巴达人”。
完美伪装者可以根据外在的需求进行完美的表演，需要哭的时候可以哭得让人撕心裂肺，需要笑的时候可以笑得让人兴高采烈，但是其内心可能始终冷静如常。
斯巴达人则相反，无论其内心是激动万分还是心冷似铁，其外在总是一副泰山崩于前而色不变的表情。完美伪装者和斯巴达人的外在表现都与内心没有联系，这样的智能如何从外在行为进行测试？
因此，行为主义路线实现的人工智能也不等同于人的智能。对于行为主义路线，其面临的最大实现困难可以用莫拉维克悖论来说明。
所谓莫拉维克悖论，是指对计算机来说困难的问题是简单的、简单的问题是困难的，最难以复制的反而是人类技能中那些无意识的技能。目前，模拟人类的行动技能面临很大挑战。
比如，在网上看到波士顿动力公司人形机器人可以做高难度的后空翻动作，大狗机器人可以在任何地形负重前行，其行动能力似乎非常强。但是这些机器人都有一个大的缺点一能耗过高、噪音过大。
大狗机器人原是美国军方订购的产品，但因为大狗机器人开动时的声音在十里之外都能听到，大大提高了其成为一个活靶子的可能性，使其在战场上几乎没有实用价值，美国军方最终放弃了采购。
人工神经网络的发展趋势
人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。
人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。
近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。
将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。
神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。
其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。
由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。
目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。下面主要就神经网络与小波分析、混沌、粗集理论、分形理论的融合进行分析。
与小波分析的结合1981年，法国地质学家Morlet在寻求地质数据时，通过对Fourier变换与加窗Fourier变换的异同、特点及函数构造进行创造性的研究，首次提出了小波分析的概念，建立了以他的名字命名的Morlet小波。
1986年以来由于YMeyer、S.Mallat及IDaubechies等的奠基工作，小波分析迅速发展成为一门新兴学科。
Meyer所著的小波与算子，Daubechies所著的小波十讲是小波研究领域最权威的著作。小波变换是对Fourier分析方法的突破。
它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。
小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放大倍数下的变化来研究信号的动态特性。因此，小波分析已成为地球物理、信号处理、图像处理、理论物理等诸多领域的强有力工具。
小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。
在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特性，作为神经网络的输入。
小波神经网络在电机故障诊断、高压电网故障信号处理与保护研究、轴承等机械故障诊断以及许多方面都有应用，将小波神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟踪控制性能，以及好的鲁棒性，利用小波包神经网络进行心血管疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神经网络用来进行分类，正确分类率达到94%。
小波神经网络虽然应用于很多方面，但仍存在一些不足。从提取精度和小波变换实时性的要求出发，有必要根据实际情况构造一些适应应用需求的特殊小波基，以便在应用中取得更好的效果。
另外，在应用中的实时性要求，也需要结合DSP的发展，开发专门的处理芯片，从而满足这方面的要求。混沌神经网络混沌第一个定义是上世纪70年代才被Li-Yorke第一次提出的。
由于它具有广泛的应用价值，自它出现以来就受到各方面的普遍关注。
混沌是一种确定的系统中出现的无规则的运动，混沌是存在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、随机性等特点，能在一定的范围内按其自身规律不重复地遍历所有状态。
混沌理论所决定的是非线性动力学混沌，目的是揭示貌似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问题普遍遵循的共同规律。
1990年Kaihara、T.Takabe和M.Toyoda等人根据生物神经元的混沌特性首次提出混沌神经网络模型，将混沌学引入神经网络中，使得人工神经网络具有混沌行为，更加接近实际的人脑神经网络，因而混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一，成为神经网络的主要研究方向之一。
与常规的离散型Hopfield神经网络相比较，混沌神经网络具有更丰富的非线性动力学特性，主要表现如下：在神经网络中引入混沌动力学行为；混沌神经网络的同步特性；混沌神经网络的吸引子。
当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足，经常会发生失忆现象。
混沌神经网络动态记忆属于确定性动力学运动，记忆发生在混沌吸引子的轨迹上，通过不断地运动(回忆过程)一一联想到记忆模式，特别对于那些状态空间分布的较接近或者发生部分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善Hopfield神经网络的记忆能力。
混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用。
混沌神经网络受到关注的另一个原因是混沌存在于生物体真实神经元及神经网络中，并且起到一定的作用，动物学的电生理实验已证实了这一点。
混沌神经网络由于其复杂的动力学特性，在动态联想记忆、系统优化、信息处理、人工智能等领域受到人们极大的关注。
针对混沌神经网络具有联想记忆功能，但其搜索过程不稳定，提出了一种控制方法可以对混沌神经网络中的混沌现象进行控制。研究了混沌神经网络在组合优化问题中的应用。
为了更好的应用混沌神经网络的动力学特性，并对其存在的混沌现象进行有效的控制，仍需要对混沌神经网络的结构进行进一步的改进和调整，以及混沌神经网络算法的进一步研究。
基于粗集理论粗糙集(RoughSets)理论是1982年由波兰华沙理工大学教授Z.Pawlak首先提出，它是一个分析数据的数学理论，研究不完整数据、不精确知识的表达、学习、归纳等方法。
粗糙集理论是一种新的处理模糊和不确定性知识的数学工具，其主要思想就是在保持分类能力不变的前提下，通过知识约简，导出问题的决策或分类规则。
目前，粗糙集理论已被成功应用于机器学习、决策分析、过程控制、模式识别与数据挖掘等领域。
粗集和神经网络的共同点是都能在自然环境下很好的工作，但是，粗集理论方法模拟人类的抽象逻辑思维，而神经网络方法模拟形象直觉思维，因而二者又具有不同特点。
粗集理论方法以各种更接近人们对事物的描述方式的定性、定量或者混合性信息为输入，输入空间与输出空间的映射关系是通过简单的决策表简化得到的，它考虑知识表达中不同属性的重要性确定哪些知识是冗余的，哪些知识是有用的，神经网络则是利用非线性映射的思想和并行处理的方法，用神经网络本身结构表达输入与输出关联知识的隐函数编码。
在粗集理论方法和神经网络方法处理信息中，两者存在很大的两个区别：其一是神经网络处理信息一般不能将输入信息空间维数简化，当输入信息空间维数较大时，网络不仅结构复杂，而且训练时间也很长；而粗集方法却能通过发现数据间的关系，不仅可以去掉冗余输入信息，而且可以简化输入信息的表达空间维数。
其二是粗集方法在实际问题的处理中对噪声较敏感，因而用无噪声的训练样本学习推理的结果在有噪声的环境中应用效果不佳。而神经网络方法有较好的抑制噪声干扰的能力。
因此将两者结合起来，用粗集方法先对信息进行预处理，即把粗集网络作为前置系统，再根据粗集方法预处理后的信息结构，构成神经网络信息处理系统。
通过二者的结合，不但可减少信息表达的属性数量，减小神经网络构成系统的复杂性，而且具有较强的容错及抗干扰能力，为处理不确定、不完整信息提供了一条强有力的途径。
目前粗集与神经网络的结合已应用于语音识别、专家系统、数据挖掘、故障诊断等领域，将神经网络和粗集用于声源位置的自动识别，将神经网络和粗集用于专家系统的知识获取中，取得比传统专家系统更好的效果，其中粗集进行不确定和不精确数据的处理，神经网络进行分类工作。
虽然粗集与神经网络的结合已应用于许多领域的研究，为使这一方法发挥更大的作用还需考虑如下问题：模拟人类抽象逻辑思维的粗集理论方法和模拟形象直觉思维的神经网络方法更加有效的结合；二者集成的软件和硬件平台的开发，提高其实用性。
与分形理论的结合自从美国哈佛大学数学系教授BenoitB.Mandelbrot于20世纪70年代中期引入分形这一概念，分形几何学(Fractalgeometry)已经发展成为科学的方法论--分形理论，且被誉为开创了20世纪数学重要阶段。
现已被广泛应用于自然科学和社会科学的几乎所有领域，成为现今国际上许多学科的前沿研究课题之一。由于在许多学科中的迅速发展，分形已成为一门描述自然界中许多不规则事物的规律性的学科。
它已被广泛应用在生物学、地球地理学、天文学、计算机图形学等各个领域。
用分形理论来解释自然界中那些不规则、不稳定和具有高度复杂结构的现象，可以收到显著的效果，而将神经网络与分形理论相结合，充分利用神经网络非线性映射、计算能力、自适应等优点，可以取得更好的效果。
分形神经网络的应用领域有图像识别、图像编码、图像压缩，以及机械设备系统的故障诊断等。
分形图像压缩/解压缩方法有着高压缩率和低遗失率的优点，但运算能力不强，由于神经网络具有并行运算的特点，将神经网络用于分形图像压缩/解压缩中，提高了原有方法的运算能力。
将神经网络与分形相结合用于果实形状的识别，首先利用分形得到几种水果轮廓数据的不规则性，然后利用3层神经网络对这些数据进行辨识，继而对其不规则性进行评价。
分形神经网络已取得了许多应用，但仍有些问题值得进一步研究：分形维数的物理意义；分形的计算机仿真和实际应用研究。随着研究的不断深入，分形神经网络必将得到不断的完善，并取得更好的应用效果。?。
