神经网络发展的三个阶段,人工神经网络的发展

1、人工神经网络的发展历史

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。1986年，Rumelhart, Hinton, Williams发展了BP算法。Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今，BP算法已被用于解决大量实际问题。1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。90年代初，Vapnik等提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。

谷歌人工智能写作项目：小发猫

2、人工智能分为几个阶段

说起当下热议的人工智能，不得不提到风光无二的AlphaGo 人工神经网络发展经历几个阶段。AlphaGo 战胜世界围棋冠军李世石，引起了人类对人工智能的兴趣。而人工智能的概念，其实早有提出。

就人工智能的发展阶段而言，可以分为三个阶段。

1）1956年-1980年

1956年达特茅斯会提出了人工智能这一词汇，标志着人工智能正式诞生。

而这个阶段，人工智能已经在问题求解以及语言处理等方面取得了一些进步。但是，当时的技术条件并不能实现预期的目标。到了70年代，投资者和政府开始收缩人工智能经费，人工智能开始进入低谷期。

2）1980年-1993年

80年代，人工智能专家系统崭露头角，商业价值被广泛接受，人工智能研究重新兴起。但并没有持续多久，就被生产出来的个人电脑在性能上完全碾压，远远超过使用了AI技术的LISP机，AI再一次经历了寒冬。

3）1993年-至今

之后以神经网络技术为代表的AI技术逐步发展，人工智能开始进入缓慢发展期。1997年深蓝战胜国际象棋世界冠军卡斯帕罗夫，使得AI再次被热议。而随着现在科技的快速发展，硬件成本不断降低，数据量积累不断增大，AI技术不断成熟，人工智能又开始进入爆发期。各种人工智能产品开始如雨后春笋，不断的发展壮大起来。

3、人工智能的发展,主要经历哪几个阶段?

1 孕育阶段
这个阶段主要是指1956年以前。自古以来，人们就一直试图用各种机器来代替人的部分脑力劳动，以提高人们征服自然的能力，其中对人工智能的产生、发展有重大影响的主要研究成果包括：
早在公元前384-公元前322年，伟大的哲学家亚里士多德(Aristotle)就在他的名著《工具论》中提出了形式逻辑的一些主要定律，他提出的三段论至今仍是演绎推理的基本依据。
英国哲学家培根(F. Bacon)曾系统地提出了归纳法，还提出了“知识就是力量”的警句。这对于研究人类的思维过程，以及自20世纪70年代人工智能转向以知识为中心的研究都产生了重要影响。
德国数学家和哲学家莱布尼茨(G. W. Leibniz)提出了万能符号和推理计算的思想，他认为可以建立一种通用的符号语言以及在此符号语言上进行推理的演算。这一思想不仅为数理逻辑的产生和发展奠定了基础，而且是现代机器思维设计思想的萌芽。
英国逻辑学家布尔(C. Boole)致力于使思维规律形式化和实现机械化，并创立了布尔代数。他在《思维法则》一书中首次用符号语言描述了思维活动的基本推理法则。
英国数学家图灵(A. M. Turing)在1936年提出了一种理想计算机的数学模型，即图灵机，为后来电子数字计算机的问世奠定了理论基础。
美国神经生理学家麦克洛奇(W. McCulloch)与匹兹(W. Pitts)在1943年建成了第一个神经网络模型(M-P模型)，开创了微观人工智能的研究领域，为后来人工神经网络的研究奠定了基础。
美国爱荷华州立大学的阿塔纳索夫(Atanasoff)教授和他的研究生贝瑞(Berry)在1937年至1941年间开发的世界上第一台电子计算机“阿塔纳索夫-贝瑞计算机(Atanasoff-Berry Computer，ABC)”为人工智能的研究奠定了物质基础。需要说明的是：世界上第一台计算机不是许多书上所说的由美国的莫克利和埃柯特在1946年发明。这是美国历史上一桩著名的公案。
由上面的发展过程可以看出，人工智能的产生和发展绝不是偶然的，它是科学技术发展的必然产物。
2 形成阶段
这个阶段主要是指1956-1969年。1956年夏季，由当时达特茅斯大学的年轻数学助教、现任斯坦福大学教授麦卡锡(J. MeCarthy)联合哈佛大学年轻数学和神经学家、麻省理工学院教授明斯基(M. L. Minsky)，IBM公司信息研究中心负责人洛切斯特(N. Rochester)，贝尔实验室信息部数学研究员香农(C. E. Shannon)共同发起，邀请普林斯顿大学的莫尔(T.Moore)和IBM公司的塞缪尔(A. L. Samuel)、麻省理工学院的塞尔夫里奇(O. Selfridge)和索罗莫夫(R. Solomonff)以及兰德(RAND)公司和卡内基梅隆大学的纽厄尔(A. Newell)、西蒙(H. A. Simon)等在美国达特茅斯大学召开了一次为时两个月的学术研讨会，讨论关于机器智能的问题。会上经麦卡锡提议正式采用了“人工智能”这一术语。麦卡锡因而被称为人工智能之父。这是一次具有历史意义的重要会议，它标志着人工智能作为一门新兴学科正式诞生了。此后，美国形成了多个人工智能研究组织，如纽厄尔和西蒙的Carnegie-RAND协作组，明斯基和麦卡锡的MIT研究组，塞缪尔的IBM工程研究组等。
自这次会议之后的10多年间，人工智能的研究在机器学习、定理证明、模式识别、问题求解、专家系统及人工智能语言等方面都取得了许多引人注目的成就，例如：
在机器学习方面，1957年Rosenblatt研制成功了感知机。这是一种将神经元用于识别的系统，它的学习功能引起了广泛的兴趣，推动了连接机制的研究，但人们很快发现了感知机的局限性。
在定理证明方面，美籍华人数理逻辑学家王浩于1958年在IBM-704机器上用3~5min证明了《数学原理》中有关命题演算的全部定理(220条)，并且还证明了谓词演算中150条定理的85%，1965年鲁宾逊(J. A. Robinson)提出了归结原理，为定理的机器证明作出了突破性的贡献。
在模式识别方面，1959年塞尔夫里奇推出了一个模式识别程序，1965年罗伯特(Roberts)编制出了可分辨积木构造的程序。
在问题求解方面，1960年纽厄尔等人通过心理学试验总结出了人们求解问题的思维规律，编制了通用问题求解程序(General Problem Solver，GPS)，可以用来求解11种不同类型的问题。
在专家系统方面，美国斯坦福大学的费根鲍姆(E. A. Feigenbaum)领导的研究小组自1965年开始专家系统DENDRAL的研究，1968年完成并投入使用。该专家系统能根据质谱仪的实验，通过分析推理决定化合物的分子结构，其分析能力已接近甚至超过有关化学专家的水平，在美、英等国得到了实际的应用。该专家系统的研制成功不仅为人们提供了一个实用的专家系统，而且对知识表示、存储、获取、推理及利用等技术是一次非常有益的探索，为以后专家系统的建造树立了榜样，对人工智能的发展产生了深刻的影响，其意义远远超过了系统本身在实用上所创造的价值。
在人工智能语言方面，1960年麦卡锡研制出了人工智能语言(List Processing，LISP)，成为建造专家系统的重要工具。
1969年成立的国际人工智能联合会议(International Joint Conferences On Artificial Intelligence，IJCAI)是人工智能发展史上一个重要的里程碑，它标志着人工智能这门新兴学科已经得到了世界的肯定和认可。1970年创刊的国际性人工智能杂志《Artificial Intelligence》对推动人工智能的发展，促进研究者们的交流起到了重要的作用。
3 发展阶段
这个阶段主要是指1970年以后。进入20世纪70年代，许多国家都开展了人工智能的研究，涌现了大量的研究成果。例如，1972年法国马赛大学的科麦瑞尔(A. Comerauer)提出并实现了逻辑程序设计语言PROLOG；斯坦福大学的肖特利夫(E. H. Shorliffe)等人从1972年开始研制用于诊断和治疗感染性疾病的专家系统MYCIN。
但是，和其他新兴学科的发展一样，人工智能的发展道路也不是平坦的。例如，机器翻译的研究没有像人们最初想象的那么容易。当时人们总以为只要一部双向词典及一些词法知识就可以实现两种语言文字间的互译。后来发现机器翻译远非这么简单。实际上，由机器翻译出来的文字有时会出现十分荒谬的错误。例如，当把“眼不见，心不烦”的英语句子“Out of sight，out of mind”。翻译成俄语变成“又瞎又疯”；当把“心有余而力不足”的英语句子“The spirit is willing but the flesh is weak”翻译成俄语，然后再翻译回来时竟变成了“The wine is good but the meat is spoiled”，即“酒是好的，但肉变质了”；当把“光阴似箭”的英语句子“Time flies like an arrow”翻译成日语，然后再翻译回来的时候，竟变成了“苍蝇喜欢箭”。由于机器翻译出现的这些问题，1960年美国政府顾问委员会的一份报告裁定：“还不存在通用的科学文本机器翻译，也没有很近的实现前景。”因此，英国、美国当时中断了对大部分机器翻译项目的资助。在其他方面，如问题求解、神经网络、机器学习等，也都遇到了困难，使人工智能的研究一时陷入了困境。
人工智能研究的先驱者们认真反思，总结前一段研究的经验和教训。1977年费根鲍姆在第五届国际人工智能联合会议上提出了“知识工程”的概念，对以知识为基础的智能系统的研究与建造起到了重要的作用。大多数人接受了费根鲍姆关于以知识为中心展开人工智能研究的观点。从此，人工智能的研究又迎来了蓬勃发展的以知识为中心的新时期。
这个时期中，专家系统的研究在多种领域中取得了重大突破，各种不同功能、不同类型的专家系统如雨后春笋般地建立起来，产生了巨大的经济效益及社会效益。例如，地矿勘探专家系统PROSPECTOR拥有15种