欧宝体育官网登录:人工智能300年！LSTM之父万字长文：详解现代AI和深度学习发展史
最近，LSTM之父Jürgen Schmidhuber梳理了17世纪以来人工智能的前史。在这篇万字长文中，Schmidhuber为读者供给了一个大事年表，其间包括神经网络、深度学习、人工智能等范畴的重要事情，以及那些为AI奠定根底的科学家们。
「人工智能」一词，初次在1956年达特茅斯会议上，由约翰麦卡锡等人正式提出。
有用AI地提出，最早能够追溯到1914年。其时Leonardo Torres y Quevedo构建了第一个作业的国际象棋机器终端游戏玩家。其时，国际象棋被认为是一种仅限于智能生物范畴的活动。
至于人工智能理论，则能够追溯到1931-34年。其时库尔特·哥德尔（Kurt Gödel ）确认了任何类型的依据核算的人工智能的底子约束。
时刻来到1980时代，此刻的AI前史会着重定理证明、逻辑编程、专家体系和启示式查找等主题。
2000时代初期的AI前史会愈加着重支撑向量机和内核办法等主题。贝叶斯推理（Bayesian reasoning）和其他概率论和核算概念、决策树、 集成办法、集体智能和进化核算，此类技能推动了许多成功的AI运用。
2020时代的AI研讨反而愈加「复古」，比方着重比方链式规律和经过梯度下降（gradient descent）练习的深度非线性人工神经网络，特别是依据反应的循环网络等概念。
Schmidhuber标明，这篇文章对之前具有误导性的「深度学习前史」进行纠正。 在他看来，之前的深度学习史疏忽了文章中说到的大部分创始性作业。
此外，Schmidhuber还批驳了一个常见的过错，即神经网络「作为协助核算机辨认办法和仿照人类智能的东西是在1980时代引进的」。因为事实上，神经网络早在80时代前就已呈现。
1676年，戈特弗里德·威廉·莱布尼茨（Gottfried Wilhelm Leibniz）在回忆录中宣布了微积分的链式规律。现在，这条规矩成为了深度神经网络中信誉分配的中心，是现代深度学习的根底。
神经网络具有核算来自其他神经元的输入的可微函数的节点或神经元，这些节点或神经元又核算来自其他神经元的输入的可微函数。假如想要知道修正前期函数的参数或权值后，终究函数输出的改动，就需求用到链式规律。
这个答案也被用于梯度下降技能。为了教会神经网络将来自练习集的输入办法转换为所需的输出办法，一切神经网络权值都朝着最大部分改进的方向迭代改动一点，以创建略微更好的神经网络，依此类推，逐步接近权值和偏置的最佳组合，然后最小化丢失函数。
值得注意的是，莱布尼茨也是第一个发现微积分的数学家。他和艾萨克·牛顿先后独立发现了微积分，而且他所运用的微积分的数学符号被更广泛的运用，莱布尼茨所发明的符号被普遍认为更归纳，适用范围愈加广泛。
此外，莱布尼茨仍是「国际上第一位核算机科学家」。他于1673年规划了第一台能够履行一切四种算术运算的机器，奠定了现代核算机科学的根底。
二、19世纪初：神经网络、线 年，阿德利昂·玛利·埃·勒让德（Adrien-Marie Legendre）宣布了现在一般称为线性神经网络的内容。
后来，约翰·卡尔·弗里德里希·高斯（Johann Carl Friedrich Gauss）也因相似的研讨而遭到赞誉。
这个来自2个多世纪前的神经网络有两层：一个具有多个输入单元的输入层和一个输出层。每个输入单元都能够保存一个实数值，并经过具有实数值权值的衔接衔接到输出。
神经网络的输出是输入与其权值的乘积之和。给定输入向量的练习集和每个向量的希望方针值，调整 权值，使神经网络输出与相应方针之间的平方差错之和最小化。
当然，那时候这还不叫神经网络。它被称为最小二乘法（least squares），也被广泛称为线性回归。但它在数学上与今日的线性神经网络相同：相同的底子算法、相同的差错函数、相同的自适应参数/权值。
这种简略的神经网络履行「浅层学习」，与具有许多非线性层的「深度学习」相反。事实上，许多神经网络课程都是从介绍这种办法开端的，然后转向更杂乱、更深化的神经网络。
当今，一切技能学科的学生都有必要上数学课，尤其是剖析、线性代数和核算学。在一切这些范畴中，许多重要的作用和办法都要归功于高斯：代数底子定理、高斯消元法、核算的高斯分布等。
这位声称「自古以来最巨大的数学家」的人也创始了微分几许、数论（他最喜欢的科目）和非欧几许。假如没有他的作用，包括AI在内的现代工程将不可幻想。
与人脑相似，循环神经网络（RNN）具有反应衔接，因而能够遵从从某些内部节点到其他节点的定向衔接，并终究在起点处完毕。这关于在序列处理期间完成对曩昔事情的回忆至关重要。
物理学家恩斯特·伊辛（Ernst Ising）和威廉·楞次（Wilhelm Lenz）在 1920 时代引进并剖析了第一个非学习RNN架构：伊辛模型（Ising model）。它依据输入条件进入平衡状况，是第一个RNN学习模型的根底。
1972 年，甘利俊一（Shun-Ichi Amari）使伊辛模型循环架构具有自适应性，能够经过改动其衔接权值来学习将输入办法与输出办法相关联。这是国际上第一个学习型RNN。
现在，最盛行的RNN便是Schmidhuber提出的长短期回忆网络LSTM。它已经成为20世纪被引证最多的神经网络。
1958年，弗兰克·罗森布拉特（Frank Rosenblatt）结合了线性神经网络和阈值函数，规划出了更深层次的多层感知器 (MLP)。
多层感知器遵从人类神经体系原理，学习并进行数据猜测。它首要学习，然后运用权值存储数据，并运用算法来调整权值并削减练习进程中的差错，即实践值和猜测值之间的差错。
因为多层前馈网络的练习常常选用差错反向传达算法，在办法辨认的范畴中算是规范监督学习算法，并在核算神经学及并行分布式处理范畴中，继续成为被研讨的课题。
深度前馈网络架构的成功学习始于1965年的乌克兰，其时Alexey Ivakhnenko和Valentin Lapa为具有恣意多个躲藏层的深度MLP引进了第一个通用的作业学习算法。
给定一组具有相应方针输出向量的输入向量练习集，层逐步增加并经过回归剖析进行练习，然后凭借独自的验证集进行修剪，其间正则化用于铲除剩余的单元。层数和每层单元以问题相关的办法学习。
与后来的深度神经网络相同，Ivakhnenko的网络学会了为传入数据创建分层的、分布式的、内部标明。
他没有称它们为深度学习神经网络，但它们便是这样。事实上，「深度学习」这个术语最早是由Dechter于1986年引进机器学习的，而Aizenberg等人在2000则引进了「神经网络」的概念。
甘利俊一与他的学生Saito在具有两个可修正层的五层MLP中学习了内部标明，该层被练习用于对非线性可别离办法类进行分类。
Rumelhart和Hinton等人在1986年做出了相似的作业，并将其命名为反向传达算法。
1970 年，Seppo Linnainmaa首先宣布了反向传达的算法，这是一种闻名的可微节点网络信誉分配算法，也称为「主动微分的反向办法」。
Linnainmaa初次描绘了在恣意、离散的稀少衔接状况下的类神经网络的高效差错反向传达办法。它现在是广泛运用的神经网络软件包的根底，例如PyTorch和谷歌的Tensorflow。
反向传达本质上是为深度网络施行莱布尼茨链式规律的有用办法。柯西（Cauchy）提出的梯度下降在许多实验进程中运用它逐步削弱某些神经网络衔接并加强其他衔接。
1985年，核算本钱已比1970年削减约1,000倍，当台式核算机刚刚在殷实的学术实验室中普及时，David Rumelhart等人对已知办法进行实验剖析。
经过实验，鲁姆哈特等人证明反向传达能够在神经网络的躲藏层中发生有用的内部标明。至少关于监督学习，反向传达一般比甘利俊一经过SGD办法进行的上述深度学习更有用。
2010年之前，许多人认为练习多层神经网络需求无监督预练习。2010年，Schmidhuber的团队与Dan Ciresan标明深度FNN能够经过简略的反向传达进行练习，而且底子不需求对重要运用进行无监督预练习。
但这个Neocognitron用今日的话来说，叫卷积神经网络（CNN），是深度神经网络底子结构的最巨大发明之一，也是当时人工智能的中心技能。
福岛博士引进的Neocognitron，是第一个运用卷积和下采样的神经网络，也是卷积神经网络的雏形。
福岛邦彦规划的具有学习才能的人工多层神经网络，能够仿照大脑的视觉网络，这种「洞察力」成为现代人工智能技能的根底。福岛博士的作业带来了一系列实践运用，从主动驾驶轿车到面部辨认，从癌症检测到洪水猜测，还会有越来越多的运用。
1987年，Alex Waibel将具有卷积的神经网络与权值同享和反向传达相结合，提出了延时神经网络（TDNN）的概念。
1989年以来，Yann LeCun的团队为CNN的改进做出了奉献，尤其是在图画方面。
2011年底，Schmidhuber的团队大大加快了深度CNN的练习速度，使其在机器学习社区中变得愈加盛行。团队推出依据GPU的CNN：DanNet，比前期的CNN更深化、运算更快。同年，DanNet成为第一个赢得核算机视觉竞赛的纯深度CNN。
Schmidhuber 标明，ResNet是其团队研制的高速神经网络（Highway Net）的一个前期版别。相较于曾经的神经网络最多只要几十层，这是第一个真实有用的、具有数百层的深度前馈神经网络。
能够操作结构化数据（例如图形）的深度学习架构于1987年由Pollack提出，并在20世纪90时代初由 Sperduti、Goller和Küchler进行扩展和改进。现在，图神经网络被用于许多运用程序中。
1990年，Stephen Hanson引进了随机Delta规律，这是一种经过反向传达练习神经网络的随机办法。几十年后，这个办法在「dropout」的绰号下盛行起来。
两个对立的NN（一个概率生成器和一个猜测器）企图在一个最小极限游戏中使对方的 丢失最大化。其间：
生成器（称为操控器）生成概率输出（运用随机单元，如后来的StyleGAN）。
在2014年关于GAN的论文之前4年，Schmidhuber就在闻名的2010年查询中，将1990年的生成式对立NN总结如下：「作为猜测国际模型的神经网络被用来最大化操控器的内涵奖赏，它与模型的猜测差错成正比」。
而之后发布的GAN，仅仅一个实例。其间，实验十分短，环境仅仅依据操控器（或生成器）的输出是否在一个给定的调集中而回来1或0。
1990年的原理被广泛用于强化学习的探究和实际图画的组成，尽管后者的范畴最近被Rombach等人的Latent Diffusion顶替。
1991年，Schmidhuber宣布了另一个依据两个对立性NN的ML办法，称为可猜测性最小化，用于创建部分冗余数据的别离表征，1996年运用于图画。
但是，在20世纪90时代初，初次呈现了破例。这项作业将传统的「符号」层次式人工智能的概念注入到端到端的可区别的「次符号」（sub-symbolic）NN中。
1990年，Schmidhuber团队的NN学会了用端到端可微分NN的子方针生成器来生成层次化的举动计划，用于层次化强化学习（HRL）。
一个RL机器得到额定的指令输入，其办法为（开端，方针）。一个评估器NN学习猜测从开端到方针的当时奖赏/本钱。一个依据(R)NN的子方针生成器也看到了（开端，方针），并运用评估器NN的（副本）经过梯度下降学习一连串本钱最低的中心子方针。RL机器企图运用这种子方针序列来完成终究方针。
该体系在多个笼统层次和多个时刻尺度上学习举动计划，并在原则上处理了最近被称为「敞开性问题」的问题。
这些所谓的「快速权重程序员」（Fast Weight Programmers）或「快速权重操控器」（Fast Weight Controllers）就像传统核算机相同别离了存储和操控，但以一种端到端差异化、自适应，以及神经网络的办法。
此外，今日的Transformer许多运用无监督预练习，这是Schmidhuber在1990-1991年初次宣布的一种深度学习办法。
今日最强壮的NN往往是十分深的，也便是说，它们有许多层的神经元或许多后续的核算阶段。
但是，在20世纪90时代之前，依据梯度的练习对深度NN并不见效（只对浅层NN有用）。
与前馈NN（FNN）不同的是，RNN有反应衔接。这使得RNN成为强壮的、通用的、平行序列的核算机，能够处理恣意长度的输入序列（比方语音或许视频）。
为此，Schmidhuber建立了一个自监督的RNN层次结构，来测验完成「通用深度学习」。
经过运用Schmidhuber在1991年提出的NN蒸馏程序，上述神经前史压缩机的分层内部表征能够被压缩成一个单一的递归NN（RNN）。
在这里，教师NN的常识被「蒸馏」到学生NN中，办法是练习学生NN仿照教师NN的行为（一同也从头练习学生NN，然后确保之前学到的技能不会被忘掉）。NN蒸馏法也在许多年后被从头宣布，并在今日被广泛运用。
深度NN遭到现在闻名的梯度消失问题的困扰：在典型的深度或递归网络中，反向传达的过错信号要么敏捷缩小，要么超出边界增加。在这两种状况下，学习都会失利。
长短期回忆（LSTM）递归神经网络克服了Sepp Hochreiter在上述1991年的毕业论文中指出的底子深度学习问题。
在1997年宣布了经同行评定的论文之后（现在是20世纪被引证最多的NN文章），Schmidhuber的学生Felix Gers和Alex Graves等人，进一步改进了LSTM及其练习程序。
2005年，Schmidhuber初次宣布了LSTM在时刻上彻底反向传达和双向传达的文章（相同也被广泛运用）。
2006年一个里程碑式的练习办法是「联合主义时刻分类」（CTC），用于一同对齐和辨认序列。
Schmidhuber的团队在2007年成功地将CTC练习的LSTM运用于语音（也有分层的LSTM仓库），第一次完成了杰出的端到端神经语音辨认作用。
2009年，经过Alex的尽力，由CTC练习的LSTM成为第一个赢得国际竞赛的RNN，即三个ICDAR 2009手写竞赛（法语、波斯语、阿拉伯语）。这引起了业界的极大爱好。LSTM很快被用于一切触及序列数据的场合，比方语音和视频。
2015年，CTC-LSTM的组合极大地改进了谷歌在安卓智能手机上的语音辨认功能。直到2019年，谷歌在移动端搭载的语音辨认仍然是依据LSTM。
1995年，Schmidhuber提出了一个优异的神经概率文本模型，其底子概念在2003年被从头运用。
2016年的谷歌翻译，则是依据两个衔接的LSTM（白皮书说到LSTM逾越50次），一个用于传入文本，一个用于传出翻译。
同年，谷歌数据中心用于推理的超强核算才能中，有逾越四分之一用于LSTM（还有5%用于另一种盛行的深度学习技能，即CNN）。
到了2017年，LSTM还为Facebook的机器翻译（每周逾越300亿次翻译）、苹果在大约10亿部iPhone上的Quicktype、亚马逊的Alexa的语音、谷歌的图画标题生成和主动电子邮件答复等供给支撑。
当然，Schmidhuber的LSTM也被许多用于医疗保健和医疗确诊——简略的谷歌学术查找就能找到很多标题中带有「LSTM」的医学文章。
前期Highway Net在ImageNet上的体现与ResNet大致相同。Highway Net的变体也被用于某些算法使命，在这些使命中，纯残差层的作用并不抱负 。
在20世纪90时代，LSTM为有监督的递归NN带来了底子无限的深度；在2000年，受LSTM启示的Highway Net为前馈NN带来了深度。
现在，LSTM已经成为20世纪被引证最多的NN，而Highway Net的其间一个版别ResNet，则是21世纪被引证最多的NN。
尽管部分问题能够经过早在20世纪80时代之前发明的非神经技能来处理。比方，蒙特卡洛树查找（MC）、动态规划（DP）、人工进化、α-β-剪枝、操控理论和体系辨认、随机梯度下降，以及通用查找技能。但深度FNN和RNN能够为某些类型的RL使命带来更好的作用。
一般来说，强化学习智能体有必要学会如安在没有教师的协助下，与一个动态的、开始不知道的、部分可调查的环境互动，然后使预期的累积奖赏信号最大化。在举动和可感知的作用之间或许存在恣意的、先验的不知道推迟。
当环境有一个马尔可夫接口，使RL智能体的输入能够传达确认下一个最佳举动所需的一切信息时，依据动态规划（DP）/时序差分（TD）/蒙特卡洛树查找（MC）的RL会十分成功。
关于没有马尔可夫接口的更杂乱的状况，智能体不只要考虑现在的输入，还要考虑曾经输入的前史。对此，由RL算法和LSTM构成的组合已经成为了一种规范计划，特别是经过战略梯度练习的LSTM。
例如，在2018年，一个经过PG练习的LSTM是OpenAI闻名的Dactyl的中心，它在没有教师的状况下学会了操控一只灵活的机器人手。
2019年，DeepMind（由Schmidhuber实验室的一名学生一同创建）在《星际争霸》游戏中打败了工作选手，其间用到的Alphastar，便是有一个由PG练习的深度LSTM中心。
与此一同，RL LSTM（占模型总参数数的84%）也是闻名的OpenAI Five的中心，它在Dota 2中打败了专业的人类玩家。
RL的未来将是用杂乱输入流的紧凑时空笼统来学习/组合/规划，也便是关于常识推理和学习考虑。
Schmidhuber在1990-91年宣布的论文中提出，自监督的神经前史压缩器，能够学习多层次的笼统和多时刻尺度上的表征概念；而依据端到端的可区别NN的子方针生成器，则能够经过梯度下降学习分层的举动计划。
在随后的1997年和2015-18年，更杂乱的学习笼统思维的办法被宣布。
在曩昔的一千年里，假如没有不断改进和加快晋级的核算机硬件，深度学习算法不或许迎来重大突破。
咱们第一个已知的齿轮核算设备是2000多年前古希腊的安提基特拉机械（Antikythera mechanism）。这是如今所知的最陈旧的杂乱科学核算机，一同也是国际上第一台仿照核算机。
而国际上第一台有用的可编程机器，是古希腊机械学家海伦于公元1世纪发明的。
第一台用于简略算术的机械核算器由威廉·契克卡德（Wilhelm Schickard）于1623年发明制作。
1673年，莱布尼茨规划了第一台能够履行一切四种算术运算，并带有内存的机器。他还描绘了由穿孔卡操控的二进制核算机的原理并提出链式规律，构成了深度学习和现代人工智能的重要组成部分。
1800年左右，约瑟夫·玛丽·雅卡尔 (Joseph Marie Jacquard) 等人在法国制作了第一台首台可规划织布机——雅卡尔织布机（Jacquard machine）。 该发明对将来发展出其他可编程机器（例如核算机）起了重要作用。
他们启示了阿达·洛芙莱斯（Ada Lovelace）和她的导师查尔斯·巴贝奇（Charles Babbage）发明晰一台现代电子核算机的前身：巴贝奇差分机。
1914年，西班牙人Leonardo Torres y Quevedo成为20世纪第一位人工智能前驱，他发明晰第一个国际象棋终端机器玩家。
1935年至1941年间，康拉德·楚泽（Konrad Zuse）发明晰国际上第一台可运转的可编程通用核算机：Z3。
与巴贝奇剖析机不同，楚泽运用莱布尼茨的二进制核算原理，而不是传统的十进制核算。这大大简化了硬件的负荷。
1944年，霍华德·艾肯（Howard Aiken）带领团队，发明国际上第一台大型主动数字核算机Mark Ⅰ（马克一号）。
1948年，弗雷德里克·威廉姆斯（Frederic Williams）、汤姆·基尔伯恩（Tom Kilburn）和杰夫·托蒂（Geoff Tootill）发明晰国际第一台电子存储程序核算机：小型实验机 (SSEM)，又被称为「曼彻斯特宝物」（Manchester Baby）。
从那时起，核算机的运算在集成电路（IC）的协助下变得更快。1949年，西门子的维尔纳·雅各比（Werner Jacobi）申请了一项集成电路半导体专利，使一个公共基板能够有多个晶体管。
1958年，Jack Kilby展现了带有外部导线年，罗伯特·诺伊斯 (Robert Noyce) 提出了单片集成电路。自上世纪70时代以来，图形处理单元 (GPU) 已被用于经过并行处理来加快核算。现在，核算机的GPU包括数十亿个晶体管。
依据汉斯·约阿希姆·布雷默曼（Hans Joachim Bremermann）提出的布雷默曼极限，一台质量为1千克、体积为1升的核算机最多能够在最多10的32次方位上每秒履行最多10的51次方操作。
但是，太阳系的质量只要2x10^30 千克，这一趋势必然会在几个世纪内打破，因为光速会严峻约束以其他太阳系的办法获取额定质量。
因而，物理学的约束要求未来高效的核算硬件有必要像大脑相同，在三维空间中有许多紧凑放置的处理器以最小化总衔接本钱，其底子架构本质上是一种深度的、稀少衔接的三维RNN。
现代人工智能和深度学习的中心主要是依据近几个世纪的数学：微积分、线时代初，哥德尔创建了现代理论核算机科学。他引进了一种以整数为根底的通用编码言语，答应以正义办法将任何数字核算机的操作正规化。
一同，哥德尔还构建了闻名的办法化句子，经过给定一个核算性的定理查验器，从可罗列的正义调集中体系地罗列一切或许的定理。因而，他确认了算法定理证明、核算以及任何类型的依据核算的人工智能的底子约束。
此外，哥德尔在写给约翰·冯·诺伊曼的闻名函件中，确认了核算机科学中最闻名的敞开问题「P=NP？」。
1935年，Alonzo Church经过证明Hilbert和Ackermann的决策问题没有一般的处理计划，得出了哥德尔作用的一个推论。为了做到这一点，他运用了他的另一种通用编码言语，称为Untyped Lambda Calculus，它构成了极具影响力的编程言语LISP的根底。
1936年，阿兰·图灵引进了另一个通用模型：图灵机，从头得出了上述作用。同年，Emil Post宣布了另一个独立的核算通用模型。
康拉德·楚泽不只发明晰国际上第一台可用的可编程通用核算机，而且还规划了第一种高档编程言语——Plankalkül。他在1945年将其运用于国际象棋，在1948年运用于定理证明。
20世纪40-70时代的大部分前期人工智能实践上是关于定理证明和经过专家体系和逻辑编程进行哥德尔式的推导。
1964年，Ray Solomonoff将贝叶斯（实践上是拉普拉斯）概率推理和理论核算机科学结合起来，得出一种数学上最优（但核算上不可行）的学习办法，从曩昔的调查中猜测未来数据。
他与Andrej Kolmogorov一同创建了柯氏杂乱性或算法信息论（AIT）的理论，经过核算数据的最短程序的概念，将奥卡姆剃刀的概念正式化，然后逾越了传统的信息论。
尽管如此，因为各种原因，这种数学上的最优人工智能在实践上还不可行。相反，有用的现代人工智能是依据次优的、有限的、但并不被极度了解的技能，如NN和深度学习则是要点。
