超限学习机和深度学习的汇聚

超限学习机有三个方面的核心特征，分别是高精准度、尽可能少的人工干预，以及秒级、毫秒级甚至微秒级的实时学习。

——新加坡南洋理工大学终身正教授黄广斌

“人工智能”一词最初是在1956年被提出，距今已有60多年。过去，我本人很难理解中国人把计算机称作电脑这件事。我当时就想为什么要叫电脑这个词呢？计算机又没有思维，但在人工智能高速发展的今天看来，“电脑”一词才是最形象的，所以中国人很有远见。

当数据在产业中应用产生价值，数据就会变得像石油一样珍贵。人工智能时代的到来是不可逆转的，在这个时候谁也不能离开人工智能，谁也不能把数据扔掉。高效的计算环境、高效的学习算法和丰富动态的数据是机器学习时代的三个必要条件，其实在十年前我们就已经具备了高效的计算环境和高效的学习算法，而最近五六年丰富动态的数据才显得尤其重要。

相比于“农业革命”和“工业革命”，“智能革命”影响更大、更深远，而现在智能革命犹如小荷才露尖尖角，好戏还在后面。现今，人工智能的形態正在发生着变化，人工智能正逐步深入到各行各业，从云端到生产线，从生产线到设备，从设备到传感器等。其实超限学习机不是算法，而是一个体系，它包含了理论和网络结构。超限学习机有三个方面的核心特征，分别是高精准度、尽可能少的人工干预，以及秒级、毫秒级甚至微秒级的实时学习。

某一天，我的脑袋里突然冒出来这样的问题：自从现代人类祖先甚至更早（如果包括其他生物）以来，数百亿甚至数千亿人的大脑在过去数百万年中是否有共同的基本学习算法？是不是可以用这个基本的学习算法来解释具有超低频率神经元的大脑可以具有更快的学习和推理能力的原因、生物大脑弹性的成因，以及遗传和进化等方面的问题？通过对这些问题的思考，我想到了ELM的算法。

ELM算法形成了以压缩、特征学习、稀疏编码、聚类、回归和分类为主线的优化方法基本构架，统一了PCA、NMF和SVM，并首次提出SVM次优解理论。我们始终认为学习基本要素可以用有一个网络来描述呈现，可以统一为一个优化方式。上述说明的是ELM算法中的单隐层网络，多层网络呈现出随机隐层神经元和随机布线两种特征。ELM算法正好是通过对这两种特征的互补而形成的。

超限学习机相较于深度学习而言，在数据小或特征复杂度不高的终端上表现更为优异，深度学习在这种情况下能力稍显不足，不仅如此，ELM算法在数据大而复杂的云端也有不弱的表现。美国太空总署NASA将ELM列为其故障诊断开源工具包中的主要算法之一，这是因为ELM比传统飞机故障诊断预测算法快几百倍。

除了理论和应用之外，我们更感兴趣的是ELM的生物学验证。过去几年，在Nature发表的一些文章表明一些生物的神经元在学习中处于随机而未被进行调整的状态。基于这些生物学证据，人造生物神经元震撼出世，IBM研究出有几百万个随机神经元的神经形态芯片，在ImageNet等数据集上的结果和深度学习可以媲美。我们也得出了ELM的新学习理论：学习可以在不迭代调整（人工）隐层节点（或生物神经元）的情况下进行。

冯·诺依曼造就了美妙的计算机，却也留下了一个不解之谜。为什么包含许多随机连接的不完美（生物）神经网络可以可靠地执行那些可能由理想接线图表示的功能？

现在ELM算法可以较好地阐释上述问题。从ELM理论的角度来看，整个多层网络都是结构化和有序的，但它们在特定的层或神经元切片中可能看似“混乱”和“非结构化”。全局体系结构和局部随机隐层神经元的共存恰好具有压缩、特征学习、聚类、回归和分类的基本学习能力，也就实现了类似自然界广泛存在的局部无序、总体有序的状态。

云端智能与本地智能的有机融合就形成了完美的ELM。深度学习转折点即将到来，将来的趋势很有趣，将会越来越趋向于自然界局部无序，总体有序的状况。比如纳米机器人植入到人类身体里，不需要人为地做任何调整，就能融入我们身体的内环境，辅助医疗。

关于计算机的未来，我有两点感受：第一，我认为大数据不一定等于人工智能，但大数据一定要靠人工智能处理。第二，人工智能并不能简单概括为软件系统和硬件系统。人工智能方案是很复杂的迭代过程，需要研究人工智能算法，并根据应用场景进行仿真、验证，再进一步去调整算法。另外，边缘计算不等于边缘智能，边缘智能本身就有数据采集功能、数据训练功能和测试功能。我们不必纠结于机器超过人，还是人超过机器的争论。我认为人工智能的发展以15年为一个周期，2030年很有可能迎来人工智能发展的一个高点，现在国外正在积极发展后深度学习算法的研究，这应该给我们带来一些启示。

所以为了占领人工智能的高地，我们现在必须有自己的算法、自己的生态、自己潜在的发展道路，机遇并不等于弯道超车，必须秉持踏实的钻研精神、工匠精神，为人工智能的发展建立良好的人文条件。智能革命将会给很多方面带来影响，例如，驱动数学和工程应用的发展，促使智能从云端走向普物，新的经济模式将会出现，智能拐点就要到来。

（根据演讲内容整理，未经本人审核）