从IB方法的角度试谈机器学习与人类学习之关联

娄铮铮 张朝阳

信息是海量的，信息的载体是数据。当我们首次面临海量的信息数据时，在无任何先验知识的情况下，是无法驾驭这些信息的。此时，海量的信息对于我们来说是无形的、不可控的。人们期望将这些无形的信息变成有形，不可控的信息变成可驾驭的，以便更好地理解、认知数据。IB的英文全称是Information Bottleneck，中文直译则是“信息瓶颈”。瓶颈一般是指在整体中的关键限制因素。因此，在我们首次看到“信息瓶颈”一词时，大多数人可能认为该词是贬义的，有信息不对称之嫌。实则不然，IB方法的初衷是将一些无形的信息通过一个“瓶颈”使其变成有形的，从而使我们更好地驾驭这些信息、更好地理解数据。因此，IB方法中的“瓶颈”是褒义的。

一、IB方法的压缩认知与人类认知之关联

IB方法通过将数据对象压缩到一个“瓶颈”变量中来学习数据中所蕴含的内在模式，其学习模型如图所示。在图中，变量X代表载有海量信息的大数据，Y是描述数据对象的特征变量，而T则是压缩的“瓶颈”变量。变量X中载有海量的信息，在无任何先验知识的情况下，这些信息对人类来说是不可驾驭的。然而，“瓶颈”变量T的规模远小于X的规模，相对容易被掌控。变量X到T的压缩过程中所产生压缩编码P（t|x）则为IB方法所发现的压缩模式，若一些数据对象被压缩到了同一个t中，这些数据对象则被划分到同一个类中。为使IB方法所得的压缩编码P（t|x）可放映数据中所蕴含的真实类别，IB方法在对大数据进行压缩的同时，还要求“瓶颈”变量T尽可能的最大化保存特征变量Y中所载有的信息量。……