基于VAE的伪样本重排练实现的类增量学习

莫建文，陈瑶嘉

(1.桂林电子科技大学 信息与通信学院 认知无线电与信息处理省部共建教育部重点实验室， 广西 桂林 541004；2.桂林电子科技大学 信息与通信学院，广西 桂林 541004)

0 引 言

自然学习系统本质上是渐进的，新知识是随着时间的推移而不断学习的，而现有的知识是保持不变的[1]。在现实世界中，许多计算机视觉应用都需要内置的学习能力。例如，人脸识别系统应该能够在不忘记已学过的面孔的情况下添加新面孔。然而，大多数深度学习方法都遭遇了灾难性的遗忘[2]，即当无法获得过去的数据时，性能会显著下降。这是完成能不断学习的人工智能体目前最迫切需要解决的问题。

伪样本重排练(pseudo-rehearsal)被提出作为一个在神经网络中进行增量学习解决灾难性遗忘的方案。当需要对网络进行新任务训练时，伪样本重排练会通过生成捕获旧任务结构的网络行为样本来保护先前的旧任务学习。这是通过随机生成输入样本并使其通过网络分配其目标输出来完成的。然后可以在学习新任务时，对这些随机生成的输入与其输出对一同进行训练。伪样本重排练限制了网络功能的更改，因此，对于以前学习的任务的输入空间，该功能将保持大致相同，而对于新任务的输入空间，该功能将进行更改。伪排练与突触可塑性假说是一致的，因为只要网络的整体功能保持一致，编码上一个任务的单个神经元的权重就可以改变。

然而，在深层学习中，纯随机生成的伪样本不太可能很好地表示训练数据。……