轻量化的增量式集成学习算法设计

丁嘉辉, 汤建龙, 于正洋

(西安电子科技大学电子工程学院, 陕西 西安 710071)

0 引 言

常规的分类与回归树算法(classification and regression tree, CART)作为一种典型的决策树算法,其结构简单、判决速度快、可解释性较好[1],发展到现在已有多种变体与改进形式[2-3],广泛应用于各种分类问题[4-8],在集成学习算法中也被认为是一种非常有效的基分类器。例如经典的随机森林算法[9-13]就是以CART作为基分类器,通过投票的方式综合所有基分类器的判决结果。但是常规的CART与集成学习算法也存在一个缺点,一旦有新类别进入分类范畴,算法模型通常需要重新训练来实现对新类别样本的认知,在分类类别数量较多时这将导致训练时间的大幅度增加[14]。这一问题限制了CART算法在更复杂情景中的应用。例如在电子侦察领域,已经广泛采用极限学习机[15-16]、集成学习等算法来解决辐射源分类问题[17-20],我们经常需要扩充分类器能够识别的样本类别库,来适应复杂多变的战场环境,如果每次都重新训练分类器模型必然会大幅度增加计算量。

针对上述问题,本文提出了一种轻量化的增量式集成学习算法。首先,让原有CART的叶节点再生长,在不破坏现有结构的基础上使之具备开集识别的能力,从而能够辨别训练集类别之外的异常样本。然后采用增量式的集成策略[21-23],以若干个具有开集识别能力的CART作为基分类器构成增量式集成学习算法,每个基分类器只负责其中一部分类别的分类。开集识别能力确保了每个基分类器只会对自己“认识”的样本做出判决,否则投出“弃权票”。……