融合片段对比学习的弱监督动作定位方法

党伟超，张 磊，高改梅，刘春霞

（太原科技大学 计算机科学与技术学院，太原 030024）

0 引言

时序动作定位是视频理解中重要的基本领域之一，旨在识别视频中的动作实例，并在未修剪视频中定位每个动作的时间边界。时序动作定位可以看作由两个子任务组成，一个子任务预测动作的起止时序区间，另一个子任务预测动作的类别。现实世界中的大多数视频通常未被剪辑，且时间较长，视频可能没有动作，也可能包含多个动作。传统的时序动作定位需要注释视频中的每个动作实例类型和时间区间，导致收集样本数据成本昂贵、消耗时间长，以及动作样本易错标或漏标。这些问题表明使用更少注释信息的重要性，因此，只需要视频级别标签的弱监督时序动作定位［1-3］逐渐成为动作定位研究的重点。

现有的一些弱监督时序动作定位方法［4-5］利用注意力机制分离前景背景，构建视频级特征，应用分类器获取分类激活序列（Class Activation Sequence，CAS）［6］，对CAS 阈值化处理得到定位结果。在视频中除动作帧与背景帧外，还存在语义模糊的上下文帧，这些上下文帧与动作帧相似，导致在定位过程中难以被准确分类。此外，这些方法大多处理单个片段，片段间的联系未得到充分利用，导致出现在动作时间边界处的上下文帧也易被错误划分为动作实例。

随着深度学习的技术发展，无监督学习［7-8］近年来备受关注，已被验证具有特征提取的适应性和丰富性。在弱监督时序动作定位研究中，由于缺乏帧级别的注释，可以利用无监督学习提取特征的适应性和丰富性的优势，借助无监督学习间接获取帧级特征，帮助模型提高性能。……