音视频数据半自动化标注方法

白雪冰， 韩志峰， 蒋龙泉， 黄云刚， 冯瑞

(1. 复旦大学 工程与应用技术研究院， 上海 200243; 2. 复旦大学 软件学院， 上海 200243;3. 复旦大学 计算机科学技术学院， 上海 200243; 4. 上海海潮新技术研究所， 上海 200070)

0 引言

近年来，深度学习技术在很多领域都获得了巨大成功，各种类型的深度神经网络已经全面超越了传统机器学习方法。比如语音识别领域的ResNet101、VGG16等性能优异的音频分类模型，在公开数据集上准确率能够达到92.15%[1]。在视频目标检测领域的Faster-R-CNN、Yolo等深度学习算法[2]，在高质量样本数据集支持下，算法模型的准确度已经达到甚至超过了人类水平，准确率能够达到95.2%[3]。

然而，构建高质量音视频样本数据集并不容易，网络上拥有丰富的音视频数据资源，但用来构建标准数据集需要经过人工筛选和标注，以图片标注为例，标注一张图片平均需要30秒/人，构建包含2 000张图片的数据集需要16小时。而像是COCO2014[4]这样包含超过80 000张训练图片的数据集，若是由人工标注完成甚至需要超过两个月的时间。这种完全基于人工标注的方法无法构建大规模的多类别检测数据集，需要一种能构建识别处理速度快、准确度高、数据集大的半自动标注方法。

1 半自动标注方法

1.1 方法思路

本文提出一种半自动音视频数据标注方法，基本思想是利用少量经过人工标注的样本数据集，针对不同需求(分类、识别等)的处理模型进行训练或调优，再使用这些模型来对大规模未被标记的原始音视频进行标注，进而解决大规模音视频数据标注时的耗时耗力问题。……