基于码流分析时域失真视频的车辆行驶时间确定

何烈云，周 妍

(浙江警察学院交通管理工程系，浙江杭州 310053)

0 引言

车速是交通事故鉴定中非常重要的内容之一，常用的车速鉴定技术有视频图像、动力学理论模型、行车记录设备、交通事故重建4种技术[1-2]。视频图像车速鉴定技术具有原理简单、操作方便、直观形象、说服力强等优点。随着视频技术的快速发展和公安“天网工程”深入推进，路面监控视频覆盖率得到大幅度提升，视频图像成为了分析交通事故成因的重要证据，当前鉴定80%以上事故车辆速度鉴定采用视频技术。视频图像鉴定技术基本原理是利用运动学原理

(1)

综上，现有的研究成果中关于S参数测定方法已经相对比较成熟，但关于T参数研究还不够深入，如何测定时域失真视频目标车辆行驶还没有一种有效的方法，一旦遇到时间水印不稳定、丢帧、重帧等引起时域失真的视频，目标车辆行驶时间难以确定，导致车速无法鉴定或鉴定结果误差较大。本文从视频采集播放、编码解码、传输存储、转码封装等技术原理层面开展研究，运用Elecard视频码流分析软件，以视频时间基为重要参数，针对不同类型时域失真视频提出了确定目标车辆的行驶时间方法。

1 描述视频时域特性3个时间参数及关系

数字视频可视为由一系列静止图像通过某一时间轴串联而成的图像集合，每一幅图像称为一帧。在视频的编解码技术及视频中，有时间戳、时间基及水印时间3个主要参数，它们之间存在一定的关系，在视频测速技术中，对确定目标车辆行驶时间有重要作用。

1.1 时间戳——ts

时间戳是指视频帧所处时间轴上对应时间刻度，若某视频时长为10 s、帧率恒为25 fps，则该视频第1 250帧对应的时间戳为5 s。FFmpeg视频编解码技术中时间戳(Time Stamp)可以分为解码时间戳DTS(Decoding Time Stamp)和显示时间戳PTS(Presentation Time Stamp)两种，DTS表示压缩帧解码时间，而PTS表示解码后得到的原始帧的显示时间，当视频中只有关键帧I帧(Intra-coded picture，简称I帧)和预测编码图像帧 (Predictive-coded picture，简称P帧)、而没有双向预测编码图像帧(Bi-directionally predicted picture，简称B帧)，DTS和PTS是相等的。由于监控视频一般需要实现网络传输并实时播放，而含B帧的视频只适合本地存储和点播，近年来监控设备采集的原始视频已不再采用B帧编码技术，但原始视频通过未转码或格式封装后，视频中仍有可能存在B帧[10]。无特殊说明，本文所指的时间戳中默认为DTS和PTS是相等的。

1.2 时间基——tb

FFmpeg视频编解码技术中时间基(Time base)是描述视频帧时间长度的参数，可以理解为视频时间轴上的刻度。若视频的帧率恒为25 fps的视频，时间基则为0.04 ms，即相邻两帧时间戳的差值。时间基对应也有编码时间基和解码时间基两种，对于播放流畅的视频，两种时间基是相等的，在视频测速技术中更加关注的是解码时间基。

视频时间戳、时间基可以通过视频编解码软件，也可以利用专业的视频码流分析工具。图1是某段视频运用Elecard视频码流分析软件得到的视频码流信息柱形图(下称码流图)，通过柱形图获取任意一帧的时间戳和时间基信息，还可以得到帧的类型(红色为I帧、蓝色为P帧)、图片象素、视频长度等信息。

图1 Elecard码流图

任选视频中m、n两帧，对应的时间戳分别为tsm、tsn，则两帧时间戳关系表达式为：

(2)

式中tbi含义为从m～n之间任意一帧的时间基，若视频帧率稳定，时间轴上的刻度值是均匀分布的，即任意两帧的时间戳差值时间基相等，则表达式为

tsn-tsm=(n-m)tb

(3)

由上面表达式可知，时间戳是一个相对时间参数，大小只取决于视频本身因素，且和时间基一样，属于视频内部信息参数。

1.3 水印时间——tw

水印时间是指视频上所显示的时间，可以把时间戳和时间基参数在视频中直观显示出来。水印时间形成是运用了OSD技术[11]，数值来自于系统设置的时间，一般1 s刷新一次。水印时间形成设置有两种方式，一种是直接摄像机前端设置，另一种是在后端存储录像机上进行设置。摄像机上的叠加字符，可以设置打开或者关闭。为了取证及视频分析方便，监控视频均有水印时间。水印时间是一种固定信息，因此，相对于时间戳而言，是一种绝对时间信息，属于视频外部信息参数。

时间戳和水印时间是视频时间轴上的两种不同表示帧时间参数的方式，因此即有联系也有区别。若某视频以水印时间为参考标准时，帧率保持稳定，则时间戳、时间基、水印时间关系式为

tsn-tsm≡(n-m)tb≡twn-twm

(4)

式中twm、twn为m、n两帧对应水印时间值。

时间戳、时间基属于编解码技术时间参数，一般由摄录设备内部芯片和由编码器共同决定，对于同一型号的摄录设备时间戳、时间基是常数。视频OSD的刷新是独立线程控制，受线程调度的影响，不可能做到跟视频编码完整匹配[11]。因此两帧之间的时间间隔，采用水印时间和码流时间戳结果可能有所不同。

2 时域失真视频成因及时间参数特征

为分析方便，将用于车速鉴定的检材视频分为A～F 6类：A类视频播放流畅，且以水印时间测定视频帧率恒定；B类视频播放流畅，但以水印时间测定时帧率不稳定；C类视频视图像逐帧播放时存在有规律“丢帧”现象；D类视频逐帧播放时存在有规律“重帧”现象；E类视频虽然没有“丢帧”或“重帧”现象发生，但是播放不流畅，视频播放时会出现抖动现象；F类视频视图像逐帧播放时存在无规律的“丢帧”和“重帧”现象。A类视频时域不失真；B类视频若水印时间为参考，可以视为时域失真；C、D、E、F类视频播放过程中画面不流畅，明显存在时域失真现象。

2.1 视频时域失真成因

以监控视频为例，视频从采集到播放全过程可以分为两条路径6个阶段，如图2所示。

图2 视频形成阶段示意图

实验研究表明，视频形成过程中，除了在拷贝复制阶段外，其余任何一个阶段均有可能导致视频时域失真现象。在视频形成6个阶段中，导致视频出现B～F类时域失真视频最常见形成阶段如表1所示。

信息采集和编码封装两个阶段与视频摄录设备性能、参数设置、压缩标准、封装格式等均相关。随着技术发展，监控性能稳定性越来越高。当前主流监控视频压缩标准以H.264、MJPEG为主；视频以固定帧率为主，主要有24 fps、25 fps、30 fps 3种；封装格式是MP4、AVI、WMV、MPG为主，MP4即可应用于网络传输及本地存储，AVI由于视频文件较大主要用于本地存储为主。通过用户平台下载视频时，要确保下载参数设置的视频属性参数与原始属性参数保持一致。C类和D类视频主要是在视频转码封装过程中，改变原有视频的帧率会导致“丢帧”或“重帧”，因此，非必要不宜对视频进行转码、封装格式转化、视频编辑处理，更不允许以屏幕录制方式录制视频。在视频车速测定时，尽量使用检材视频专用的播放器。若确因播放器不匹配需要转码操作，要确保转码标准、帧率与原视频保持一致。有些车载视频摄录设备为了减小视频文件占用存储空间，在摄录相对静止的画面时，会采用“可变帧率”或者“可变码流”技术。由于视频帧率不固定，就会形成E类视频。网络存储阶段如果SD卡读写、网络传输发生拥塞等原因导致丢包现象，会造成视频流缺失，视频画面表现无规律的“重帧”或“跳帧”现象[12-13]，往往会形成F类视频。因此，在交通事故车速鉴定中，用于检材视频宜直接从摄录设备SD卡上拷贝。

表1 时域失真视频常见形成阶段

2.2 时域失真视频的参数特征

视频时域失真特性可以采用时间基tb、时间戳ts、水印时间tw、帧率f等参数进行描述。用字母fw表示按水印时间测定视频帧速度；fb表示按时间基测定帧率，fb=1/tb；fc表示直接计算所得视频帧率；Tp表示视频播放总时长；Nt表示视频总帧数；fc=Nt/Tp，视频播放软件提供视频帧率是通过这种方法计算得出。若时间轴上存在m、n两帧图像，运用Elecard视频码流软件分析工具对A～F 6类视频进行实验分析，6类视频相关参数关系特征如表2所示。

表2 A～F 6类视频参数关系特征

3 时域失真视频车速测定时间参数确定

《基于视频图像的车辆行驶速度技术鉴定》(GAT1133—2014)要求提供鉴定视频画面播放流畅且具有帧率稳定，视频的显示时间应校准，并以校准后的时间作为计算用时间。该标准视频帧率如何确定、校正时间的作用没作出具体说明。在实践中往往以水印时间为标准，通过逐帧播放视频测定1 s内视频帧数计算得到帧率，在此基础上，确定目标车辆的行驶时间。标准中提供的方法只适合A类视频的时间参数确定，实验研究表明，对于时域失真视频可以运用Elecard分析视频码流特性，获得视频的时间基和时间戳参数，最终确定目标车辆行驶时间。

3.1 B类时域失真视频目标车辆行驶时间参数确定

B类视频由于真实帧率ft与水印时间测定帧率为fw有差异，如果以水印时间测算视频帧率，则车速算定结果的相对误差δ为：

(5)

由式(5)可知，当ft为25 fps、fw为28 fps时，车速测定误差达到12%，如果加上目标车辆行驶距离参数测定误差，最终车速测定可能出现的误差值更大，对于精度要求较高的视频测速技术显然是难以接受的。

在确定B类视频目标车辆行驶时间参数，首先运用视频编码分析软件或视频码流软件分析工具，得到视频的时间基tb。在此基础上确定视频的帧率ft，若目标车辆经过图像帧数为n帧时，所用的时间T=n×tb。

3.2 C类和D类时域失真视频目标车辆行驶时间参数确定

在研究C类和D类流畅度视频时间参数确定方法时，运用PC-crash交通事故仿真再现软件获取一段实验视频，图3为实验视频截图。

图3 PC-crash实验视频截图

为了便于车速测定，实验视频参数设置如下：道路分界线长度和间隔均为5 m；车身长度为5 m；车速20 m/s；视频帧率为20 fps。实验视频左上角自动生成水印时间和车速水印，与视频摄录设备水印时间原理不同，PC-crash视频水印时间相当于视频编码时间戳，即每生成一帧图像，水印时间变化一次，变化值为0.05 s。

PC-crash导出的是A类实验视频，采用对A类实验视频进行改变帧率转码封装的方法，得到了视频帧率分别为10 fps、15 fps、18 fps 3段C类视频；22 fps、28 fps、40 fps 3段D类视频。选取水印时间显示为2.250～3.350 s的片段视频进行研究，运用Elecard分析视频的时间基可发现，只要原始视频时间基是恒定的，帧率改变的视频时间基也必定是恒定的，帧率为1/tb。“丢帧”和“重帧”所处时间轴位置如表3所示。

表3 C类和D类时域失真规律分析表

由表3可知，原始视频经转码封装后，“丢帧”和“重帧”位置间隔均呈现一定的规律性，通过实验，验证了前文关于“丢帧”和“重帧”时域失真视频形成原因的结论。表中原始水印时间即为目标车辆实际的行驶时间，通过分析表格中不同帧率视频，目标车辆行驶时间Tt满足：

(6)

式中Tt为目标车辆实际的行驶时间；p、q为时域失真视频中每间隔p帧内发生了q次“丢帧”或“重帧”；tb为时域失真视频的码流时间基；n为目标车辆通过参照物所用的帧数；nd为时域失真视频中，目标车辆发生“丢帧”或“重帧”数；±为C类视频计算时用“+”、D类视频计算时用“-”。

在实践中需注意，式(6)适用于A类视频在格式封装转换时，因帧率设置改变形成C类或D类视频时确定目标车辆行驶时间，对于F类视频使用时要谨慎。

3.3 E类流畅度异常视频时间参数测定

E类视频虽然在播放时视觉感观上是不流畅的，但是其画面不存在“丢帧”或“重帧”现象。分析此类视频码流显著特点是时间基不是固定值，但码流时间戳能与实际的摄录时长度相吻合。运用Elecard软件分析某车载E类视频时间基、时间戳等码流参数，结果如表4所示。

表4 E类视频码流参数

由表4可知，目标车辆经过5帧图像时，所用的时间是5帧时间基相加，这个值也等于第5帧时间戳值0.233 s。因此E类视频，当目标车辆经过图像帧数为n帧时，所用的时间T满足：

(7)

式(7)中，tbi含义为第i帧的时间基值。

综上，确定时域失真视频目标车辆行驶时间，可以采用以下方法：

(1)针对视频播放流畅但水印时间不稳定的视频，运用视频码流分析软件获得视频码流的时间基，在此基础上判定视频帧率和目标车辆行驶时间。

(2)针对规律性的“丢帧”和“重帧”时域失真视频，运用视频码流分析软件，掌握时域失真的规律和时间基参数，在此基础出计算目标车辆的实际时间。

(3)针对无“丢帧”和“重帧”现象的时域失真视频，运用视频码流分析软件计算目标车辆通过参照物起始帧时间戳差值，由此确定目标车辆的行驶时间。

另外，通过实验研究表明，F类时域失真视频情况比较复杂，目标车辆行驶时间无法有效确定，不建议作为车速检材视频使用。

4 结束语

车速鉴定的检材视频，当水印时间不稳定或播放不流畅时会导致时域失真时，采用现行视频图像车速鉴定标准，难以准确获取目标车辆的行驶时间。根据视频播放时呈现出的不同特征，可将时域失真视频分为5种不同类型。确定时域失真视频目标车辆行驶时间，可以运用分析视频码流特性的方法，得到时域失真视频中时间戳、时间基及水印时间3个参数及相互关系，并判断时域失真视频具体类型。在此基础上，采用相对应的算法模型，测算出时域失真视频目标车辆的行驶时间。研究表明，码流分析方法可以解决大部分时域失真视频中目标车辆的行驶时间无法确定的问题，但对于时域失真较为严重的视频，目标车辆行驶时间确定仍存在困难，因此在实践中，需要对码流分析方法的可行性加以判断。