事件星敏感器自适应积分时间曲面算法

朱立华，张 强，高建东，程向红，杜忠华

（1.南京理工大学 机械工程学院，南京 210094；2.东南大学 仪器科学与工程学院，南京 210096）

星敏感器（Star tracker）是自主姿态测量系统中以星空中的恒星为观测目标的高精度姿态测量仪器，具有精度高、工作寿命长等优势，有效保证了航天器的可靠飞行和工作，在深空探测、遥感、编队飞行等航天应用领域中具有重要的战略意义[1]。传统星敏感器通常是采用CCD 或CMOS 图像传感器，是基于帧的成像模式，在曝光时间内拍摄视场内的恒星分布，通过提取星点质心、匹配星图完成航天器的姿态测量与跟踪[2]。载体的大机动会导致星图拍摄模糊、星点拖尾等现象，严重影响星点质心的提取精度，限制了星敏感器的使用[3]。对于传统光学星敏器的运动模糊问题，常用的去模糊方法主要有维纳滤波、RL（Richardson-Lucy）算法和改进的Radon 方法等[4]。这些方法主要解决传统视觉传感器去模糊问题，存在易受噪声干扰、算法复杂等问题，且当动态过大时去模糊效果不理想。

事件相机是一种敏感光强变化从而实现异步像素触发的传感器。与传统的帧相机相比，其成像范式发生了改变，具有高动态范围、高时间分辨率、低功耗的特点[5]，尤其适合运动检测，因此已被用于场景重建、无人驾驶、目标跟踪等领域。鉴于事件相机的突出优势，其应用也逐渐扩展到空间探测领域[6]。Cohen等人[7,8]利用事件相机对恒星和行星进行了不同程度的探测实验，测试并验证了事件相机进行连续实时天体测定的可行性。Afshar 等人[9]提出了一种检测和跟踪方法，旨在处理由事件相机采集的空间目标数据，包括基于特征的检测器和能够同时跟踪多个目标的顺序最小二乘跟踪器。Chin 等[10]研究了利用事件相机进行恒星跟踪的相对姿态解算技术方案，研究表明其与传统传感器相比具有更低的功耗和更快的运行速度。吕媛媛等[11]利用事件相机对空间目标进行探测，建立并验证了事件相机空间目标探测灵敏度模型，为观测实验设置提供参考。周晓丽等[12]研究了一种空间目标事件流数据的降噪算法，为后续的空间场景视觉应用提供基础。

由于事件相机的异步成像特性，需要将一定时间窗口内的事件量进行积分以构建时间曲面图像。考虑到积分时间窗口与目标的相对动态有关，在高动态环境下，积分时间选取过长，会造成星点光斑成像模糊拖尾；积分时间选取过短，则会造成星点光斑特征不足，难以识别。实际应用中动态环境复杂，难以用先验设置值匹配所有场景，因此，本文针对动态环境下星点光斑特征清晰成像的需求，提出一种事件星敏器自适应积分时间曲面算法。该算法对去噪后积分形成的星点目标进行椭圆拟合，根据拟合结果自适应调整积分时间，实现了动态环境下星点目标的有效提取，提高了星敏感器的动态检测能力。

1 动态视觉传感器

动态视觉传感器（Dynamic Vision Sensor）又称事件相机，起源于基于帧的硅视网膜设计。与以固定帧速率生成完整图像的传统相机不同，事件相机各像素独立敏感光照强度变化，当像素的亮度变化超过预设阈值，则会触发产生一个事件，如图1 所示。

图1 单个感光像素单元产生事件示意图Fig.1 Schematic diagram of events generated by a single photosensitive pixel unit

事件流使用地址事件表示协议，单个事件可以表示为ei＝(xi,yi,ti,pi)，i为事件序号，ti为事件发生时间，(xi,yi)为像素坐标，pi∊{- 1,1}表示事件极性（-1代表亮度变暗，1 代表亮度变亮）。

图1 中I表示光电流。可见，事件相机各像素独立响应其对数光电流（用于表征亮度L）的变化。在无噪声场景中，当像素处的上一次事件亮度增加时，事件ei在像素(xi,yi)处和时间ti处被触发。

其中，Δti是同一像素的两个相邻事件的时间差。

当亮度变化达到事件生成阈值C（C＞ 0），则产生对应像素(xi,yi)处的事件输出，即

事件星敏器的技术方案如图2 所示，不同于传统星敏感器在曝光时间内累积入瞳光电子的方式形成灰度星图，基于事件相机的星敏感器需要对输出的异步事件流去噪后进行积分处理形成星图虚拟帧，进而完成质心提取、星图识别以及姿态解算等一系列步骤。其中，积分时间的选择是保障高动态环境下质心提取精度的关键之一。如果积分时间过短，可能导致虚拟帧中目标的弱结构，不能完整表达目标特征。相反如果积分时间过长，会导致目标存在拖尾现象，严重影响星图识别的能力。合适的积分时间能够构造清晰的星图虚拟帧，使其具有明显的目标特征，无过多位移和运动模糊现象。积分时间的设置与目标的动态息息相关，当相对运动剧烈时，设置较短的积分时间即可获得清晰点目标；当相对运动比较平缓时，应做长积分设置以获得星点的清晰特征。然而，相对运动的动态情况无法预先获取，难以针对各类场景设置统一的积分长度。本文针对相对动态不确定性问题，研究了自适应积分时间曲面算法，以确保复杂动态环境下对星图的清晰成像。

图2 事件星敏感器工作流程图Fig.2 Event-based star sensor work flow chart

2 自适应积分时间曲面算法

星空背景下星点目标微弱，星点事件流数据具有稀疏的特性，单个事件点包含的信息太少，使得传统图像处理方法无法直接适用，需要对星点事件流e＝{(x,y,t,p)}进行积分处理，形成虚拟帧，构建场景的几何结构，从而增加目标特征信息。星点事件流是事件相机运动在连续时间段t∊ [tstart,tend]的输出。通过对事件流进行积分，生成N张虚拟帧图像。

在事件流e中，每个虚拟帧图像为：

虚拟帧Pi是对事件窗口内所有事件点进行积分得到的。

对事件流积分形成的虚拟帧图像在时间域是连续且不重叠的，即

一种常用的事件流处理方法是将固定时间窗口d内的事件积分为虚拟帧[13]。采用固定时间存在的问题是：如果积分时间选择过长，则会导致事件存在堆叠，使得目标存在拖尾；相反如果过短，则会导致目标事件稀疏。另一种常用的方法是积累固定数量的k个事件形成虚拟帧[14]。这种方法的缺点是缺乏全局性，对于具有多个特征的复杂场景，难以设置合适的全局k值。为了解决这一问题，提出一种星点事件流积分方法—自适应积分时间曲面算法（Adaptive Integration Time Surface Algorithm），该算法通过判断虚拟帧内星点目标特征来自适应地调整时间窗口。图3 介绍了三种星点事件流积分方法。三个时间轴下的虚拟帧表示这三种积分方法结果，固定时间窗口和固定事件数量的时间间隔和全局事件数量是固定的，自适应积分时间曲面算法可以动态调整积分时间窗口，从而使其更适合高动态场景。

图3 三种事件流积分方法Fig.3 Three event stream integration methods

2.1 基于时空滤波器的事件流去噪

事件相机由于受自身元器件、电路设计和环境干扰等因素影响，输出事件流会包含大量噪声事件。这些噪声事件可能被错误地识别为星点，严重影响后续算法的运行。噪声事件具有随机性、孤立性的特点，在成像平面上随机分布；星点运动产生的真实事件在时空上具有延续性和持续性，在一定时间段内总是聚集分布[15]，因此利用事件的时空关联性，构造时空滤波器可以有效去除噪声事件，如图4 所示。

图4 时空滤波器去噪示意图Fig.4 Schematic diagram of spatiotemporal filter denoising

时空滤波器在事件的空间邻域中搜索时间戳比阈值dT更接近处理事件时间戳的事件。如果存在时间戳比阈值dT更接近处理事件时间戳的事件，则处理事件得到支持并可以通过滤波器，否则处理事件将作为噪声被滤除。采用式(9)对输出的事件流进行时空滤波去噪。

事件点ei(xi,yi,ti,pi)不是背景噪声等效于：

其中，ei(xi,yi,ti,pi)是处理事件；tc,r是列col＝c、行row＝r处最近事件的时间戳，不包括处理事件；dT是设置的时间阈值。

对于每个事件采取如下步骤：

1）对于每个事件，将事件的时间戳存储在所有8个相邻像素的时间戳内存中，并覆盖之前的时间戳；

2）检查当前时间戳是否在写入此事件位置的时间戳的前一个值dT以内。如果时间差小于dT，则该事件作为有效事件保留并输出，否则将其作为背景噪声去除。

2.2 基于椭圆函数特征参数拟合

事件流通过事件簇的形式传递信息，星点的运动、光强的变化都会产生时空上关联紧密的事件，称之为事件簇。星点产生的事件簇几何形状呈椭圆形，因此可以使用最小二乘椭圆拟合，得到星点事件簇的几何中心、长短半轴等信息。

椭圆曲线的一般性方程为：

其中，α1,α2…α6为待回归的椭圆参数；xe和ye为数据点坐标。

基于最佳平方逼近理论，结合椭圆一般方程，对式(10)中的参数进行回归：

从目标函数的最小值进行计算，可以得到参数值α1～α6。由此可以解算其几何中心坐标(X,Y)和长、短半轴a、b：

星点目标在事件相机成像近似为圆形，而在高动态环境下，星点事件簇因运动模糊成像近似为椭圆形，图5(a)是视场中的星点，图5(b)为事件相机输出的星点事件流，图5(c)是对星点事件流积分得到的虚拟帧。理想的虚拟帧，其中每个星点簇形状应该近似为圆形，所以可以通过星点的几何形状特征判断当前积分时间窗口是否合适，如果不符合要求则继续调整积分时间，流程图见图6。

图5 视场中的星点、星点事件流和星点事件流虚拟帧Fig.5 Star point in field of view,star event stream and star event stream virtual frame

图6 基于椭圆函数特征参数拟合算法流程Fig.6 Algorithm flow of characteristic parameter fitting based on elliptic function

对于星图事件流采取如下步骤：

1）利用时空滤波器去噪，将事件流中的噪声事件去除；

2）将去噪后的事件流按照动态积分时间T积分成虚拟帧，初始时动态积分时间为T0；

3）对于得到的虚拟帧，利用星点簇边缘事件点进行椭圆拟合，解算出星图虚拟帧中每个星点的长半轴a和短半轴b。定义一个评价值γi，满足：

其中，ai和bi分别为第i个星点拟合椭圆的长半轴和短半轴。

4）判断评价值γi是否处于阈值范围 [γmin,γmax]内，标准星点形状近似为圆形，γi值接近1。如果星点簇的γi均处于阈值内，则采用当前的动态积分时间T；若不满足要求，则将动态积分时间T增加τ，即T＝Told+τ。判断当前积分时间T是否处于设定时间阈值 [Tmin,Tmax]内。如果处于时间阈值内则返回步骤2。

5）创建一个列表储存当前虚拟帧序号、积分时间和符合标准的星点簇数量，即评价值γi处于阈值范围内的拟合椭圆数量。选择符合标准的星点簇数量最多的积分时间作为最优积分时间，此时虚拟帧内标准星点簇最多。如果存在多个时间窗口的标准星点簇同为最大值，则选择最小积分时间作为最优积分时间。

3 实验及结果分析

3.1 实验内容

为了验证本文所提方法，本文设置了转台实验和滑轨实验。实验设置见图7，转台实验（角运动）将事件相机通过支架固定在高精度三轴转台，滑轨实验（线运动）将事件相机固定在滑轨上，模拟星图使用小型LED 灯来模拟星点。控制转台仅水平方向转动，转速分别设置5 °/s、10 °/s、15 °/s、20 °/s。控制滑轨分别设置相机直线运动速度为100 mm/s、200 mm/s、300 mm/s 和400 mm/s。事件传感器原理与普通相机不同，但针孔成像模型仍适用。在开始拍摄前，通过闪烁棋盘格对事件相机进行标定[16]，得到相机的内参矩阵和畸变参数。在转台转动的同时利用事件相机进行拍摄，同时上位机采集事件流数据。

分别利用本文提出的方法和常用的固定时间窗口方法对事件流进行积分处理，将不同动态环境的事件流积分形成星图事件帧，图8 给出了不同动态环境下两种方法积分得到的虚拟帧对比。

图8 不同动态环境下两种事件流积分方法虚拟帧对比Fig.8 Comparison of virtual frames formed by two event stream methods in different dynamic environment

从图8 可以看出，固定时间窗口得到的虚拟帧中星点都存在拖尾，且随着角速度加快，运动模糊越来越严重；而本文提出的自适应积分时间曲面算法得到的虚拟帧中，星点都是近似理想的圆形星点，不存在运动模糊。

3.2 实验结果分析

采用两种积分方法得到星图虚拟帧后，利用2.2节提出的椭圆拟合方法得到每帧中的星点质心坐标。根据星对角距的不变性，采用视场内星对角距统计偏差Δθ评估星敏感器的姿态测量精度[17]。

其中，Nstar为当前帧视场中的定姿星数；b和v分别为标准星矢量和测量星矢量；l代表帧序号。

分别利用本文提出的方法和常用的固定时间窗口方法对事件流进行积分处理，将事件流积分形成星图事件帧，固定时间窗口积分时间选择10 ms。得到星图虚拟帧后，利用2.2 节提出的椭圆拟合方法得到每帧中的星点质心坐标，根据式(16)计算视场内星对角距统计偏差。同时计算质心的提取成功率，提取成功率是指帧中成功提取的星点与视场中所有星点的比值。若算法可以成功输出星点质心，则判定星点提取成功。

表1 是不同角速度下两种方法的星对角距统计偏差和提取成功率。分析实验结果，在角速度为5 °/s、10 °/s、15 °/s、20 °/s 的高动态条件下，本文提出方法较常用固定时间窗口方法星对角距误差均值分别减少了26.5%、45.7%、60.9%、77.9%。

表1 不同角速度下两种方法实验结果Tab.1 Experimental results of two methods under different angular velocity

表2 是不同线速度下两种方法的星对角距统计偏差和提取成功率。分析实验结果，在线速度分别为100 mm/s、200 mm/s、300 mm/s、400 mm/s 的高动态条件下，本文提出方法较常用固定时间窗口方法星对角距误差均值分别减少了25.1%、48.9%、56.2%、70.7%。且本文提出的方法提取星点的成功率均高于常用的固定时间窗口方法，在高动态环境下也可以很好地提取星点坐标。

表2 不同线速度下两种方法实验结果Tab.2 Experimental results of two methods at different linear velocity

4 结论

为了解决事件星敏感器高动态环境下积分时间选取不当导致星点运动模糊的问题，本文提出了事件星敏感器自适应积分时间曲面算法，该方法基于虚拟帧内星点的几何形状特征，实现高动态下的积分时间自适应选取。基于椭圆函数特征参数拟合方法，利用事件流的时空相关性进行去噪处理，再对去噪事件流进行积分处理，根据虚拟帧内星点几何形状特征调整积分时间。通过实验验证，该方法可以在高动态环境下选取出最优积分时间，获得消除运动模糊的虚拟帧。