互惠双向生成对抗网络用于跨模态行人重识别

魏梓钰，杨 曦，王楠楠，杨 东，高新波

(1.西安电子科技大学 通信工程学院，陕西 西安 710071；2.西安空间无线电技术研究所，陕西 西安 710100；3.重庆邮电大学 图像认知重庆市重点实验室，重庆 400065)

随着人们对社会公共安全的日益关注，大量监控摄像头被部署在公共场所中以实现对高威胁人群的实时监测。行人重识别旨在利用计算机视觉技术在多个摄像头下检索特定的监控行人图像。近几年已有大量基于深度学习的方法在可见光行人重识别方向取得重大进展[1]。然而，现实中多数恶性事件易发生在夜间弱光条件下。为了保证对危险人员的全天时监控，红外摄像头被广泛应用于夜间场景中[2]，将其与可见光摄像头联合，可实现对危险人群的追踪与抓捕。如何从可见光(或红外)摄像头下检索红外(或可见光)摄像头下的特定行人图像，即跨模态行人重识别，对于我国安防智能化建设具有重要的研究意义。可见光与红外图像存在明显的差异：可见光图像为三通道图像，包含丰富的颜色信息；而红外图像为单通道灰度图像，缺少颜色信息。跨模态行人重识别的难点不仅体现在异质图像巨大的跨模态差异，也体现在相同模态不同摄像头下由于光线、视角变化引起的行人图像差异。

为了促进跨模态行人重识别课题的研究，WU等[3]利用4个RGB可见光摄像头和2个红外摄像头对491个行人进行多时段多场景拍摄，构建了大型可见光-红外行人数据集SYSU-MM01。韩国东国大学NGUYEN等[4]采用可见光-热成像双目摄像头在同一场景下对412个行人成像并构建RegDB数据集，两个数据集的提出促进了跨模态行人重识别的研究进展。……