基于注意力双分支网络的跨模态足迹检索

鲍文霞 茅丽丽 王 年 杨先军 刘 晋 瞿金杰

(1安徽大学电子信息工程学院, 合肥 230601)(2中国科学院合肥物质科学研究院, 合肥 230031)(3公安部物证鉴定中心, 北京 100038)

足迹指的是人体在站立或行走条件下,脚掌通过体重压力作用在承痕体所形成的痕迹[1].医学研究表明,足迹数据具有唯一性和独特性[2-3],反映了对象的生理特征和行为特征.在侦查犯罪案件中,足迹特征相对于人体的其他特征,更加不易伪装,刑侦人员可以从中挖掘到更多有效的信息.因此,国内外研究人员开展了形式多样的足迹方面的研究.例如,Osisanwo等[4]使用捺印技术获取足迹图像,比较分割后各区域的压力面积和压力值标准偏差,并进行图像匹配.Khokher等[5]通过平板扫描仪获取了21人足底图像,使用主成分分析(PCA)和独立成分分析(ICA)线性投影技术提取足底的纹理和形状特征来进行足迹识别.Heydarzadeh等[6]使用压力传感器平面板采集35人足迹数据,将每帧图像叠加合成一张融合图像,使用支持向量机(SVM)对足迹图像进行分类识别.

从以上研究可看出,目前还没有公共的足迹图像数据集,并且足迹图像采集规范和采集设备多样化,在不同采集设备下获取的多模态足迹图像包含的信息既有共性,又有各自的独特性,通过一种模态定向检索到另一种模态的足迹图像在足迹的鉴定比对、识别中有着重要的应用.对多模态数据的处理属于多视图学习(multi-view learning)问题,通过利用数据在不同视图学习的难易程度不同来……