基于单目摄像机的违建物精准定位

陈欣 冯卫东 曹晓华 田浩男 肖瑶

（1.中国铁塔股份有限公司河北省分公司 河北省石家庄市 050000）

（2.哈尔滨商业大学 黑龙江省哈尔滨市 150076 3.首都师范大学信息工程学院 北京市 100089）

目前，随着土地违章建筑问题的日渐突出，及时发现违章建筑并处理就变得尤为重要[1][2]。社会对土地使用的需求量空前增加，加之土地资产的显化，出现了各种违法用地、占地、非法采矿等现象，针对上述问题，政府也采取了相应的措施，但是仍然需要执法人员到现场处理，存在工作量巨大、效率低、巡查不及时等问题。为了更好的监管违法占地、非采矿等情况，廊坊市自然资源和规划局决定建立立体化视频执法监察与地理信息系统，通过视频监控设备定时定点抓拍图像、图像智能识别等方法，结合地理信息核心数据库和视频综合管理系统，将整个区域的自然资源放在监控视野下。构建立体化、全方位视频执法监察系统，从而实现第一时间发现、第一时间上报、第一时间执法的目标，从源头上遏制违法占地案件，强化自然资源执法监察部门应急调度指挥能力。在政府部门的严厉执法下，违法占地现象将会大大减少。

本文采用高塔（中国铁塔公司通信信号塔）结合人工智能技术，解决自然资源全天候、全覆盖的智能监测问题。具体来说，在通信信号塔高点上（40米至80米）架设360度实时巡航的高清摄像机，以15分钟一圈的速度进行巡航，实时分析所采集的实时视频数据，通过深度学习算法智能识别建筑物搭建的事前、事中、事后的各种要素特征，及早发现、及早制止违章建筑。基于铁塔高点的智能监测问题，除了违建物特征智能识别之外，另外一个亟需解决的关键技术是基于单目摄像机的目标精准定位问题。其基于以下需求：

（1）违建物发生地点的精准定位对执法具有重要的意义。首先违建物建设具有隐蔽性，有些建设于高墙之内，为执法造成了障碍。基于精准定位技术能够准确定位到违建物建设地点，为执法提供了便利。

（2）精细化管理的需要。目前，按自然资源部要求，实行网格化管理，执法权下方到乡镇，精准定位能够准确判断事件发生，由谁负责、由谁处置。

（3）卫片核查的需要。自然资源部每三个月提供一次卫星图斑数据，需要市县自然资源管理部门进行核查，这项工作量巨大。通过精准定位技术能够准确根据图斑经纬度信息，自动调控摄像机画面到指定地点，大大提高了卫片核查的效率。

（4）联合执法的需要。通过精准定位技术，能够准确调度发生地附近的摄像机资源，从各个角度全方位展示违法建筑开工现场，支撑市、县、乡多级的联合现场执法。

1 三种坐标系

（1）相机坐标系：以相机感光原件为坐标系原点，Zc轴与镜头的光轴平行。所有相机坐标系中的坐标点是以摄像机的视角而言的。对于空间中固定的一点，其在相机坐标系中的坐标会随着相机位置的变动而改变。

（2）世界坐标系：人为定义的、实际空间中的坐标系。例如，人为指定了房间左下角为世界坐标系原点，向上是Z轴。世界坐标系与相机坐标系本没有任何关系，但物理空间中某点的坐标可以在两个坐标系之间转换。转换的方法也很简单，就是透视变换。

（3）成像平面坐标系：成像平面坐标系是主要用来表示物像在成像平面上的位置，单位是像素。而且，为了方便运算一般规定图像的左上角为坐标原点，原点向右为横轴正半轴，原点向下为纵轴正半轴。

2 相机标定

在我们进行图像采集的时候，需要借助相机镜头在获取清晰的图像，而相机镜头特别是广角镜头，一般都会有较为严重的畸变，也就是相机成像会产生扭曲，进而产生很大的误差，严重影响测量结果。相机标定就是将世界坐标系转换为相机坐标系，再由相机坐标系转换为图像坐标系的过程，最终求得变换矩阵，达成消除因相机镜头畸变而产生误差的目的。从世界坐标系转换为相机坐标系是一个由三维坐标转换为三维坐标的过程，而由相机坐标系转换为成像坐标系是将三维坐标转换为二维坐标的过程。

本文应用的标定方法为张正友标定法，仅需要一个棋盘格图案的平面标定板来完成相机标定，实际使用中具有操作简单、标定精度高等优点[3]。

2.1 相机标定方法

通常的，我们使用棋盘标定图和角点检测算法来帮助我们完成相机标定，如图1所示。具体步骤如下：

图1：相机标定

（1）准备一张标准的棋盘标定图；

（2）准备一张通过相机拍摄的棋盘标定图；

（3）对两张图进行角点检测，并根据对应点的坐标计算投影矩阵，完成相机标定。

相机标定的结果通常与提取到的点坐标数量相关，当标准棋盘标定图和拍摄的棋盘标定图中对应点的数量越多特别是靠近图像边缘的点数量越多，越可以减小在角点检测时提取的点坐标的误差，进而使最终结果越准确。

3 图像采集

基于项目背景和需求分析，只需要对固定位置进行违章检测和管理，由于违章具有时效长且变化缓慢等特性，需要对检测区域内进行长期的监控部署。为了采集数据，选择在村子周边的铁塔上搭建监控摄像头进行监控，将高清摄像头布置在需监控的区域附近的铁塔上，摄像头能够旋转一周并在固定位置进行拍照，选取相同时间且光照良好的时间点拍摄确保光照对照片的影响相对较小，于是图像的采集周期为每天一次。最佳采集时间为中午12点-下午3点。所以每天在确定的摄像点和确定时间拍摄来减少位置和光线对照片的影响。每天每个摄像头抓取8张相片，像素为1920×1080，由此来对数据图像样本进行采集，同时能够对待检测区域进行实时监控，让采集的数据更清晰完整。采集的照片如图2所示。

图2：采集图像

4 违章定位

基于铁塔高点的智能监测系统，除了违建物特征智能识别的问题之外，另外一个亟需解决的关键技术是基于单目摄像机的目标精准定位问题。

4.1 CCD/CMOS相机成像模型

目前，在高点监控领域一般采用CCD/CMOS枪机或球机。CCD/CMOS相机成像原理可以用小孔成像模型来表示，因为摄像机镜头（视场角）很小，相当于被拍摄物体通过小孔投影到感光元件CCD/CMOS上。如图3所示。

图3：成像模型

其中，光心是镜头的中心，成像界面是感光元器件，P是物理世界中的一个点，P’是P在成像界面中的成像点，f是相机焦距。

4.2 相机坐标系

摄像头安置于通信信号塔的顶端，水平安装。通过调整摄像机的俯仰角可控制监测距离塔不同位置的区域，一般设置水平时俯仰角为0度，向下垂直时为90度；通过调整焦距可控制监测区域的大小；通过云台转动可控制监测不同的方位，一般设置正北为0度。

监测区域的中心点与镜头之间的连线为Z轴，画面的横向为X轴方向，画面的纵向为Y轴方向，画面中心为坐标原点。由原点及X轴、Y轴、Z轴形成的坐标系称为相机坐标系。如图4所示。

图4：相机安装方式

4.3 透视矩阵

根据相机成像模型，将物理平面映射到成像平面，如图5所示。这样，相机成像平面是物理世界在相机中的映射。接着可以用一个透视矩阵（单应性矩阵 Homography matrix）H来表示他们之间的映射关系，如公式（1）所示。

图5：映射关系

矩阵H是一个3×3的矩阵，其值是两个平面之间的映射关系。

H用{h00,h01,h02,h10,h11,h12,h20,h21,h22}表示，如果H除以h22，则变为{h00/h22,h01/h22,h02/h22,h10/h22,h11/h22,h12/h22,h20/h22,h21/h22,1}，对H重新定义{h'00,h'01,h'02,h'10,h'11,h'12,h'20,h'21,1}，其中h'ij=hij/h22。则如果我们通过某种方法求出H的8个元素的值，就建立了相机图像平面和物理世界之间的映射关系，通过一个物体在图像中的像素位置，求出其在物理世界的坐标。

4.4 基于透视矩阵的定位方法

4.4.1 视场大小的确定

视场由相机本省参数和焦距大小决定，焦距由变焦倍数决定。一般焦距越小视场角越大，具体变换关系与所使用的镜头类型有关，可从厂家提供的相机参数中获取。

4.4.2 坐标系的转换

为了建立相机图像与物理监测区域之间的透视关系，需要将二者转换成同一坐标系下。首先将物理世界wgs 84经纬度坐标转换成相机坐标系（既以相机为原点的直角坐标系），其次是将图像的像素坐标系也转换成相机坐标系。

4.4.3 透视关系的建立

通过标定方法标注同名点。同名点是图像中物体与实际物体之间的同名关系，例如一个旗杆底部，在图像中是一个像素位置，在物理世界中是一个经纬度。同名点标注可以通过实际测量标注，也可以通过地图进行标注。本文采用地图标注的方法，使用Winform的标注工具。如图6所示，在同名点标注工具中，左侧为摄像机实时监控画面，右侧是谷歌地图。通过该工具可进行同一物体在摄像机画面和地图中的位置标注。通过标注8个以上同名点，可以用方程组求解或极大似然估计法确定透视矩阵中8个非1的参数。

图6：实时监控画面（左）与谷歌地图（右）

4.4.4 基于透视关系的定位

有了透视关系，就可以通过一个物体在画面中的像素位置信息计算出该物体的经纬度信息。

4.5 实验及结果

在廊坊市某县设立了祁各庄设立的高点摄像头实际测试。实验结果表明，采用该方法在1.5公里半径的监测区域内，定位误差小于20米。

5 结束语

本文主要研究了智能监测系统中违建物精准定位的问题，该精准定位方法能够准确定位到违建物建设地点，通过物体在画面中的像素位置信息计算出经纬度信息，自动调控摄像机画面到指定地点，大大提高了卫片核查的效率。通过该精准定位方法，能够准确调度发生地附近的摄像机资源，从各个角度全方位展示违法建筑开工现场，方便后续对违章进行管理和处理操作。