手写笔迹的表面法向量提取与鉴别系统

王执竞，尹 凡，陈庆虎

(武汉大学电子信息学院，湖北 武汉 430072)

1 引言

笔迹鉴别技术是指利用手写的文字信息来判断书写者身份信息的一种技术。随着经济社会的不断发展，一些不法分子试图通过描摹笔迹等不法手段来获得不法收益，文物与纸质文件的表面特征是判别真假的重要依据。人的书写习惯具有稳定性与特殊性，笔迹各部分凹陷程度与笔画的断连部分都能很好地反映一个人的写字习惯。笔迹鉴别按研究对象划分可分为两大类：文本无关方法和文本相关方法。文本无关方法可以不受书写笔迹内容的限制进行鉴别，但鉴别准确率不高，并需要大量的训练样本。文本相关方法则需要两份笔迹样本的文字内容相同，例如签名鉴别。

目前，国内外很多学者在笔迹鉴别方向进行了探讨，文献[1]通过提取笔迹样本的Gabor或小波特征对中文笔迹进行鉴别。文献[3]提出基于改进的网络微结构特征进行文本无关的笔迹鉴别。文献[4]提出以笔迹图像中的纹理特征和笔画形状为基础建立概率密度函数进行文本无关的笔迹鉴别。文献[5]通过两因子方差分析分离特征距离中字符因子的方法得到脱机中文笔迹鉴别分类器。文献[6]通过采用网格窗口提取笔画走势和宽度变化等伪动态特征计算距离得到笔迹相似度。

以上方法均是基于笔迹二维图像的笔画形状特征获取信息进行笔迹鉴别的方法，而打印笔迹以及临摹笔迹的笔画形状特征和真实笔迹极其相似甚至一模一样，篡改笔迹通过添加笔画实现文字内容的替换，篡改后的笔迹与被篡改者书写的相同内容的笔迹笔画特征十分相似，因此以上方法不适用于上述情况下的笔迹鉴别。同一书写人相同内容的手写笔迹之间的形状可能会有细小差异，但书写时的用力习惯具有稳定性，笔迹各部分的凹痕深度相对稳定，而基于笔迹深度信息进行笔迹鉴别的研究较少，目前常用的一些笔迹深度信息显现方法[1]包括：侧光法、红外法、静电压痕显现法等方法，但是这些方法均存在或多或少的问题。侧光法通过侧光光源的照射形成阴影，凸显签名笔迹压痕的深度变化，但由于汉字构成的复杂性，单侧光无法观察到汉字字体完整的信息，汉字整体信息不足。此外，鉴定人员需要不断变换相机方位来人工采集信息，效率很低。红外法采用红外相机拍摄的方法，结合侧光光源和红外滤光镜凸显笔迹并显现笔迹的深度信息，但是对于红色笔迹仍然存在墨色干扰的问题，且设备昂贵。静电压痕显现法通过实验把纸张背面的凹痕来显现出来，以此反映字体表面的深度信息。但静电压痕显现法流程复杂，对样本的平整度有一定要求，过程中可能样本可能会发生损坏，而且相关专业设备采购维护成本较高。本研究从还原笔迹三维信息方向即表面法向量来放大笔迹凹痕深度信息，提取表面法向量梯度变化剧烈的笔迹点，在笔画的对应位置分析书写人的用力习惯，简单易行，对样本无损伤。实验表明，基于本研究开发的笔迹三维信息提取系统简单、高效、成本低，且使用方便，能极大减轻鉴定人员的劳动强度。在篡改笔迹、临摹笔迹与打印笔迹的鉴别实验中能为鉴定人员提供准确判断依据。

2 基于光度立体视觉的表面三维重建

光度立体视觉技术是一种求解三维法向量的技术。在光源可控的环境下，拍摄同样亮度的光源从不同方向对同一位置的物体进行照射的物体图像，由图像亮度计算物体表面法向，再由表面法向量恢复物体表面三维信息[8]。

首先假设一种理想的反射模型——朗伯体光照模型，具体假设条件如下：

①光源为无限远处的点光源，或者均匀照明的平行光。

②成像几何关系为正交投影。

③物体表面为理想散射表面，即从所有观察方向看它都是同样亮的，并且完全反射所有入射光。

给出图像上像素点(x，y)处的光照模型的一般形式：

(1)

其中，I表示图像上(x，y)处像素点的亮度值，ρi表示图像中第i种材质的表面反射率，fi为光照方程，它与物体的表面法向量N，光源方向L，摄像机的视角V有关。

设图像某一像素点的亮度值为I0，其表面的单位法向量为N0，光源方向的单位向量为L0，在理想的漫反射模型下，有：

I0=ρN0L0

(2)

其中ρ表示物体的表面反射率。

将N写成向量形式：N=(Nx，Ny，Nz)T，这样I0=ρN0L0是关于N的各分量的线性方程，则确定图像上一点的法向量N至少需要3个方程即三幅图像。

(3)

由于一般物体的表面反射率ρ具有不确定性，即便是同一材料的物体，为了排除颜色差异对表面反射率造成的影响，将上述方程组写成矩阵形式：I=ρLN，设=ρN

=L-1I

(4)

则所需求解的表面单位法向量即为

(5)

另外，因为N是一个单位向量，所以可以通过求出ρ

(6)

综上所述，以三幅图像为例，利用光度立体视觉技术求解单位法向量的一般步骤为：

2)把图像亮度值归一化，归一化亮度值是该像素点的亮度值与图像上最大值之比。即

(7)

其中，(i=1，2…M，j=1，2…N)。

图1 实验流程图

3 系统设计

由于实际照射情况并不完全等同于上节表示的三个假设条件，同时也由于相机传感器存在噪声，为了得到可靠的解，在系统设计中，增加了光源的个数，于是式(3)变成了超定方程，并存在最小二乘解

=(LTL)-1LTI

(8)

为了得到不同方向光照下的物体图像，设计一款半球状装置，半球顶放置相机对正下方的笔迹进行拍照，相同型号光源分散在半球装置表面的不同方位和高度，调整光源角度对准球心处的笔迹。综合考虑解的稳定性和计算速度，采用了32个光源，均匀分布在半球上，即方位角以45度为间隔形成八个方向，每个方向以15度为间隔形成四个高度，对于光源向量l，有

li=(cos(mod(i，8)×45°)，sin(mod(i，8)

(9)

其中i=0，1，…31。

图2 系统结构示意图

系统通电工作后，由控制软件通过信号线给电路板发送指令，每个方向上的光源依次闪亮后，同时驱动相机对受到不同光照的样本进行拍照采集。图2为系统结构示意图，图3为仪器核心器件图。系统硬件中，没有机械运动部件。图像采集和样本表面法向量解算由软件自动完成，无须操作人员介入。解算时间主要取决于图像的分辨率，对于1280×1024分别率图像，普通台式计算机在两分钟以内可以完成样本图像的采集与表面法向量输出。通过分析笔迹表面法向量的灰度映射图上剧烈过渡的区域，鉴定人员可以判断书写工具在书写材料上的轻重缓急运动，为判定提供依据。

图3 系统核心器件部件

4 实验结果以及分析

4.1 手写笔迹的三维重建与比对

图4a是手写笔迹“已”字添加一笔行成的汉字“巳”字，图4b是“巳”字的法向量灰度图。

从笔迹原图中可以看出1处和2处笔迹点跟周围笔画相比相对“臃肿”，但无法判断是因为墨水溢出产生的现象还是后期添加笔画等原因导致的，从图4b中可以看出，笔画凹痕较深的几处笔迹点包括2处笔迹点都是笔画的起笔折笔和收笔处，只有1处对应位置的笔迹点是位于笔画中间，书写笔迹发力具有渐变性，而1处笔迹点则表现为突变性，不符合书写笔迹的习惯，不考虑书写者故意停顿的情况，这是不合理的，因此可以判断原汉字为“已”，导致1处现象产生的原因为“已”字中竖弯钩的起笔用力。由于图4a中纸张背景的条形纹是几乎是没有深度信息的，所以对应重建图中过滤掉了纸张背景的绝大部分条形纹。该方法在重建三维笔迹的过程中能有效排除背景中无深度干扰物的影响，还原笔迹的深浅信息。

图5a是样本笔迹1，图6a是样本笔迹1打印件，图7a是对样本笔迹1的临摹笔迹，对三者分别进行三维重建，结果如图5b-图7b。

对比图5a、图6a和图7a，三者笔划特征相似，无法看出明显差异，尤其是图5a和图6a，笔画形状几乎完全相同，而重建笔迹的三维效果对比明显，对比样本1和样本2，样本1字迹整体是凹陷进纸面的，手写笔与纸面接触过程中形成凹痕，说明样本1是手写笔迹。而样本2的笔迹整体是凸出的，这是打印机喷墨形成的现象，说明样本2是印刷笔迹。对比样本1和样本3，样本1笔画流畅，样本3笔画中间出现多次停顿、分叉等现象，不符合一般笔迹的书写特点，说明样本3是在非正常条件下手写形成的笔迹。

4.2 笔迹凹痕变化特征提取与对比

笔迹的法向量变化特征可以形象地反映出书写人在书写笔迹过程中的笔压变化，对笔迹鉴别具有重大价值。为了更好地表征笔迹的深度信息，对纸张背景进行过滤，只保留笔迹信息，选取笔迹凹痕梯度上升较快的前5%个笔迹点和梯度下降较快的前5%个笔迹点作为特征点，特征点周围处书写时用力较深。分别对笔迹1，2，3进行特征提取，如图5c-图7c，对比发现，样本1中折笔前与笔画相交处特征点分布较多，样本2特征点分布较为均匀，在收笔处特征点较多，样本3在折笔前后和收笔处特征点较多，样本2和样本3的用力特征均和样本1相差较远。

5 小结

表面法向量能表征样本表面曲度变化，它能帮助鉴定人员理解诸如书写笔迹一类痕迹的三维特征。本研究以光度立体视觉算法为基础，开发了一款高效低成本的，提取样本表面法向量信息的系统。基于表面法向量的灰度映射图，通过分析笔迹点之间的相对变化信息，较全面地反映出书写人的用力特征。实验表明，本文所提及方法较好地反映出了笔迹的法向量特征，在判别打印笔迹、临摹笔迹与篡改笔迹方面效果显著。除文书鉴定外，此系统将可扩展应用到材质、痕迹、文物鉴定等领域。