基于深度学习的自然场景多方向文本检测与识别

王明宇

（格拉斯哥大学 英国苏格兰格拉斯哥 G128QQ）

1 背景介绍

自然场景图像的文本检测与识别技术有助于获取、分析和理解场景内容信息，对提高图像检索能力、工业自动化水平和场景理解能力具有重要意义。它可以应用于自动驾驶、车牌识别和智能机器人等场景，具有很大的实用价值和广阔的研究前景。

与以往用于印刷文本的OCR 技术不同，自然场景中的文本检测和识别任务更加困难。复杂的背景使得许多文本很难从背景物体中区分出来。目前的研究通常将自然场景中的文本识别分为两个步骤：文本检测和文本识别。即用视觉处理技术提取中文文本，用自然语言处理技术获取文本内容。这两个步骤密切相关，文本检测结果的准确性直接影响到最终的文本识别结果。因此，本文开发了一个将检测和识别这两个步骤整合在一起的应用，以提高识别的效率。

本文的研究内容主要包括以下三个方面。

（1）结合目标检测的知识，对SegLink 模型进行了分析和改进。利用连接组件的CNN 网络对检测结果进行过滤，提高检测结果的准确性。

（2）针对自然场景文本识别的不足，设计了结合二维CTC 和注意力机制的适应性强的文本识别模型。本文详细介绍了二维CTC的原理以及连接二维CTC 和注意力机制模型的文字识别全过程，并介绍了Encoder-Decoder 模型的详细改进和操作，进一步提高对不规则和倾斜文本序列的识别精度。

（3）通过整合检测和识别框架，设计并实现了一个端到端的自然场景文本检测和识别系统，并对识别效果进行了验证。……