基于上下文相关模型的图像语义标注

胡楠 曲睿婷 王浩 李东洋 于元旗

摘 要：图像语义标注技术对于多媒体数据管理来说有着重要的意义，主要可以减少管理的混乱性，提升管理效率。本文将主要演示的是一个在多马尔科夫随机场的基础上一个图像语义自动标注方法（multiple Markov random field，MMRF）的图像予以标注系统，利用交互式标注模型的训练和演示，展示MMRF技术最主要的标注功能，使得观众能够简明了解到图像语义自动标注的系统实现。

关键词：图像语义标注；马尔科夫随机场；系统实现；语义上下文

引言

目前，互联网上数字图像的数量呈现出直线式上升的状态，比如目前十分流行Instagram照片分享网站每分钟上传的照片高达5000张左右，虽然某些社交网站的图像会附带有用户标签，但就实际情况而言垃圾标签的现象十分普遍，或者标签语义过于模糊等等[1]。因此行业内掀起了一阵对图像语义自动标注（automatic image annotation，AIA）的研究热潮。现阶段AIA研究面临的瓶颈就是“语义鸿沟”（semantic gap），也就是高层次抽象语义概念表达出的含义与低层次数字图像内容之间的冲突。现将对本文研究结果进行讨论：

一、系统框架设计

本系统的主要流程框架见下图所示：

1.系统主流程

该系统的主要流程主要由两个部分组成，分别是离线预处理和在线图像标注，其中离线预处理有三个步骤：

（1）训练图像库构建

系统主要提供了2个图像库，其一是图像标注研究领域中经常使用到的Corel数据集，其中包括了5000幅图像，4500张会直接成为训练图像，剩下500幅是测试图像。在每幅图像上标注至少1个至多5个语义标签，将这4500幅图像作为训练图像集，再通过网络下载得到另一个图像库，主要从各大图像分享网站或者google等搜索引擎等收集，对这些图像中的错误标签全部去除[2]。

（2）图像特征提取

提取每幅图像中的15个特征，然后利用Tagprop的方法对每个训练库学习权重向量w。

（3）模型参数学习

本系统主要通过图像标注算法得出第i个语义标签，并且观察出图像的特征d，将二者结合之后得出联合概率P（d，w），再将MMRF中的学习模型参数代入其中，如下文算法1所示。在对模型进行訓练的时候主要有三个步骤，首先对每个语义标签构建语义概念图，然后系统会筛选训练图像并且得出一个正负样例平衡的训练集，最后利用MMRF模型算出参数θ。

算法1：MMRF模型参数学习方法

输入：待标注的图像I，词表S和训练图集X；

输出：MMRF模型参数θ

①for每个词∈S do

②构建语义概念关系图

③构建训练图像集

④求解MMRF模型参数θ

⑤end for

标注系统在对线上图像进行标注的时候主要包含以下三个步骤：

（1）图像上传及标注

客户端在上传一张或者多张图像之后，系统会对图像进行分别的标注，并且得出标注结果，每一幅图像得到的标注结果都是P（f）最大化之后的标签组合，也就是f=arg maxP（f）。

2.用户评判

客户端的用户会对标注结果进行评判，并且标记正确的标注结果，达到交互式标注。

3.标注结果保存

用户评判的结果会直接进入到数据库之中，也会进行下载下来的训练图像图，由于这些新入库的训练图像的标注准确度较高，因此系统能够对模型的参数进行有效的修正，所以能够帮助提高系统的标注能力[3]。

4.系统图像标注效果

Corel数据集的标注结果见下表所示，将其与传统的MBRM与Tagprop相比，该系统在Corel数据集上的precision和f1明显高于其他两种方法，recall的水平也较高。

二、系统演示

该系统在C++语言的基础上建立，因此在用户界面上拥有比较良好的性能，用户可以在该界面上轻松完成上传图像并标注的任务[4]，并且该界面还具有一定的人机交互功能，用户在对标注结果进行判断之后，系统可以将判断的结果重新储存，并且将新的标注图像添加至训练库之中。

1.界面介绍

在系统界面之中，用户可以自行选择训练图像库，上传待标注的图像，完成之后在界面上显示“待标注”，点击“标注”按钮之后可以对该图像进行标注，标注之后会给出标注结果和相应标签，用户可以对标注结构进行判断，在“用户评判”一栏的正确选项上打钩，如果错误也可以选择“错误”选项，系统会将这一信息反馈给cpu，进行重新标注。确认完全正确之后点击“保存”按钮，系统会自动将标注完成的图像存储到数据库之中，并且还会随之添加到训练图像集之中。

2.图像标注演示步骤

该系统利用交互式图像语义标注模型的标注，使得MMRF技术的标注性能得到了有效的展示，用户能够更加充分地了解到图像语义标注的系统实现全过程。系统在演示的时候主要有以下几步：

（1）选择训练图像库

（2）选择需要标记的图像，将其上传到标注系统之中。

（3）点击“标注”按钮，系统开始对图像进行标注，并且给出标注结果。

（4）用户判断标注结果

（5）保存标注结果

三、结束语

综上所述，本文在语义上下文建模的基础上演示了一个对图像进行自动语义标注的系统，利用交互式的系统演示，可以将系统中的图像标注功能充分展现出来，观众可以从中更好地了解到目前语义自动标注系统的发展现状，以及该标注系统的实际工作流程，使得该系统更具有操作性和实用性，促进各大网站能够对上传的图像进行精准的标注，帮助其他用户可以快速寻找到自想要找到的图像，达到精准分类的目的。

参考文献：

[1]田东平， 李乃乾. 基于上下文相关模型的图像语义标注[J]. 小型微型计算机系统， 2016， 37（4）：000855-000860.

[2]郭乔进. 基于上下文的图像区域标注关键技术研究[D]. 南京大学， 2013.

[3]王小蕾. 基于上下文的社交图像语义信息的精化与丰富[D]. 华北电力大学（北京）， 华北电力大学， 2012.