基于情感感知的面料图像数据库系统的设计与实现

张海波，李晓玲

(1.北京服装学院 服装材料研究开发与评价北京市重点实验室，北京 100029； 2.北京服装学院 图书馆， 北京 100029)

随着网络信息技术和多媒体技术的发展，在服装数字图书馆中，建立面料图像数据库系统以实现对面料及其图像的管理、开发和应用具有重要的意义，并且已经成为一种必然趋势。在面料图像数据库系统中，一般对面料属性的描述有：织物原料、纱线形态、纱线细度、织造方式、组织结构、颜色、产地等[1]。用户(设计师、读者等)在浏览或挑选面料时，可以通过面料图像的描述在面料图像数据库中进行查找或检索。

目前，大多面料网站或数据库系统提供文本的检索以方便用户的浏览或挑选，也有少部分系统提供“以图搜图”的功能。在满足文本搜索或“以图搜图”需求的同时，却忽略了用户的主观情感需求[2]，也即让用户通过情感语义对面料进行检索。而对图像的信息描述、组织、存储及检索一直是业内研究的热点之一[3]。为了实现基于内容的图像情感语义检索，辅助人们对图像内容的情感语义进行理解，需要计算机对图像的情感语义内容进行感知，并进行有效标注[4]。本文针对面料图像本身表述的情感语义进一步研究，以实现在面料图像数据库系统中让计算机对面料图像的情感语义自动感知和标注，进而实现基于情感语义的图像检索。虽然目前国内外在计算机图像的情感语义识别和检索方面的研究还处于初级阶段，但随着人们生活水平的提高，人们对服装、装饰等蕴含的感性需求也越来越强烈，而面料作为服装设计时主要考虑的因素之一，其本身的情感语义对服装的情感表述具有重要的影响。该研究可帮助用户对面料图像数据库中图像的情感语义进行辅助判断，也便于用户对面料图像进行查找和搜索。

1 基于内容的面料图像情感语义识别

为了实现面料图像情感语义的感知和识别，现有方法是建立面料图像底层特征和情感语义描述之间的映射关系。首先根据面料图像的特殊性，结合面料领域知识，通过对面料的情感描述词进行筛选、投票、相关分析、因子分析等研究，得出最能表述面料图像情感的形容词有7对，分别是：“强烈的—柔和的”“温暖的—凉爽的”“华丽的—简约的”“高雅的—朴素的”“张扬的—文静的”“厚重的—轻薄的”“丰富的—纯净的”，并设置情感词对的数值范围为[-3,+3]，比如对于“强烈的—柔和的”词对，如果数值越接近于“-3”，那么面料的情感语义越“强烈”。由此建立7维的面料图像的情感语义心理空间[5]，并进行降维得到3维的情感因子空间[6]；利用模式识别的理论和方法，通过编程对面料图像的情感因子空间和图像底层特征之间的关系进行分析，得出2个空间之间的关联关系[7]；利用支持向量机(SVM)等技术通过C++编程建立2个空间之间的映射关系模型，并实现了面料图像的情感语义识别[8]。

张海波等[8]利用Visual Studio 2008的C++编程对面料图像的低层特征进行了提取和计算，然后用SVM回归进行机器学习训练和实验。训练样本是已经经过主观测试的60张面料图像样本。对这些面料图像样本提取图像的底层特征作为向量输入到SVM中，利用SVM的回归方法对样本进行回归分析。对实验结果进行分析，最终得出了实现面料图像情感语义识别的映射关系模型。根据该模型，可以对任一面料图像按照相应的方法提取特征并进行3个因子值的预测，从而实现了让计算机对面料图像情感语义的自动识别[8]。这些研究为本文基于情感感知的面料图像数据库系统的设计和开发打下了基础。

2 基本功能设计

为了在面料数据库系统中实现基于情感感知的面料图像自动感知计算和展示，对该系统的功能首先要进行设计，以下是基本功能的设计。文中的“前台”指面料数据库系统中普通用户可以使用的系统功能，“后台”指管理员可以使用的系统功能。

2.1 前台基本功能

①可按面料种类进行显示。由于面料种类众多，所以需要对面料进行分类管理，前台显示可以按种类进行查看。

②实现基于文本的检索功能。当用户输入情感词或面料属性的相关描述，可以搜索到相关的图像，方便用户搜索和查询。

③类别展示页面可按描述进行分类检索。比如按“图案”的“植物花卉”就可以搜索到带有“植物花卉”图案的所有面料图像。

④可展示每款面料图像的基本属性描述，其中包括情感描述。情感描述分为2部分：一是由计算机自动识别和标注的数据，二是用户利用面料显示页面进行打分，后台计算机对打分数据进行统计的数据平均值。

⑤可对面料图像的情感语义描述进行打分，用户通过页面对面料图像进行情感语义描述的打分。

⑥前台具有新闻或通知显示功能。主要是新闻或通知的列表以及详细页面的展示。

⑦用户在前台页面可以注册成网站会员。

2.2 后台基本功能

①后台可对面料图像进行管理。主要是上传、删除和修改。上传时可输入属性描述，并自动计算情感语义描述值，一般每款面料可能有几种图像，比如正面的、折叠时的图像，把其中一张正面的图像设置成“主图”，计算机自动感知主图的情感语义描述并计算出情感语义描述值，其他附图可不予计算。

②后台可对前台面料图像的投票打分进行统计，并提供统计报表。

③后台可对新闻或通知管理的类别、内容等进行管理，包括增加、删除和修改。

④后台可对会员进行管理，包括审核、删除、增加、修改、权限分配等功能。

后台还有访问统计、数据维护等其他功能。

3 系统开发及实现

3.1 动态链接库技术

动态链接库(Dynamic Link Library)技术是重要的代码重用技术之一，是微软公司为Windows和OS/2操作系统设计的供应用程序调用的共享函数库，简称DLL。动态链接库是应用程序的一种扩展，它包含了可以由多个程序同时使用的代码和库资源，可提供给其他进程进行调用，是软件共享和重用的重要技术之一。

在Visual C++中，动态链接库主要分为3类：非MFC的DLL、MFC规则DLL和MFC扩展DLL。本文采用第1种DLL。非MFC的DLL(Non-MFC DLL)使用SDK API进行编程，能被所有编程语言调用，体积相对较小，也称为Win 32动态链接库。这种DLL不使用MFC类库，直接用C语言编写，导出函数的接口一般为标准的C接口，既能被非MFC程序调用，也可以被MFC编写的程序调用[9]。

一般有2种调用动态链接库的方式：动态调用和静态调用[10]，本文采用的是动态调用。动态调用就是在程序中使用LoadLibrary()/FreeLibrary()动态地获得DLL函数及类成员变量的指针。然后通过指针调用函数/成员函数。这种方法比较适合在大型项目中使用，用户在要使用动态链接库时才去加载，使用后就释放掉，可有效的提高内存的利用效率[11]。

动态调用的主要步骤：首先定义一种存放函数地址的变量类型，和该类型的变量，再定义1个FARPROC类型的变量用来存放GetProcAddress()的指针，1个HINSTANCE类型的变量，用来存放DLL的句柄。调用LoadLibrary()函数，将返回值赋给HINSTANCE类型的变量；调用GetProcAddress()函数，将返回值赋给FARPROC类型的变量；将FARPROC类型的变量强制转换成存放函数地址的变量，然后调用动态链接库中的函数。

3.2 系统开发及实现

在C++编程和SVM进行机器学习实现面料图像情感语义识别的基础上，利用动态链接库技术，把C++和SVM的识别程序进行打包生成DLL文件，然后再通过编程在面料图像数据库系统中调用，从而在面料图像数据库中可以自动的对面料图像的情感语义进行感知和识别，并进行数值标注。这时，计算机可对数据库中每张面料图像自动提取其底层特征，并自动计算出其7对情感语义描述值。

根据以上思路，经过编程和数据库设计，通过net framework 4.0架构实现了基于情感感知的功能。数据库管理系统采用MS SQL Server 2015。

图1为面料数据库系统中面料图像上传界面，一款面料可能由几张图像来展示，本文只计算主图的情感语义描述值，主图一般为该面料的正面图像。当设置好“主图”后，图1的右边区域自动会计算显示出的该“主图”的7对情感语义描述值。

图1 面料图像上传界面(局部)

面料图像的情感语义分类和检索界面见图2，在面料数据库系统前台点击1个类别，就显示这类下面面料图像的缩略图，不但可以按“织造方式”“图案”等类别来查看，而且还可以按情感语义来查看。比如“温暖的—凉爽的”，点击“凉爽的”就把这个类别最“凉爽的”图像排在前面展示，同样，点击其他情感词，也把该情感词描述值绝对值最大的图像排在前面展示，并按绝对值从大到小依次排序。

图2 面料图像的情感语义分类和检索界面(局部)

面料图像数据库中每张面料图像的前台显示界面见图3，可以看出，不仅有面料的一些常规属性展示，还有情感语义的展示，将对情感的投票数据和识别数据的展示放在一起，不仅可以看到计算机识别出的情感描述值，还可以在图3界面实现网上投票，并看到投票后的该图的情感语义描述平均值。

图3 单张面料图像显示界面

4 结束语

本文结合面料图像数据库系统的实际情况，在前期利用VC++实现基于内容的面料图像情感语义识别和检索的基础上通过动态链接库和编程对基于情感感知的面料图像数据库系统进行软件开发，从而在面料图像数据库系统中实现了基于内容的面料图像情感语义自动感知和识别，并进行数值标注。实际应用中，在后台系统上传面料图像时，只需在上传界面点击“主图”二字，计算机就会自动计算该图像的7对情感语义描述值；前台面料类别展示中可以实现面料图像按情感语义分类和检索，前台面料详情展示页面可对识别出的面料图像的情感语义值进行显示。从而实现帮助用户对面料图像的情感语义描述进行判断，丰富了面料图像数据库系统的内容，获得了较好的感知和应用效果。