运用多模态学习改进张量分解的知识补全方法

陈 冲，蒙祖强

(广西大学 计算机与电子信息学院，广西 南宁 530004)

0 引 言

知识图谱是由包含头尾实体以及关系的三元组构成的。随着大数据技术和多媒体的发展，知识三元组的表示方法也越来越多样化。由于三元组实体的异构性和多语义性，实体语义经常会发生改变，直接导致知识图谱出现不同模态的语义缺失。知识补全方法的提出很好解决了这一问题。传统的知识补全方法主要包括Trans系列方法[1]、基于知识表示的方法[2]、路径表示法[3]以及基于强化学习的方法[4]。而传统方法在知识补全中仅考虑了结构上的实体与关系表示，因此不能解决跨模态问题。

张量分解方法[5]的提出为解决跨模态知识图谱的知识表示提供了新的方向。张量分解模型将多源知识图谱的实体和关系作为嵌入层的输入并形成一个高阶张量，然后将其分解产生一个核心张量和多个低维张量的运算形式，在知识补全中由其它模式张量对特定张量进行链接预测。张量分解通常应用于二元事件、多边关系推理与知识问答等。

为了增强多模态知识图谱的补全能力，本文提出了一种运用多模态嵌入进行张量分解的方法ME-TD来解决多种模态的知识补全问题。我们同时考虑两种模态的信息：实体描述信息和视觉信息，并通过实验对比多种知识补全模型验证了基于多种模态实体的嵌入的张量分解方法比单一模态嵌入的TuckER张量分解、传统TuckER张量分解以及TranE等方法的健壮性要好，并在知识图谱连接预测的评测任务中取得了较好的效果。主要体现在：①通过描述性文本嵌入的实体和通过视觉嵌入的实体在低维空间中具有共同的语义表征；②文字描述和视觉嵌入在知识图谱补全中可以相互补充。

1 相关工作

1.1 基于TransE知识图谱补全

TransE方法最早是由Borders等学者首先提出的，在知识图谱表示学习中，TransE将嵌入向量表示为3个不同的分量，并映射到相同的平面空间，该向量空间被认为是从头向量向尾向量水平移动的特殊平面。TransE方法假设h+r≈t，其中h，r，t分别表示头部、关系和尾部的向量，定义三重能量函数为d(h+r，t)， 并根据最小化边缘的排序目标对实体和关系的表示进行学习。虽然该方法能够根据能量和预定义的边缘计算出评分更高的三元组，但存在一些缺点：首先是不能很好处理嵌入层多个实体对同一点的竞争，其次是在知识补全中仅能处理一对一的关系，容易造成语义缺失。

1.2 多模态知识表示

由于单一模态的实体之间建立语义关系网已经无法准确表示具有多源类型数据的事件，随着知识的进一步延伸，我们不可忽略地将文本、图像、音频、视频等文件内容与该知识关系网进行非静态的语义关联，并形成功能更为强大的多模态知识库。基于图像嵌入的多模态表示学习模型IKRL[6]和基于实体描述的多模态知识表示模型DKRL[7]在同等条件下实现了基于三元组的实体补充，假设E代表模型的能量函数，EM代表多模态实体补充的能量表示，为了使模态实体补充ES和EM的学习过程达成一致，EM被重新定义为：EM=EMM+EMS+ESM。 多模态知识表示学习旨在缩小不同模态之间的异质性差距，在知识补全中发挥着不可或缺的作用。然而，这种方法仅仅是针对其中一种模态来实现定向的多模态表示，无法在模态交互中进行知识补全。

1.3 张量分解法

基于张量分解的方法将多模态知识图谱中的实体与关系之间的语义表示为不同的张量，将得到的高阶张量分解为多个低阶张量并进行多关系连接预测，以达到知识图谱补全的目的。以下两种算法是关于矩阵奇异值张量分解的高阶扩展[8，9]。由于张量分解在知识库链接预测中表现较好，许多学者将其与多边关系推理、计算机视觉、智能推荐系统进行结合。Aaron Schein通过设计不同类型二元事件正态分布的实验很好验证了贝叶斯泊松张量分解[10]的有效性。由于单一模态的张量分解无法有效处理深度学习中的多模态问题，Hedi Ben-younes等针对VQA任务提出了一种多模态塔克分解模型MUTAN[11]，假设qs表示问题特征的向量集合，vs表示图片特征向量的集合，三重向量的塔克分解可以表示为T=((Gc×1Wq′)×2Wv′)×3Wo， 其中T∈Rdq×dv×|A|，Gc表示核心向量，Wq，Wv，Wo代表分解后的三重向量。通过这种模型有效地参数化视觉和文本表示之间的双线性交互，同时保持着友好的融合关系。

2 多模态学习改进的张量分解模型

为了更有效地将图像实体、描述文本和知识三元组3种不同模态的信息联合嵌入到TuckER模型中进行联合表征，本文提出了一种知识图谱补全模型——多模态学习改进的张量分解模型ME-TD。与基础张量分解模型不同，本文方法可以运用于同时包含描述文本、视觉元素的多模态知识图谱中，采用知识三元组与非结构化数据相分离的特征提取与分析方法[12]，并经过多模态联合表征形成一个三阶核心张量，经过三模式的张量分解得到3个不同语义空间的特征矩阵[7，9]，通过矩阵的链接预测实验，获得知识三元组与多模态数据的联合评分，从而进行知识图谱的有效补全。

2.1 基础张量分解

cp张量分解[13]作为最常见的一种张量分解算法，其将一个高维的核心张量表示为n次不同张量的和。假设张量X是在特定位置索引上对应的一个元素，A，B，C分别代表张量X分解后的3个特定因子矩阵，设R为张量分解的次数，r代表张量的秩，λ为权重向量，r秩展开的张量分解表示为

(1)

与cp张量分解不同，TuckER张量分解[5，11]作为高阶形式的主成分分析，将输入维度为 (I，J，K) 的三阶张量X∈RI×J×K表示为(P，Q，R)维度的核心张量G∈RP×Q×R和一组矩阵A，B，C共同的乘积，即X≈G×1A×2B×3C， 其中A∈RI×P，B∈RJ×Q，C∈RK×R。 图1静态展示了三阶张量TuckER原理图。

图1 三模式下TuckER分解原理

2.2 多模态嵌入的张量分解模型

2.2.1 模型定义

本文将多模态形式的知识图谱定义为集合K={Em，Rs，T}， 其中Em表示多模态实体的集合，Rs表示[1…s]种不同关系的集合，T表示全部的知识三元组集合。其中Em={e1，e2，…，en}，Rs={r1，r2，…，rs}， 三元组T={(h0，r0，t0)}，h0表示头实体，t0表示尾实体，r0表示实体之间的关系。其中ke表示实体的嵌入维度，kr表示关系的嵌入维度。

本文定义了3种模块化特征表示：描述文本特征表示、视觉模块表示和知识三元组嵌入的表示。实体描述表示为Ed∈Em， 经过词嵌入网络输出为描述实体特征向量d，视觉的输入表示为Ev∈Em， 输出为视觉特征向量v，知识三元组的输入为Et，经过E-R自编码器输出为知识表示向量t，假设ε为激活函数的因子系数。本文多模态融合的目标是利用TuckER学习一个多模态表示评分函数

fm=εf[(d⊗v)⊕t]

(2)

并通过改进的张量分解模型来判断每一个多模态表示的三元组是否为正确有效的三元组。

2.2.2 模型组成

本文提出的多模态学习改进的张量分解模型ME-TD原理如图2所示。文中方法主要包含以下4个部分：描述文本特征提取模型、视觉特征提取模型、多模态融合表示模块和改进的张量分解模型。

图2 ME-TD模型原理

2.2.3 描述实体特征提取网络

在知识图谱领域中，同一种类别的实体所产生的描述具有相似的性质，而一种文本描述也可以同时关联多种不同模态的实体[14]。若Description={D1，D2，D3，…，Dn} 表示实体指向的描述文本，调用jieba库对描述文本进行分词后得到文本Di的知识元组集，每一个知识元组包含知识图谱中头实体、谓语、介词和宾语代表的尾实体。令Set=[T1，T2，T3，…，Tn] 表示由n行知识文本词构成的数据集，本章使用了Google于近年来推出的Word2Vec系列的CBOW模型[15-17]，通过上下文预测中间词来对描述文本进行词嵌入。

为了进一步学习描述文本实体特征，假定存在Ti=[di1，di2…dis，hi，ti1，ti2…tis]，Tj=[dj1，dj2…djt，hj，tj1，tj2…tjt]， 其中Ti，Tj∈Set， 将Ti作为CBOW网络的输入，并表示成一个one-hot独热向量，hi可以表示为：x5=[0，0，0…0，1，0，0，0…0]， 我们选取语义连贯的三元组表示：(hi，di1，ti1)， 并对三元组向量进行求和作为神经网络模型的输入，即：X=x1+x5+x6=[1，0，0…0，1，1，0，0…0]。

接下来我们设定输入层维度为(2S+1)，过渡到连接层的参数矩阵为W，连接层的维度为m，参数矩阵为b，过渡到输出层的维度为m×(2S+1)， 最终计算输出层的维度表示为：do=(1×(2S+1))×((2S+1)×m)×(m×(2S+1))=2S+1， 其中，W、b为待训练的参数，设J(θ)为损失函数，为了极小化损失函数，本文采用梯度下降法来不断提供一个极小增量，经过α次训练最终得到最优参数W′和b′，对应的向量为：W′=W+αΔW，b′=b+αΔb， 假设期望输出的hi对为：Y_=[0，0，0…0，1，0，0，0…0]。

设σ为激活函数因子，经过连接层得到

D′=(X×W′)×b′

(3)

设y=σ*D′， 即Y=[y1，y2，y3…y2s+1]， 总损失函数为

(4)

图3 i时刻下描述文本预训练过程

2.2.4 视觉特征提取网络

与实体文本描述不同，视觉元素在多模态知识图谱中主要有3种特点：多语义性、多关系性和离散性。在传统图像识别与图像分类中，图像提取特征的方法包括：SIFT方法[18]、HOG方法[19]以及SURF[20，21]等。近些年随着企业级知识图谱中图形数据的海量扩展以及图形语义性的增强，图像实体的形状、纹理、色彩等不同的特征子空间中皆可存在一定的局部特征[22]。本文使用了来自Oxford大学的VGG团队提出的通过增加网络的深度来进行学习的VGG模型[23]，相比较AlexNet[24]来说，在卷积核上有了一定的技术改进，通过多次堆叠3×3卷积核来替代原来的大尺度卷积核，在神经网络的运算过程中不仅能更好区分决策函数，还极大减少了参数的数量。VGG模型的变种VGG19在基于VGG16的基础上增加了三层3×3卷积核，包括16个卷积层和3个全连接层[25]。

图4 VGG19模型原理

由图4可知，在VGG19中，我们使用了3个3×3卷积核代替一个7×7卷积核，即3个步长为1的3×3卷积核组合为一个大小为7的感受野，参数数量达到3×(9×C×C)， 相比较7×7卷积核参数量7×(7×C×C) 直接减少了22×C2的参数量，C指神经网络输入和输出的通道数[26]。以上改进不仅能够在一定程度上控制模型拟合程度，还能有效提升图像的训练效果[11，26]。

2.2.5 多模态表示模块

我们假设T为三模式张量分解的原始张量，分别将图像的特征表示向量v和描述文本的特征表示d作为模型的一维和二维输入，再将文本知识三元组的嵌入特征t作为模型的第三维输入。我们用Wi∈Rke，kr表示图像、描述文本特征向量以及知识三元组嵌入的映射矩阵，bi为偏置参数。图像的特征向量v和文本属性特征向量d分别通过一个完整的全连接层进行维度变换，得到了图像特征向量v′和文本属性特征向量d′

v′=v×W1+b1，d′=d×W2+b2

(5)

为了统一表示多模态融合特征，本文提出了3种融合方法：

(1)首先是两种或3种模态相加融合操作(add-fusion)，本文将描述文本特征向量d′和视觉特征向量v′在同一平面上进行相加后得到融合特征向量Mul(v，d)， 然后再将Mul(v，d)输入到第二个全连接层，映射到与文本知识三元组相同维度的语义空间中，得到Mul′(v，d)， 将其与嵌入向量t进行相加后得到最终的多模态融合向量Mul(v，d，t)。 多模态融合的定义为

Mul(v，d)=v′+d′=W3(v+d)+b3
Mul′(v，d)=Mul(v，d)×W4+b4
Mul(v，d，t)=Mul′(v，d)+t

(6)

(2)其次是两种或3种模态的相乘操作(mul-fusion)，直接相加的模态融合会带来一定的噪声，会失去一部分重要的特征信息[27]。为了在知识图谱描述中充分体现视觉元素的特征表示，本文将图像特征表示向量v经过全连接层映射到与描述文本特征向量d相互垂直的超平面中得到特征向量v″，然后与向量d进行相乘操作后得到Mul(v″，d)。 以下为多模态融合运算过程

v″=v×W5+b5
Mul′(v，d)=v″⊗d

(7)

(3)最后一种是对文本知识三元组特征向量进行连接映射(ConMap-fusion)。将多模态表示特征向量Mul(v″，d)经过全连接层，与知识三元组实体对特征t进行相同维度语义空间的映射，得到C′Mul；t， 然后与特征t进行拼接，得到最终的多模态实体特征表示Mul(v，d，t)， 此时多模态融合计算过程为

C′Mul；t=Mul(v″，d)×W6+b6
Mul(v，d，t)=[C′Mul；t；t]×W7+b7
Mul′(v，d，t)=Mul(v，d，t)×W0+b0

(8)

其中，[；] 代表拼接操作，b0表示全连接映射偏参。

2.2.6 改进的张量分解模型

文献[8]从语义和结构的角度对张量分解方法进行了明确的分析和讨论。假设∀i∈[1，Dd]，j∈[1，Dv]，k∈[1，Dt] 为多模态张量函数Ф的3个有限数量的参数，经过张量分解产生 (l，m，n) 维度的三阶核心张量Zc以及3个多模态因子矩阵Wd、Wv和Wt，矩阵的秩分别为Td、Tv和T0，则

Wv[j，m]×Wt[k，n]

其中∀l∈[1，Td]，m∈[1，Tv]，n∈[1，T0]

(9)

我们重新定义知识库MG=(D(d，v)，Dt，Rm)，D(d，v)可以表示为除了知识三元组外所有类型实体的全部集合，Dt为文本知识构成的节点集合，Rm为所有节点间对应的逻辑关系集合。描述文本嵌入维度为Dd，视觉元素嵌入维度为Dv，知识嵌入维度为A。将Ф(x)表示为改进的塔克分解的评分函数，x代表不同mode的模态。将以上各项应用到塔克分解模型[6，8]中，得到改进后的多模态塔克分解模型。

本文的核心是将改进的三模式TuckER模型的多模态的输入表示为Ф∈RDd×Dv×|A|， 输入到模型之后输出表示为一个核心张量Tc以及3个因子矩阵Wd，Wv，Wt共同的乘积。由主定理可以推导出

Φ(d，v，t)=Tc×1dTWd×2vTWv×3Wt

(10)

其中，Wd∈RDd×Td，Wv∈RDv×Tv，Wt∈R|A|×To，dT和vT分别表示描述实体矩阵和图像矩阵的转置运算。其中核心张量Tc∈RTd×Tv×To。模型原理如图5所示。

图5 ME-TD分解模型一

参照模型一是将改进的三模式的TuckER模型的多模态的输入表示为Ф∈RDd×|A|， 输入到模型之后输出表示为一个核心张量Tc与两个因子矩阵Wd，Wt和参照矩阵Wo共同的乘积。由主定理可以推导出

Φ(d，t，o)=Φc×1dTWd×2Wt×3Wo

(11)

其中，Wd∈RDd×Td，Wt∈R|A|×To，dT是d的转置，代表描述实体的转置运算。其中Tc∈RTd×To。 模型原理如图6所示。

图6 ME-TD分解模型二

参照模型二是将改进的三模式的TuckER模型的多模态的输入表示为Ф∈RDv×|A|， 输入到模型之后输出表示为一个核心张量Tc与两个因子矩阵Wv，Wt和参照矩阵Wo共同的乘积。由主定理可以推导出

Φ(v，t，o)=Φc×1vTWv×2Wt×3Wo

(12)

其中，Wv∈RDv×Tv，Wt∈R|A|×To，vT是v的转置，代表图像矩阵的转置运算。其中Tc∈RTv×To。 模型原理如图7所示。

图7 ME-TD分解模型三

3 实验分析

3.1 数据集

参照文献[4]、文献[28]和文献[31]，本文使用了两个公开数据集FB15K和icews14，经过多模态实体链接建立了两个基于多模态知识库表示的数据集：FB15K-IMG-DES、icews14-IMG-DES。我们保留描述文本实体与图像实体所对应的一对一的三元组连接，将一对多、多对一和多对多复杂的关系进行删除，并剔除没有关联关系的多模态实体，得到新的多模态三元组数据集FB15K-IMG-DES与icews14-IMG-DES。实验数据集信息见表1。

表1 实验知识图谱数据集

3.2 参数设置

为了降低过拟合对本次实验的影响，我们根据验证集性能并通过随机搜素算法[32]进行超参数的训练。为了寻找训练最优参数，设置实体和关系嵌入维度区间de∈{30，50，100，150，200}，dr∈{30，50，100，150，200}， 学习率区间lr∈{0.0005，0.001，0.005，0.01}， 学习衰减率区间lr′∈{1，0.995，0.99，0.95}，批量标准化步长区间num_iteration∈{50，100，500}， dropout区间可以设置为(0.3，0.4，0.5)。最后采用批处理化原则[3]来提高训练的速度。

3.3 链接预测

3.3.1 实验设计

本次实验目的是验证模型ME-TD在知识补全链接预测上有更好的效果。链接预测指根据负例三元组预测缺失的头、逻辑关系或尾[6，8，30]。对于给定的多模态知识三元组 (hm，r，tm)， 可以根据实体Em和关系r来推测第三个实体，如 (hm，r，？) 和 (？，r，tm)， 或根据头尾实体来间接地推测缺失的关系，如 (hm，？，tm)。 例如：对于两个知识图谱三元组(Tokyo，is captial of，Japan)和(樱花的图片，is planted on，富士山的图片)，并将第一个三元组的头实体和尾实体分别与第二个三元组的尾实体和头实体进行关联，产生了两个新的三元组：(pic1，is located in，Tokyo)，(pic2，derived from，Japan)。参照文献[31]和文献[32]，对于测试集中包含的三元组，我们使用正例三元组来替换训练集中的三元组并创建一组负例三元组，对于每个测试三元组，将测试集实体关系对与所有尾实体tm相结合，生成n个候选三元组，使用链接预测函数对每个新三元组进行相似性评分，并对按照分数由高到低进行排序[31，32]。

3.3.2 评估指标

参考文献[5]、文献[7]，本文选取常规平均排名(MR)、平均倒序排名(MRR)、Hits@10、Hits@3作为知识图谱链路预测的重要指标。计算公式如下

(13)

(14)

(15)

(16)

3.3.3 实验结果分析

本次实验环境为：Win10 32位操作系统，物理内存4 G。本文选取TransE和TuckER模型进行对比，采用矩阵预测任务来评价模型的知识补全能力。图8展现了ME-TD在icews14-IMG-DES数据集上不同的学习率下模型训练损失值变化曲线，通过预训练发现ME-TD在lr=0.01时取得最好的损失收敛效果。实验结果见表2、表3。

表2 FB15K-IMG-DES上各模型链接预测比较

表3 icews14-IMG-DES上各模型链接预测比较

图8 ME-TD不同学习率训练效果变化曲线

实验结果表明，ME-TD在FB15K-IMG-DES数据集上取得了最低的MR和最高的Hits@3，具体表现如下。

本文方法与传统的TuckER模型比较，数据集FB15K-IMG-DES在MRR上提高了2.71，在Hits@3上提高了0.14。而TransE则在预测中表现较差，主要原因在于FB15K-IMG-DES数据集实体与实体之间具有更复杂的多模态语义关系。ME-TD不仅能够在多模态嵌入形成核心张量过程中实现高层的语义互补，而且在三模式张量分解中保持各个模态的相对独立性，可以预测出更加精准的多模态实体。本文模型相比于IKRL，在Hits@10上提高了0.15，说明基于特定模态的定向知识表示仅仅考虑了定向的图像语义补充，而忽略了对嵌入在文本描述中的信息进行编码。相比于TuckER，ME-TD在Hits@10和Hits@3上分别提高了0.18和0.14，说明TuckER仅仅对知识三元组进行嵌入，在张量分解中降低了知识的语义独立性，因此在预测效果不如ME-TD。

在icews14-IMG-DES上，由于实体之间的语义关系相对简单，本文ME-TD模型在MRR、MR、Hits@3和Hits@10指标均明显优于TransE、TuckER模型，较优于IKRL模型，特别是Hits@3达到了0.75，进一步说明了对于不同复杂程度的多模态知识图谱，ME-TD均能够学习到更显著、更全面的多模态知识表征，在链接预测中减小正例三元组预测出现错误的概率，在知识补全中具有较强的稳定性。

可见ME-TD模型具有较好的基于多模态知识图谱链接预测效果。与此同时，本文模型相较于其它模型能够有效补充描述文本与视觉元素中的信息，成功将多源知识补充到三元组本身，减小张量分解在三元组预测出现错误的几率。

3.4 消融实验

为了进一步验证多模态嵌入知识表示方法对张量分解补全模型的积极影响，在FB15K-IMG-DES和icews14-IMG-DES数据集上进行消融实验，具体设计方法如下：①本次实验忽略描述文本模态对知识补全的影响，将三元组结构与图像模态进行融合，并将这种方法记为ME-TD(Vision)。②在数据集上忽略图像模态对知识补全的影响，将三元组与描述实体进行融合，记为ME-TD(Description)。③同时剔除描述文本和图像的影响的塔克分解方法，记为ME-TD(TuckER)。在训练集中设定实体维度de=200，关系维度dr=30，学习率lr=0.01，半衰减率lr’=0.95，训练步长设定为num_iteration=100，采取和以上实验相同的评估方法，各个模型仿真结果如表4、图9和图10所示。由表4可知，ME-TD在各项指标均优于其它模型，由于文本描述和图像在高层空间的增强表示，ME-TD(Describtion)和ME-TD(Vision)在各项指标上优于ME-TD(TuckER)方法，实验验证了本文提出的模型为多模态知识库实体链接预测提供了很好的帮助，进一步提升了知识图谱的补全能力。

表4 ME-TD模型在不同知识图谱上的消融实验结果

图9 各模型在FB15K-IMG-DES上链接预测结果比较

图10 各模型在icews14-IMG-DES上链接预测结果比较

由图9和图10，对于icews14-IMG-DES和FB15K-IMG-DES数据集，MRR和MR表现最优的均是本文模型(ME-TD)。实验发现，在同时忽略描述实体特征或者图像特征的情况下，本文模型在各个指标上均受到一定的影响。对于icews14-IMG-DES，在忽略描述文本的条件下，由于图像信息可以帮助文中模型ME-TD获取更加显著的知识图谱实体特征，所以Hits@10表现最佳，知识补全效果较好。如果忽略图像实体对知识图谱的影响，由于自有描述文本实体特征向量失去作用，使得Hits@3和Hits@10相对于传统模型下降，导致知识补全效果较差。对于FB15K-IMG-DES，由于知识图谱的具有较为复杂的描述关系，在忽略图像实体的影响时，描述文本特征能够代替图像实体加强知识三元组的语义特征，而描述文本特征失去作用时，图像实体也可以代替描述文本实体完善知识三元组语义特征。由此验证描述文本、图像、知识三元组嵌入的三模式张量分解能够获取最佳的知识补全效果。

4 结束语

本文面向知识图谱补全提出了一种利用多模态嵌入改进的张量分解的模型ME-TD，该方法结合了图像、描述文本和知识三元组3种模态，经过三模式张量分解完成了两种模态特征矩阵预测第三种模态矩阵的工作。本文列举不同的知识图谱补全模型进行实验对比，并设计了两组分别剔除单一模态的消融实验，实验结果验证了ME-TD具有最稳定、效率最好、结果最佳的知识补全效果。在今后的研究中，我们还将从以下方面进一步探索：

(1)本文仅仅考虑了一对一关系的多模态辅助元素的知识补全，接下来将拓展到一对多和多对多复杂关系的知识图谱补全的探索与研究。

(2)本文在进行多模态嵌入的过程中，仅仅考虑了多模态实体的嵌入，而忽略了关系的类别，因此，下一步工作中将重新设计算法，把关系模式考虑进去，以便获取更加精确的知识补全结果。