面向旅游安全的多模态语义识别研究

张美云

（三亚学院 人文与传播学院，海南 三亚，572000）

旅游业是我国国民经济战略性支柱产业，旅游安全是旅游活动乃至整个旅游业的生命线[1]。在旅游安全领域，产生了丰富的互联网社会语言资源。随着社会发展以及多模态语义识别等自然语言处理技术的进步，这些多模态社会语言资源将成为探究旅游安全事件发展规律的重要数据来源，基于多模态语义识别的旅游安全预警系统构建将成为旅游业发展的迫切需求。通过对近20年中国知网（CNKI）国内文献数据所呈现的相关研究成果分析发现，在旅游安全问题上，有关旅游要素对旅游安全的直接归因研究成果较为集中，而针对旅游安全预警范畴，特别是对社会呈现的旅游相关语言资源等多模态符号信息进行综合语义识别的研究还有待挖掘。

一、旅游安全与多模态语义识别的研究历程

“旅游安全”在国内较早见于原国家旅游局1990年颁布的《旅游安全管理暂行办法》。以“旅游安全”为主题，中国知网中搜索到的1990—1999年中外文献不足百篇，较多为各地落实《旅游安全管理暂行办法》的措施以及民众对于旅游安全意识的直接呼吁。2000年开始，相关的学术论文在数量上有了明显提升。为系统梳理近年来的研究概貌，本文采用 CiteSpace（5.6R3版）软件，以中国知网（CNKI）国内文献数据库作为基础数据库和样本来源，将研究历程的检索时间段设定为2000—2021年，检索时间为2022年3月。在CNKI中以主题“旅游安全”进行检索，并对检索文章进行手动筛选去重，最终得到中文文献3689篇（其中学术期刊1566篇，学位论文463篇，会议文章55篇，报纸1301篇，学术辑刊12篇，特色期刊292篇），英文文献314篇。具体年度发文量如图1所示：

图1 CNKI中外文献年度发文量（2000—2021年）

从“旅游安全”为主题的年度外文发文量来看，2008年开始提升，2016年达到峰值31篇，但总体数量较少。从中文发文量趋势来看，2005年以前基本平稳上升，2006—2010年渐趋峰值，2010年达到302篇。2011年开始，整体趋势平稳，2018年后略有下降。由于外文文献数量有限，且整体趋势与中文文献大致相同，因此根据中文文献的趋势特点分为三个阶段：

一是初始萌芽期（2000—2005年）。这一时期文献来源以报纸为主，占此阶段所有文献的52.2%，而《中国旅游报》又占报纸总数的53.1%，为最主要的文献来源。这一时期学术期刊的有关研究主要集中于广义的研究视角即研究整个旅游业的安全，以及狭义的旅游安全即对旅游者安全的研究。

二是上升期（2006—2010年）。这一时期文献来源在数量上仍以国家级和省市地方报刊为主，而且高达68.7%。内容上除了事故通报和安全宣传以外，还出现了先进管理经验推广、安全事故反思等。学术期刊数量有了明显提升，郑向敏、高玲将这一时期旅游安全研究概括为旅游安全基础理论研究、旅游安全认知研究、旅游安全保障与评价体系研究、旅游安全实证研究以及其他旅游安全的相关研究等五大方面的内容[2]。

三是平稳发展期（2011—2021年）。这一时期“旅游安全”相关的研究领域逐渐扩大，文献来源改变了以报纸为主的局面，学术期刊（包括特色期刊）占比达66.9%。涉及的学科也从旅游管理、安全科学、政治经济拓展到农业、气象、体育、高等教育、保险、运输、建筑等领域。计算机软件及应用也受到高度重视，如罗景峰旅游安全预警的集对分析-可变模糊方法[3]，孙滢悦长白山景区旅游安全风险评价与预警研究等[4]，说明“旅游安全”相关研究的学术性日益广泛而扎实。在研究成果上，“旅游景区”安全等与旅游安全密切相关的客体也开始逐渐进入研究视野。旅游安全管理研究（包括主客体及传统六要素安全研究）、旅游安全事故应急管理研究（包括预警、检测、应急救援及灾后恢复等）成为这一时期的主要内容。

虽然在第三个阶段旅游安全和计算机技术有了较好的结合，但研究成果多集中于智慧旅游的宏观阐述以及物联网技术开发等具体工程领域，作为对“未然”事件进行预判的旅游安全预警系统构建等相关研究数量非常有限。特别是通过多模态信息语义识别技术开展旅游安全预判的研究寥寥，这项技术在旅游安全领域的推广力度有待提升。

与“旅游安全”从社会关注（前期主要数据来源为报刊）到学术研究的演进路线不同，“多模态语义识别”更集中在学术研究领域，学术期刊在中国知网各类检索中占比最高也最有研究价值。为聚焦问题，在运用CiteSpace软件检索时，将数据库的检索条件中“来源数据库”设定为“学术期刊”；同时考虑到语义识别作为对语言符号所蕴含意义的识别技术，在识别语义和解决语义异构现象时所必须依托的语义分析方法，所以将主题确定为“多模态语义识别”“多模态”“语义识别”“语义分析”等相关词语，采取中英文拓展方式检索，检索时间为 2022 年 3 月，检索时间段为2000—2021年。通过人工进一步筛查，除去与主题无关的论文后，最终共得到有效文献4985篇。

在CiteSpace软件中对上述文献关键词进行突现性探测（Citation Burst），结果如图2所示。其中Key⁃words表示关键词， Strength表示突现强度，Begin表示开始年份，End表示结束年份，探测得到研究期内增长率有明显提升的关键词，选取排名前25位的关键词进行各时期研究前沿分析。

图2 前25个关键词突现性探测分析结果

分析图2可知，突现强度最高的关键词是“语义分析”，强度值达到90.5，突现时间段为2001—2010年，时间也较长。同样突现起始时间较早且时间段达十年之久的还有“特征融合”“推荐系统”“图像配准”“深度学习”等语义分析与识别技术、算法相关的关键词，说明这些技术的研究热度持续高位且渐趋成熟。同时，一些新兴技术手段如“人工智能”“机器学习”“深度学习”“成像技术”等又方兴未艾。

根据表中突变起始年份的分布情况分，具体可以归纳为四组关键词：第一组突现词包括：“特征融合”“推荐系统”“图像配准”“深度学习”“参考估值”等，时间集中于2000—2009年。这一组的突现词主要涉及计算机软件与计算机应用学科领域的概念，从中可以看出文献所涉及的信息模态呈现多元化趋势，以信息识别与推荐的算法技术自身突破为主，多模态信息特征融合、配准、推荐等算法技术逐渐得到研究者关注。第二组突现的关键词陆续以2001到2004年为起点，突现结束于2010年前后，本组包括“语义分析”“语法分析”“词法分析”“句法分析”等语言学本体研究的相关领域，这些研究成果大多体现了语言本体研究与计算机软件技术的结合。第三组突现的关键词多与语言教育相关，集中于英语教学特别是大学英语的教学改革，甚至突现了课程名称如“听力教学”“商务英语”，以及改革的内容如“教学模式”“多元识读”等。突现的起始时间为2010—2016年，但突现持续时段一般不足5年。第四组为2018—2021年间突现的词语。在这一阶段，多模态信息识别技术更加成熟，而且应用领域也更加广泛。特别是在医学领域，诊疗图像信息的语义识别发展迅速，如“超声检查”“超声造影”“成像技术”“乳腺癌”等突现词就说明了这一问题。同时，在这一阶段人工智能、机器学习、故障检测等计算机和自动化技术也为其他领域的多模态语义识别提供了技术支撑。特别值得一提的是，在医学领域对信息识别结果要求极其精准的前提下，多模态信息识别技术业已得以广泛应用，这对其他学科领域及社会行业而言，无疑是提振信心的良剂。对于旅游业这一国民经济战略性支柱产业而言，充分发挥多模态信息识别技术的优势，对促进行业创新发展特别是旅游安全预警机制建构意义重大。

二、旅游安全与多模态语义识别的聚类分析

聚类分析是指将研究对象根据类似性组成的多个类进行分析的过程，其目标是在相似的基础上对数据进行收集和分类。基于前述研究历程分析，有必要在对相关信息进行聚类的基础上深入考察多模态语义识别在旅游安全领域的综合运用情况。

关键词聚类分析是在对关键词进行图谱绘制的基础上进行的聚类分析。在 Citespace软件中对关键词进行聚类分析，可以体现不同词之间的联系程度。在此可以通过研究文献的关键词聚类分析及可视化图形分析，探讨旅游安全与多模态语义识别之间的关系。以“旅游安全”“多模态”“语义识别”“语义分析”为主题词，在中国知网搜索并整理出5596篇学术期刊文献。选择“Clustering”（聚类），得到关键词聚类知识图谱。其中模块值Modularity Q=0.6687，其结果是显著的（一般认为Q>0.3意味着聚类结构显著）；Mean Silhouette 值为 0.9383（＞0.5），说明网络聚类内部同质性较高。利用 LLR 抽取关键词并进行自动标识，共导出38个聚类。以“#”标注关键词聚类标签，数字表示聚类结果序号，主要聚类标签包含“#0语义分析”“#1多模态”“#2旅游安全”“#3大学英语”“#4深度学习”“#5超声检查”“#6知识库”等。

关键词是文章的高度概括和凝练，高频出现的关键词常常被用来确定一个研究领域的热点问题，既反映出当前该话题的冷热度，又指明未来研究的发展方向。对统计结果中排名前40的关键词列表（见表1），并对其进行中心性分析。

表1 词频前40位的主要关键词中心性分析

在上述关键词中，部分主题词（检索词）自身就形成了聚类中心，同时关键词词频排名也比较靠前，如“语义分析”“多模态”“旅游安全”等。而有些关键词如“大学英语”“深度学习”“超声检查”等非检索词在结果中也形成了明显聚类中心。根据聚类分析图谱和关键词统计结果，并结合文献研读，将聚类结果归纳为三个方面的主要内容。

一是关于多模态界定及其语义识别技术的研究。主要包括多模态信息的相关概念界定以及多模态语义分析与识别的关键技术。语义分析是自然语言处理技术的核心，是一种基于自然语言进行语义信息分析的方法。表中显示“语义分析”的中介中心性高达0.97（超过0.1的节点便可称为关键节点）。语义分析不仅要进行语法层面的分析，如词法分析和句法分析，而且还涉及单词、词组、句子、段落所包含的意义等，目的是用句子的语义结构来表示语言的结构，这种方法如今在各行业各领域社会语言资源的研究与再利用中得到了普遍推广。在聚类标签和关键词中，聚类#0语义分析、聚类#4深度学习、聚类#11逻辑分析、聚类#14语义范畴、聚类#23推荐系统、聚类#6知识库以及高频关键词“神经网络”“机器学习”“人工智能”“语义识别”“语音识别”“情感分析”“话语模式”“话语分析”“知识图谱”等语义分析相关的技术，都成为学者们聚焦的中心。度中心性最高的关键词是“多模态”（553），相关的研究包括聚类#1多模态、#12评估模型、#27模糊认知等。相关关键词则包括“多元识读”“语料库”“人机交互”等。通过进一步阅读文献发现，这些关键词所涉及的领域几乎涵盖了处理和理解多源模态信息的所有关键技术，如图像、视频、音频、语义之间的多模态转换技术，但在应用领域上还存在一定局限，有待进一步拓展。

二是行业领域的应用。从聚类标签和关键词中出现的相关词语可以看出，主要集中在医学领域以及教育行业特别是大学英语教育中。作为非搜索词的聚类“#3大学英语”和“#5超声检查”排序都非常靠前，成为这两个领域关键词。在词频排名前40的关键词中，与英语教学强相关的词达到12个，占30%之多。通过进一步研读文献可知，除了教学和医学以外，多模态语义分析应用的相关领域还包括自动化技术、社交媒体、网络舆情分析等领域。

三是旅游安全相关的研究。作为搜索词，“旅游安全”的度中心性（209）和中介中心性（0.42）均不足“多模态”和“语义分析”的1/2，说明该主题词与其他聚类之间的联系不够紧密。与旅游安全相关的关键词聚类#20乡村旅游、聚类#38旅游管理，以及关键词“旅游业”“旅行者”“旅行社”等词频也相对较低。说明在这一组研究对象中，除了跟其他聚类中心的关系疏离以外，其聚类内部的活力也不足。

从聚类分析以及关键词的分布情况可以看出，多模态语义分析与识别的关键技术发展相对成熟，已经在教育、医学、自动化等领域得到了广泛应用。但是，在旅游安全领域的应用还有待提升。

三、旅游安全与多模态语义识别研究述评

旅游安全近二十年来得到了社会高度重视，相关研究成果也比较丰富。但比较集中于旅游安全管理等宏观研究以及具体的旅游要素的安全措施等微观研究，而且多集中于对旅游安全管理的法规制度以及治理经验、事故反思的探讨。对于防患于未然的应急预警体系，特别是运用大数据技术，在对已有多模态信息进行识别和研判基础上构建旅游安全预警机制的探讨非常有限。从上述研究历程与聚类分析可知，相关社会资源及支撑技术已经非常成熟。这些在其他行业已经得到广泛应用的先进技术在旅游安全领域却尚未推广开来。

（一）旅游安全问题受到学界关注的深度和广度有待提升

从近二十年旅游安全的研究情况中可以看出，以旅游安全为主题的文献来源，在前一个十年，报刊所占比例远高于学术期刊。虽然最近十年，学术文献数量有较大提升，相关学科也不断拓展，但是研究人员和研究机构依然相对集中。对近二十年旅游安全为主题的中外文学术文献进行梳理发现，机构多为高校及个别研究机构，其中华侨大学（222篇）和中国旅游研究院（66篇）总的文献数量较多，另有云南大学（25篇）、上海师范大学（25篇)、桂林理工大学（23篇）等近十所高校也相对集中。从作者及其所属机构来看，郑向敏（57篇）、谢朝武（34篇）、陈金华（15篇）、殷杰（10篇）均来自华侨大学，邹永广（28篇）、罗景峰（17篇）文章署名机构多为华侨大学和中国旅游研究院（具体为外设于华侨大学的中国旅游研究院旅游安全研究基地）。从作者合作网络知识图谱可以看出，以郑向敏、邹永广、殷杰、谢朝武等博（硕）士研究生导师为核心，形成了放射性并有一定交叉连接的作者网络图谱，相关主题的研究力量显著集中于华侨大学，社会关注广度有待提升。从基金支持力度来看，文献来自于国家社科基金和国家自科基金支持的分别为93篇和81篇，年发文量超过10篇的年度不到5个。另外，从学科分布看，旅游管理占60%，其他虽然也遍及安全科学、经济法、交通运输、气象学、资源科学、建筑科学、国际政治、计算机科学等领域，但高质量文献来源（全国中文核心期刊、CSSCI来源期刊等）比较集中于《旅游学刊》《华侨大学学报（哲学社会科学版）》《中国安全科学学报》等为数不多的几种。因此，旅游安全研究的深度和广度亟待提升。

（二）旅游安全应急机制尚待系统构建

根据前述聚类分析，与旅游安全密切相关的仅有聚类#38安全管理，以及关键词“旅游管理”“旅游者”“旅行社”等。在文献中进一步搜索“旅游安全”“应急”“预警”等主题词，查到能够全面深入论述该问题的文章寥寥无几。这源于人们对旅游安全的一种普遍认知，即认为管理是安全的核心要素，管理不当是导致安全事故频发的根本原因。所以传统研究多从安全管理学的视角对旅游安全事故的成因进行探讨，多立足于对已然安全事件的研究，采用“人－机－环境－管理”框架对事故成因与安全管理漏洞进行反思。因旅游业自身的脆弱性和高敏感性，旅游系统中的任一要素一旦受不安全事件影响，都有可能引起旅游业的波动震荡。因此，完善和创新旅游安全应急预警机制，可以有效应对我国旅游安全事故频发的现状，提高预防和应对旅游安全突发事件的能力，控制和减少因突发事件导致的财产损失，保障游客的生命安全，从而确保旅游大环境安全稳定。

旅游安全应急体系的核心和前提是预警机制，旅游安全预警是指在可能存在的旅游安全隐患还没有发生旅游安全事故之前，通过构建合理的预警评价指标体系，运用科学的方法对一定区域未来一段时间内的旅游安全状况进行评价、预测与报警，使旅游活动能够顺利开展，旅游效果达到最佳。旅游安全预警指标体系的构建、预警模型与方法研究，目前已经取得了一定成果，如杨俭波等的《BP神经网络预警在旅游安全预警信息系统中的应用》[5]，楼文高等的《旅游安全预警TOPSIS评价研究及其应用》[6]，罗景峰《可变模糊方法在旅游安全预警中的应用》[7]，等等。但现有研究也存在一些问题和不足，如基于BP神经网络方法的旅游安全预警结果的可靠性和有效性值得商榷，研究成果的转化适用性存在局限等。特别是较少有人专心于从事多模态数据的收集与标注等基础性工作，致使旅游业不断更新的大数据资源没有被充分利用。

（三）丰富的互联网社会语言数据资源有待深入挖掘

2022年第49次中国互联网络发展状况统计报告显示，截至2021年12月，我国网民规模达10.32亿，较2020年12月增长4296万，互联网普及率达73.0%。网民数量的快速递增以及大数据技术的飞速发展，昭示着互联网以及互联网上累积的大量数据资源已经成为任何行业宣传、教育甚至未来发展研判都不可或缺的宝贵财富。在中国知网以“旅游大数据”为主题可以查阅到1500多篇文献，但以“旅游安全大数据”为主题仅搜索到4篇中文文献和1篇外文文献，数量和质量都明显不足。与研究力量薄弱相对的是互联网上近年来多模态社会语言数据资源在指数级增长[8]。随着自媒体及旅游网络平台不断普及，游客会第一时间将主观评价、旅游经历以及突发状况在自媒体以及旅游公共平台上以文本、语音、图片、视频等多模态形式即时发布。研究和评价旅游目的地已逐渐成为游客选择的重要依据。对这些平台出现的多模态语料所蕴含的安全信息进行分析，并对游客在平台上表达意见的认知心理、价值取向等进行深入研究，可以为旅游安全应急预警机制的构建提供数据支撑。关于这方面的研究，现有文献大多停留于个别目的地感知形象分析，缺乏系统性研究成果，文献多以学位论文形式为主，应用转化力度小。随着“互联网+”和“智慧旅游”的不断发展，各种旅游网络平台和自媒体的多模态语言资源将会日益丰富，有待学者系统深入地挖掘这些资源并切实转化服务于旅游安全事业。

（四）多模态语义识别技术在旅游安全领域未得到切实转化

语义识别作为对语言符号所蕴含意义的识别技术，从最初的文本识别、语音识别、图像识别到图文转换，相关成果都比较丰富，特别是解决语义异构现象时所必须依托的语义分析方法发展更为迅速。近年来，随着视觉计算和自然语言处理的快速发展以及计算机技术的进步，多模态语义识别的各种新理论、新方法、新模型不断涌现。如前所述，其在医学、自动化技术、物联网以及教育等领域的转化应用也取得了非常好的成效。但在旅游业尤其是旅游安全领域的应用却比较有限，比较有价值的研究主要体现在旅游舆情研判与识别方面，如旅游舆情预警体制构建，旅游安全事故的舆情传播等。另外，研究成果比较集中的是通过获取网络上的语言资源对旅游目的地形象进行分析。随着网络技术的不断升级和应用，旅游者可以通过网络平台很容易地获取到旅游目的地的资料，从而根据个人需求和偏好选择最理想的目的地，而其中关于旅游目的地评价与口碑形象的信息对旅游者决策的影响很大，是出行前间接感知信息来源、出游决策的重要依据，也是出行后旅游感知形象的输出源泉。运用文本分析方法分析目的地旅游形象，为游客选择提供参考，是一种以单一模态即文本模态语义识别为主的方法，具有一定的局限性。相较于其他行业，旅游业由于其综合性、服务性和全民参与性等特点，社会语言生活中每天都会产生丰富的多模态数据，学者研究内容仅限于识别旅游评价文本的旅游感知等单模态文本分析，可以理解为是对多模态语言数据资源的一种浪费。

四、多模态语义识别在旅游安全领域应用的前景展望

旅游安全是指旅游者、旅游企业和旅游资源等主体不受危险、不受外界因素干扰而免于承受身心压力、人身伤害或财物损失的自然状态，即不会发生不安全事故。风险不可避免，人们时刻面临各种各样的风险。因此，旅游安全问题不仅应得到社会面的广泛重视，更需要学者研究的广度和深度进一步提升，并促进研究成果转化。特别是当今信息时代，如果能够深入挖掘现有多模态社会语言数据资源，运用已有先进技术，通过建立旅游安全预警机制防范风险，将有效避免风险发生或降低灾害影响。

（一）社会语言资源将成为旅游安全事件发展规律探究的重要数据源泉

语言作为一种符号体系、交际工具，也是一种重要的社会资源。这种可以转化为其他形态以实现某种社会价值的资源，在旅游安全领域并未得到充分重视，也没有很好地体现其社会价值。

通过分析语言现象及其语义特征，建立事件演变模型，推演事件发展态势，提供预警信息，必将越来越受到学者和社会的重视。通过社会语言现象推演安全事件发展规律的研究，尤其适用于旅游安全领域。主要原因有四点：一是旅游业作为国民经济发展的重要产业，在拉动经济增长和促进社会消费、就业方面发挥了重要作用，旅游业自身发展引起高度社会关注。二是随着大众旅游时代的到来和全域旅游的发展，公民出游规模不断提升，旅游活动范围日益扩大，旅游安全问题更加突出，必将受到广泛重视。三是随着移动舆论场的影响不断增强，旅游者的旅游体验感和维权意识不断提升，致使旅游舆情大量涌现并广泛传播。旅游活动产生了大量社会语料，提供了丰富的语言研究资源。四是旅游语言资源的多模态信息符号中不仅蕴含着游客评价、旅游舆情等大量主观信息，还产生了关于旅游业各要素及行业发展有关的视频、图片、语音等客观即时信息，通过建模分析这些多模态主客观符号的语义信息，可以推演事态发展的趋势，为旅游安全预警系统提供有力支撑。

旅游安全是一项系统工程，随着信息技术的发展，以社会语言资源形式呈现的旅游安全信息数据量正在飞速扩张。与此同时，各种类型的信息源之间还有着非常广泛而复杂的交叉关联。信息传播逐渐从文本、图像、音频、视频等单模态形式过渡到相互融合的多模态形式[9]，多模态信息将成为探究旅游安全事件发展规律的重要数据源泉。

（二）语义分析方法及应用为处理复杂语言资源提供了技术支撑

语言作为人类最重要的交际工具，也是社会生活的重要现象之一，是一种极其复杂的、特殊的社会现象。乔姆斯基在《深层结构、表层结构和语义解释》中把语义解释部分移到表层结构中，把语言分成句法、语义、音系等不同的模块加以研究[10]。语言符号是形式和意义的组合，因此对任何语言研究来说，语义都至关重要。语义作为信息包含的概念和意义，不仅表述事物本质，还表述事物之间的因果、上下位、施受等各种逻辑关系，是对事物的描述和逻辑表示。语义分析就是对信息所包含的语义的识别，并建立一种计算模型，使机器能够像人那样理解自然语言。语义分析是自然语言理解的根本问题，它在自然语言处理、信息检索、信息过滤、信息分类、语义挖掘等领域有着广泛的应用。在互联网时代，面对海量的语言信息资源，要想准确地进行信息抽取，检索所需信息，挖掘潜在的信息价值，提供智能的知识服务，都离不开面向机器理解的语义分析与识别。尤其在大数据环境下，以语义计算为核心的语义分析与识别的地位越来越凸显出来。语义计算就是研究计算机对自然语言符号背后的语义理解，构建语义表示，处理自然语言，产生关于客观世界的知识。当前语义计算的方法包括格语法（Case Grammar），概念依存理论（Conceptual Dependency Theory）与语义网络（Semantic Network）等，正在由研究探索阶段向实用化阶段演进。语义计算属于自然语言处理的终极任务，也是当前学者研究的重要领域，并且在应用领域也取得了显著成效，百度AI、讯飞开放平台等各种应用服务功能也逐渐丰富。这些都是语义分析的重大突破，为旅游安全领域进行多模态语义计算与分析提供了有力的技术支撑。

（三）机器学习等技术为多模态语言资源的深度开发提供保障

语言起源于社会劳动，语言学科的根本任务是解决人类语言生活中的问题，提升语言生活的质量，通过语言资源获取更多的社会信息与发展规律并反哺社会生活。既然旅游是我国当代社会生活中发展较迅猛的领域之一，则语言学研究就应该敏感地意识到这种发展及其对于语言学的要求，并且努力主动地去回应这种要求，努力以语言学的理论与方法解决旅游生活中的问题，为提升旅游生活的质量服务。随着智能设备的普遍应用，旅游活动所产生的语言资源，特别是旅游行为者的动态语言，视频、图片等表现形式将被越来越多的人使用。与其他领域语言相比，旅游语言资源在系统性、规范性等方面存在一定差距，但是在模态多样性方面则特征愈加明显，为语义识别带来严峻挑战。

随着数字智能时代的到来，通过机器学习的视觉和自然语言语义理解与生成的研究不断深入。利用机器对未知语音、图像和已知语音、图像的比较，进行机器语义理解，从而形成准确的内容以文字或图片形式输出。并通过不同应用场景的机器学习与训练，逐步构建机器的认知和意识体系，进而通过模型建立，完成机器具备视觉、语言的感知以及探索实现思维判定能力等技术已经渐趋成熟。这些先进的技术对于构建基于信息选择的注意力模型，拟合多模态和跨模态如“文字—图片、图片—文字、语音—图片”等信息转化方式，使计算机在该场景下能够精准识别多模态符号的语义信息已经成为可能。充分挖掘旅游行业语言资源，构建适应场景的语料库，优化生成式对抗网络（GAN）和基于深度神经网络的文本牵引的注意力模型，提高单模态输出内容的速率和精度，为多模态语义输出提供了可能。有了这些技术保障，旅游语言资源的处理难题也就迎刃而解了。

（四）基于多模态语义识别的旅游安全预警系统构建是旅游业发展的迫切需要

传统语义识别问题的研究主要侧重于文本、语音或图像的单一模态研究，两种模态以上信息协同识别技术以及综合多种模态进行语义识别的研究较少。近年来，由单一的文本模态进而发展到集文本、语音、图像于一体的多模态信息研究占比越来越多，信息语义识别的力度也越来越大。目前多模态数据学习的主要研究内容可概括为多模态数据的数据表示、数据映射、数据对齐、数据融合以及协同学习5个层次[11]，其中大部分围绕数据间的跨模态映射展开。对于具有异构性的不同模态数据，在对多模态信息进行有效分类方面，目前多采取多模态信息特征融合模型，即通过特征提取等方式将各模态下的原始数据处理成计算机能够识别与处理的数据形式，继而将不同模态的信息关联起来，使其在同一个特征映射空间中相互融合并最终输出。在此基础上进行多模态信息分类，进而为旅游安全预警信息生成提供技术支持，并构建多模态旅游安全预警演变模型，已经成为可能。具体可以通过综合获取多模态旅游安全信息，建立多模态旅游安全舆情专项语料库，并对文本特征和图像特征分别提取，运用卷积神经网络（CNN）、支持向量机分类器融合算法进行特征融合与分类，进而甄别旅游安全多模态信息的安全类别和安全级别，并实现安全预警信息发现、预警报告生成等功能。

在旅游安全研究领域综合运用多模态语义识别研究成果，准确有效地提供旅游安全预警信息，挖掘各种影响旅游业安全运作及各种可能危及旅游者人身财产安全的风险因素，并通过提前的信息预警来引导旅游企业的安全生产行为和旅游者的理性消费行为，从而减少旅游安全事故的发生、减缓旅游安全事故可能导致的灾难后果[12]，是旅游业发展的迫切需要。因此在旅游安全领域运用多模态语义识别技术的前景非常广阔。