基于编解码器结构从图像生成文本的研究进展

2021-05-28 06:04:06吴越
现代计算机 2021年11期
关键词:文本模型

吴越

(四川大学计算机学院,成都610065)

0 引言

随着日常生活的数字化程度的逐步加深,数字图像的数量也在飞速增长,而人们利用图像的能力与图像的增长速度却不匹配,从图像生成文本即图像标注旨在为计算机赋能,使其具备“看图说话”的能力,能够自动地从图像获得描述性的文本,可以帮助人们从海量的图像数据中获取所需要的信息,在视觉问答系统、以图搜图、视频内容理解等任务场景都有着重要的应用,在商业、军事、教育、生物医学、数字图书馆等领域都有良好的发展前景。

近年来,随着人工智能浪潮的翻涌,越来越多的专家和学者投入到神经网络的研究中来,其中以文本方向的自然语言处理(NLP)和图像方向的计算机视觉(CV)最为火热,而从图像生成文本即图像标注作为这两个方向的结合,得益于两者的快速发展也取得了坚实而长足的进步。从图像生成文本的方法大致可以分为基于模板、基于检索和自动生成三种,目前效果最好的模型几乎都是采用自动生成的方法,本文的主要关注点在自动生成中基于神经网络的编码器和解码器结构的算法,这也是目前主流的方法,以下分别从三个方面进行阐述:基于编解码器从图像生成文本的神经网络模型、生成过程中的重要研究点以及网络模型的性能评价。

1 基于编解码器从图像生成文本的神经网络模型

基于编解码器[1]从图像生成文本的神经网络模型包括三个主要部分:骨架网络、编码器和解码器。……

登录APP查看全文

猜你喜欢
文本模型
一半模型
初中群文阅读的文本选择及组织
甘肃教育(2020年8期)2020-06-11 06:10:02
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
电子制作(2018年18期)2018-11-14 01:48:06
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
人间(2015年20期)2016-01-04 12:47:10
FLUKA几何模型到CAD几何模型转换方法初步研究
如何快速走进文本
语文知识(2014年1期)2014-02-28 21:59:13