基于语义相似性的跨模态图文内容筛选存储机制研究

刘 渝 郭 婵 冯树耀 周 可 肖志立

1(华中科技大学武汉光电国家研究中心 武汉 430074)2(深圳市腾讯计算机系统有限公司技术工程事业群 广东深圳 518054)(liu_yu@hust.edu.cn)

多媒体数据的井喷式增长使得非结构化多模态数据在云端存储中占据的比例剧增，进而催生了大量的分析需求，使得存储系统在满足数据存储稳定性的同时，对数据分析的服务与支持越来越受到关注.

然而，非结构化多模态数据的分析需求大多建立在内容感知与语义关联之上，这使得传统存储系统在提供服务时捉襟见肘.一方面，传统存储系统只完成了对数据浅层内容的感知，即对数据属性的获取.这些属性不具备完整描述非结构化数据语义的能力.另一方面，传统存储系统没有为应用分析提供最佳的数据管理与查询结构.现有的树形结构导致语义上相近的数据在存储逻辑结构中可能相距甚远.在这2个方面的共同制约下，现有存储系统在面对应用分析时只能先从存储系统中读出所有的数据，从而陷入漫长的读取等待中.以1亿张图像，每张图像大小为1 MB的分析为例，部署在腾讯数据中心上的SATA硬盘(顺序读取带宽为220 MBps)需要5.26天完成读取.更为不幸的是，被读取的数据中只有小部分真正参与了实际分析.以腾讯QQ相册所在的数据中心为例，我们分别针对含有“动物”“人”“植物”“风景”的数据进行收集与分析，来自6台服务器内的相关数据分别平均占比仅为20.11%,53.45%,17.01%,29.43%.大量的数据经过简单分析……