李帅,郭妍彤,周文迪
(四川大学计算机学院,成都610065)
随着制造业信息化和工业化不断融合,制造过程中涉及到的数据呈现多源化、异构化,数据具有典型的“4V”特征[1],这些数据涉及人、机、料、法、环,能够帮助制造商提高设计和生产效率,降低缺陷和返工,更好地满足客户需求和进行有效的营销[2]。涉及人、机、料、法、环的数据是多源异构的,制造企业中数据来源多方、结构各异,如何集成这些数据才能打破“数据孤岛”[3]、建立数据生态、降低企业成本、开发潜在价值是目前诸多企业迫在眉睫的任务。
传统关系型数据库储存的是结构化数据,一个数据库通常只储存一种类型数据,不同数据库间可能存在关联关系,但是数据库之间的关系却得不到体现,不能有效满足查询需求。特别地,这一问题在企业数据上尤为突出。随着企业发展,数据越来越多,呈现指数级增长趋势,各数据库是自治的,逻辑上存在联系,但物理上却是分开的。有学者用分布式系统[4]实现这些数据库的联系,但存在并行带来的高开销问题,数据一致性得不到保障,对非结构化数据存储管理不足[5]。随着多维数据、半结构化数据和非结构化数据越来越多(Web 页面、视频、音频、图片等),企业面临的数据管理问题愈加严重,如何集成这些多源异构的数据显得尤为困难,人们开始考虑迁移到其他数据库[6],许多学者提出过多种数据存储架构,包括数据仓库[7]、数据湖[8]、数据中台[9],但效果并不理想。……