大数据的若干基础研究方向

朱扬勇，熊贇

1. 复旦大学计算机科学技术学院，上海 200433；2. 上海市数据科学重点实验室，上海 200433

大数据的若干基础研究方向

朱扬勇1,2，熊贇1,2

1. 复旦大学计算机科学技术学院，上海 200433；2. 上海市数据科学重点实验室，上海 200433

大数据问题的关键技术挑战在于：找到隐含在低价值密度数据中的价值；在希望的时间内完成。指出前者需要将领域知识和数据技术结合，这种结合的理论和新型算法构成大数据的分析基础和应用基础；后者需要设计新的计算机、集群体系、计算框架、存储体系和数据管理方法，这些构成大数据的计算基础和数据基础。另外，这两个挑战都涉及数学理论，这是大数据的数学基础。系统地分析了大数据的数学基础、计算基础、数据基础、分析基础和应用基础等基础研究方向。

大数据；数据科学；大数据基础；数据资源

1 引言

数据资源开发利用的目的是实现大数据价值。大数据是指为决策问题提供服务的大数据集、大数据技术和大数据应用的总称[1]；大数据问题是指不能用当前技术在决策希望的时间内处理分析的数据资源开发利用问题[1]。就当下而言，现有技术难以处理PB级别以上的数据。PB级别的数据规模已经超过了大部分企业和机构自身积累的业务数据规模，这说明PB级别数据规模的应用涉及了企业和机构外部的数据，这是质的转变。在PB级别数据规模下，企业和机构可以用历史数据、跨界数据等足够多的数据来做决策。这将对科学研究、政府治理、民生改善、产业发展发挥革命性的作用。……