用大数据技术实现数据综合分析利用

励跃

随着大数据时代的来临，党中央、国务院提出加快实施国家大数据战略，把大数据作为基础性战略资源，全面实施《促进大数据发展行动纲要》。按照“打造数字央行”的精神，作为人民银行信息处理中枢，金融信息中心以国家发展改革委促进国家大数据发展重大工程项目为契机，推进、构建金融大数据分析及服务平台，实现金融数据的有机整合，为经济金融平稳运行和健康发展提供数据支撑，提升国家金融监管与金融宏观调控的预见性、针对性和有效性。

人民银行数据治理现状

目前，人民銀行已经建成、运行了多个重要业务系统，基本实现了中央银行业务的全覆盖，完成货币金银、征信、国库、金融统计、反洗钱等业务的全国数据集中，为制定和执行货币政策、维护金融稳定、提供金融服务给予了有力的技术支撑。金融信息中心在调研中发现，人民银行各业务司局的数据以条线化管理为主，数据只能被各自的应用系统读取，各类业务系统之间未实现互联互通，实际形成一个个数据孤岛。各业务司局在数据共享方面缺少制度和机制，全行层面缺乏统一的数据规划，数据综合利用水平较低。

建设金融大数据分析及服务平台的必要性

从技术发展趋势方面分析。2010年前后，大数据的出现将大数据分析技术从传统的数据分析技术中分离开来，传统的数据分析、数据挖掘通常是基于结构化、关系型的数据，而且往往是通过抽样分析对整个数据集进行预测和判断，这就要求提供抽样的样本必须是高质量的，否则预测的结果会出现很大偏差。而大数据分析，是对全量数据的分析，数据可以有一定程度的冗余。另外，传统数据分析往往是某种因果关系的推理过程，而大数据分析更关注规律性挖掘和关联性分析，属于认知方法上的转变。

从综合决策效果方面分析

在掌握全量数据的情况下，相对于使用单一业务条线的数据而言，决策的前瞻性和精准性能得到显著提升。针对人民银行数据综合治理现状，亟须组织开展全行范围的数据规划和治理工作，盘活存量数据资产，更加有效地挖掘数据价值。同时，近年来金融科技（FinTech）的快速发展催生出第三方支付、网络借贷、股权众筹融资等新兴金融业态，对于中央银行而言，需要及时和全面地掌握这些机构的业务数据，通过综合分析不断细化和完善监管要求，及时防范和应对各类风险。

从提升精准施策能力方面分析

按照人民银行科技工作会议的决策部署，金融信息中心将开展金融大数据分析及服务平台建设，对人民银行各业务条线、外部机构的数据资源进行梳理和整合，为各业务司局、分支机构提供基于全量数据的服务，协助其提升整体数据分析能力，从而实现对经济、金融运行更为准确的监测、分析、预测和预警，提高综合决策的前瞻性和精准性。

关于金融大数据分析及服务平台建设的思考

建设金融大数据分析及服务平台是一项复杂的系统工程。一方面，大数据技术本身涉及内容广泛，包括大数据基础架构、基于业务需求的建模和挖掘技术、数据治理方法等，需要各领域的专业知识和人才储备;另一方面，业务部门对条线化的数据分析模式已经固化，难以适应当前形势发展要求，技术部门需要与业务部门充分沟通，引导其转变观念，共同建立高效的协作机制。借鉴国外央行及国内各行业具体案例，金融大数据分析及服务平台建设实施大体可分为三个阶段。

基础平台建设。基础平台为海量数据的采集、存储、分析和加工提供基础环境，超大数据和超强计算能力是基础平台的必要条件，平台的规划和建设是工程实施的第一步。

与以业务流水数据为主的商业银行不同，人民银行的数据资源更为复杂，既有针对具体业务的细节流水数据，也有监管上报与调查统计得到的综合统计汇总数据。根据人民银行的数据治理需求，基础平台要实现对各类海量结构化数据、半结构化数据、非结构数据的实时或批量的采集、存储和建模计算，因此平台的计算能力、容量、高可用性、可扩展性、安全性、灾难应对能力和自动化运维能力是规划阶段需要关注的重点。在IT架构规划和设计过程中，要广泛调研和开展技术交流，借鉴国际国内大数据技术标准，采用Hadoop、Spark等主流的大数据处理框架，能同时支持批处理和流式处理模式，确保IT架构对应用架构和数据架构的有效支撑。

在产品选型方面，基础平台将采用业界成熟、通用且符合国家安全可控要求的软硬件产品，避免在硬件与软件、软件与应用上的强依赖关系，掌握关键技术的选择权，摆脱在关键信息和网络基础设施领域对单一技术和产品的依赖。

数据资源整合

在基础平台搭建完成后，下一步是将分散在各业务司局、外部机构的数据资源逐步“迁移”到基础平台上，实现数据的整合与共享，构建全行统一的数据视图，为数据综合利用奠定基础。

在这个环节中，一方面，要主动与各业务司局、外部单位沟通，全面地梳理分散在各司局、各机构不同业务系统的数据资源，在业务部门的协助下，掌握各类业务数据之间的逻辑关系和层次结构，为数据“迁移”作好准备;另一方面，在技术实施层面，制定统一的数据接口规范，通过数据清理、转换和标准化等手段，按照“梳理完毕一个、迁移一个”的思路，将各类业务系统的数据资源逐步“迁移”到基础平台上。同时，与业务司局共同研究建立数据采集和共享利用机制，根据中央银行监管需要不断扩大数据采集范围，丰富数据采集方式。在采集范围上，除现有业务系统的数据资源外，还需要关注金融科技（FinTech）新业态下各类机构的经营数据;在采集方式上，可考虑从指定的机构中直接抓取数据，提高数据采集效率。

这项工作完成后，各类系统相互分割隔离的状况将从根本上得到改善，从而实现中央银行数据资源的集中展示，为业务司局、分支机构数据分析人员提供全行统一的数据视图具备了条件。

应用场景开发和设计

在掌握全量数据的基础上，结合业务需求，综合利用各类数据建模和挖掘技术，为各业务司局、分支机构提供差异化的数据及分析服务，形成并逐步提升大数据平台的服务能力。

在这个环节中，为各业务司局、分支机构提供全量数据的使用环境，根据其业务需求，设计和开发相应的大数据应用分析场景，通过机器学习等技术从海量数据中分析和洞察经济、金融运行规律，作出更加科学、精准的决策。通过与服务对象的充分交流，使业务司局、分支机构改变其固有的、条线化的数据管理模式，真正从全量数据分析中受益，进而主动地推动数据资源共享。

此外，针对不同层级的数据分析人员，设置不同的使用权限，应用专业工具对操作人员日常操作进行记录和事后审计，确保数据使用的合理合规，防范数据泄露事件的发生。除对各业务司局、分支机构提供数据服务外，金融大数据分析及服务平台还将考虑面向政府部门、司法机关、金融机构、社会公众等提供不同层面的数据服务，推动数据资源带来更大的经济效益和社会效益。

未来，金融信息中心将按照人民银行信息化工作部署，推进平台建设，并持续关注以下几个问题：把握好近期目标、中期目标和远期目标的关系;加快推进金融大数据标准体系建设;与业务司局保持良好的协作关系;加强央行大数据人才队伍建设。