银行大数据技术应用与创新的思考和探析

王庆

摘 要 已经来临的大数据时代，将深刻影响中小商业银行的未来发展，加之我国当前正在深化以市场化为导向的金融改革，数据对金融行业发展的助推作用也在不断深化。在金融大数据蓬勃发展的大背景下，商业银行也面临难得的发展机遇。如何抓住机遇，将银行拥有的数据资源转化为银行发展的推进器，更好地服务于金融地区民生，是摆在面前的紧迫课题。

关键词 商业银行 大数据 应用创新

一、银行大数据应用的背景

大数据时代改变了人类的思维方式，变革了人类认识世界的方式，提升了人类改造世界的能力，也给银行的发展带来了巨大的机遇和挑战。

银行大数据应用可以理解为银行对自身的业务类海量数据和银行客户的社会化海量数据实施高效低廉存储、并行高速计算、深度灵活分析和持续创新应用，并最终创造商业价值的过程。这里的价值可以包括银行业务的商业模式创新、银行经营管理效率提升、银行客户商机挖掘和营销、银行客户风险评估优化等各个方面，甚至可能涉及银行进行跨界的业务创新和市场竞争。[1]

我国商业银行提供的服务和产品存在较大的同质性，在金融大数据蓬勃发展的大背景下，互联网金融和社交媒体的兴起为银行创造了全新的客户接触渠道，来自银行网点、PC终端、移动终端的结构化、非结构化的海量数据，为银行创造了深化客户挖掘、强化交叉销售、加快产品创新的广阔空间。[2]

另一方面在大数据时代，大数据将使银行决策从经验依赖向数据决策转化，管理人员将在深入了解和把握银行自身乃至市场状况的基础上，更加科学地评价经营业绩、评估业务风险、配置全行资源，引导银行业务科学健康发展。银行业务人员依托行内外海量数据的处理分析，实现客户精细化管理，基于客户大数据分析等，实现业务与IT融合、产品快速创新的目的。[3]

因此，银行开展大数据应用探索已是适应移动互联网时代、迎接互联网金融挑战的必然要求。运用大数据思维对传统银行进行改造，实现经营服务转型，这也是传统银行焕发生机、获得生存与发展的必由之路。[4]

二、搭建大数据平台，增强银行数据管理分析能力

大数据最主要的特征是超常规的数据库及软硬件环境。超常规数据和软硬件环境是指分布式处理（Distributed Processing），列式存储（Column Oriented Database），内存计算（In Memory Computing）和非关系型数据库（NoSQL）等各种新技术来代替传统数据处理方法。由于数据规模的爆发性增长，传统的数据处理方法已经无法有效地處理海量的数据，因此唯有借用超常规的技术才能实现数据的快速化。多样化数据是指多数据来源，多数据类型和正确与错误数据的混合。综上所述，拥有大量数据并非大数据的全部，大数据关键是指为了应对海量的数据，采用各种超常规技术快速有效地处理数据的各个环节——搜集、存储、分析和应用。

互联网普及和大数据技术的发展让数据的获取方式更加丰富和便捷，这是大数据平台的基础。银行作为经济领域中的交易中介，每天都会产生大量的数据，包括结构化、半结构化及非结构化数据，比如交易渠道和门户网站的地理位置信息、日志信息等。收集行内数据是大数据搜集的第一步，收集行内的客户海量数据并不难，但是光采集到自己这一环的数据还不够，银行需要整合行内与行外的数据，增强捕获和搜集行外数据的能力。比如与第三方平台以及企业合作、提供小微企业云服务平台、互联网信息爬虫抓取信息等方式，通过这些合作与开放式的方式能够获取更加全面的数据和信息，对数据整体的分析和处理帮助越大，这些外部数据和银行内部数据的结合给银行带来更立体的画面。

在获取和收集行内行外的海量数据后，大数据平台需要合理地存储与组织各种数据源数据，不适合的数据存储方式及不合理的数据存储策略都会增加存储成本，降低数据利用与分析性能。传统的集中式存储策略无法提供良好的I/O访问效率，也无法适应海量数据的急速扩张。因此采用目前比较前沿的Hadoop开源架构构建大数据平台，实现海量数据分布式存储策略。另一方面，大数据平台需要支持高效的计算方法来管理海量数据，例如分布式计算、SPARK内存计算等，大数据平台的高性能计算利用分布式计算架构来管理和分析大数据，利用高性能、可扩展性的开放平台为银行的大数据提供技术支撑。[5]

商业银行大数据平台系统结合数据仓库建设，建立统一的数据处理分析平台，数据仓库和大数据平台之间为相互补充的关系（见图1）。通过增加业界主流的大数据处理平台Hadoop，提升数据平台在海量数据的计算和查询能力以及非结构化数据的采集、存储和计算能力，实现业务与IT融合、产品快速创新的目的。大数据平台以海量数据的应用基础平台为目标定位，管理分析行内历史数据，对接第三方等行外数据，融合交易数据与行外数据，在促进营销、风险管控、降低成本上发挥大数据的特点和优势，更好地服务于银行客户，更好地服务民生，承担起服务商业地方经济的主要责任，为商业银行创造先发竞争优势。

大数据平台的数据获取层通过行内ETL采集调度平台获取源系统数据，通过网络爬虫、文件传输等方式获取互联网、第三方平台的数据。在数据层，Hadoop平台作为数据仓库的有效补充，负责历史数据存储与查询，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询计算能力。大数据平台主要采用信息价值挖掘、用户行为分析、语义识别、实时计算分析等技术手段，发现隐藏在海量数据背后的知识和规律。在应用层通过海量数据可视化、数据库服务和云计算等手段为用户提供调用接口和操作界面。大数据平台的主要建设目标是通过构建大数据处理框架，对银行的行内历史数据及行外非结构化数据信息进行统一管理和利用，使数据信息产生最大化价值，为业务发展提供数据挖掘、数据分析、统一检索、信息定制等综合信息服务，如及时推送行业情报分析、舆情分析、客户舆情监测分析等信息，为管理人员提供决策支持；对接行外数据，提供客户全维度的数据分析，为客户市场、精准营销、客户服务、风险控制等应用提供数据分析服务；通过统一数据共享平台，实现全行数据信息的集成与共享；通过报表、邮件、专题分析等形式为银行业务人员及重要客户定期提供可定制的、高附加值、专业化的信息增值服务。endprint

最后，大数据平台作为数据基础平台，数据质量高低直接影响数据处理的成败，在大数据应用中，数据来源更广，因而数据质量问题也更为重要。数据清洗技术可以提升数据质量，但无法完全解决数据质量问题，因此大数据平台在配合行内数据治理的过程中，通过流程、管理和技术手段保证数据质量，比如建立数据集成与整合的框架，数据在获取层以及数据层，通过对不同数据源的数据进行整合、验证，保证数据的准确性和唯一性，并且通过应用层上的实际应用反馈调整数据的整合策略。数据质量管理是一个综合的治理过程，不能只通过简单的技术手段解决，需要从银行整体的高度加以重视，才能在大数据世界里博采众长，抢占先机。

三、银行大数据应用的实施方法建议

按照业界内的经验，银行大数据应用的实施需要循序渐进、内修外和地开展。循序渐进是指当前大数据技术在银行业的应用尚未完全成熟，各家银行都在边探索边实施，力争抢得先机；“内修”是指加强银行自身硬件和软件的建设，提高数据建模和数据分析能力；“外和”是指与监管机构、金融合作平台、互联网电商企业以及学校等方面加强应用合作和研究合作。因此大数据平台的建设遵循分步骤实施，在搭建自主可控的大数据基础平台的前提下，探索和实施大数据平台在银行的应用，有重点、有突破地进行应用开发落地。

（一）加强大数据思维的转变

近年来，大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。传统的银行数据服务偏重于满足内部经营管理需求的“内向型”的应用，随着互联网金融的蓬勃发展，银行的业务和技术人员必须建立互联网思维和大数据思维，扩展数据的使用范围，将更多的资源投向“外向型”的客户分析，以洞察客户需求，快速响应客户需求，实现以数据驱动业务转型和持续改善客户体验。另一方面，在大数据背景下的银行信息化建设具有业务集中、技术整合、信息共享和数据挖掘等突出特点，更强调运用大数据技术挖掘信息价值。因此，需要培养和建设一支集数据分析、业务、技术综合素质于一体的专业人才队伍，将数据转化为知识，将信息资源优势转化为市场竞争优势。

（二）积极探索大数据应用创新，迭代优化

在信息技术快速发展的今天，银行需要积极学习新兴技术，不断地探索实践业务与应用的创新，不断地对现有的数据应用进行迭代优化。目前，商业银行大数据课题组已尝试探索利用互联网爬虫、地理位置信息技术和非结构化数据分析技术在实际业务领域的实验应用，积累了一定的经验。

利用爬虫技术，在社交网站、微博、搜索引擎、新闻网站以及寒山闻钟等本地论坛上的信息抓取和收集，分析客户的网络舆情信息，通过语义分析监测客户舆情情况，通过与行内客户数据的整合，展现客户的外部舆情情况，给信贷业务人员提供贷前及贷中后的决策提供支持；利用地理位置信息技术，获取行内客户位置信息，通过热力图等形式展现客户的地理分布情况，结合网络爬虫抓取客户小区及房价信息，更加准确地对客户进行挖掘分类，判别客户的层次及需求，实现精准营销；在非结构化数据分析技术利用上，采集网银和手机银行的应用和服务器日志，对日志文件进行挖掘分析，通过非结构化的数据分析发现客户在网银及手机App上的访问路径，发现客户的行为习惯及关注兴趣内容，通过这些数据的挖掘分析帮助业务部门了解客户的关注重点，重点客户的需求类别，通过这些结果适时调整网站及App应用的布局，提升客户体验，进一步增加客户黏性。

銀行业务部门应与科技开发人员共同配合，研究利用内外部数据通过数据分析和数据挖掘，推动银行的业务产品创新、客户营销设计、客户风险管理等大数据支撑的应用探索工作，其中每个领域的大数据应用都是一个需要长期研究的重大课题，都涉及如何利用更广泛的数据资源、采用更合理的数理统计分析方法、建设更稳定可靠的业务模型，并通过系统固化、数据更新、模型评估以及配套制度的落实，确保该大数据应用在银行内部实现最深入、最广泛的应用，发挥大数据应用对银行最大化的价值效益。

（三）逐步健全银行客户全景分析视图

依据互联网及小微云平台、电商等第三方外部数据，并结合内部客户交易、账户等业务数据，采用机器学习、特征判断等数据分析方法进行数据分析，补充健全客户全景视图，为业务部门提供营销决策支持和风险评估。客户全景视图需要一个长期不断建设、迭代优化的过程，在规划中可以以客户需求为主线，通过客户细分与客户标签的形式完善客户全景视图。比如从客户基本信息维度、偏好信息维度，涵盖对银行金融产品、服务和业务偏好，交易渠道和设备偏好，营销活动偏好，兴趣爱好、活跃路径和空间等，融合客户银行业务交易、互联网交易和行为等，通过这些维度的分析和挖掘，挖掘筛选营销目标客户，实现精准营销。以客户大数据分析为基础，分析客户信用状况及欺诈风险，实时评估客户授信额度及监测客户欺诈风险，包括客户信用、逾期概率预测、风险评估、贷款额度评分等信息。

客户全景视图作为银行大数据平台应用探索与实践的信息基础，通过收集和分析客户相关数据，实现对客户信息完整、一致展现的客户信息模型。通过客户全景视图分析全面认识和认知客户，促进银行业务部门人员加深对客户需求的理解，进而实现精细化管理、精确营销和精准服务，提高客户满意度与忠诚度。因此，构建客户全景视图，是大数据平台发挥威力、增强业务价值的基础与核心。

四、结语

大数据的方兴未艾给金融行业带来了生机的同时，也使传统金融机构面临着前所未有的挑战。银行正在以搭建大数据平台和探索实践大数据银行应用的方式应对大数据和互联网金融的浪潮。银行需要提升对大数据的认识，加强自身产品创新和对大数据的分析能力，实现业务与IT融合和产品快速创新，在促进营销、风险管控、降低成本上发挥大数据的特点和优势，以客户为中心，更好地服务于客户，服务民生，为银行创造先发竞争优势。

（作者单位为苏州国际发展集团）

参考文献

[1] 娄飞鹏.商业银行应用大数据优化经营管理策略研究[J].南方金融，2014

（5）：92-95.

[2] 方方.“大数据”趋势下商业银行应对策略研究[J].新金融，2012（12）：25-28.

[3] 刘静如.大数据：金融企业的盾与剑——浅谈风险管理与消费智能[J].中国金融电脑，2012（09）：83.

[4] 李卓霖.大数据时代银行应对互联网金融冲击的转型方式研究[J].时代金融旬刊，2017（6）：82+86.

[5] 李小庆，陈权.构建面向大数据的银行数据挖掘平台[J].金融科技时代，2017（03）：16-21.endprint