大数据时代商业银行数据挖掘攻略

大数据时代,对于商业银行而言,在不断完善计算机应用系统底层数据库群、操作数据存储、主数据存储、企业级数据仓库、数据集市等建设的基础上,网络爬虫、Hadoop、MapReduce、NoSQL、Lucene等技术拓宽了银行的数据掌控能力。当前,银行无论面对内部数据还是外部数据、结构性数据亦或非结构性数据,数据的产生、捕获、整合、存储、访问等技术均已日渐成熟。与此同时,数据的价值也随着数据生命周期的不断延伸而大幅提升。为实现数据价值的最大化,银行还需要对所积累的各类数据展开全面分析,深入挖掘和钻取数据,从中提炼出埋藏于数据深处的规律和趋势,全面运用于银行战略决策与业务发展。目前,商业银行已将数据挖掘定位于发展大数据战略的核心驱动力,是大数据信息化建设的重中之重。

一、商业银行数据挖掘发展目标

1.数据挖掘定义与内涵。数据挖掘是广义数据分析的重要组成部分,它是平行于“逻辑证明”、“假设检验”和“仿真模拟”的一套用以探索未知事物、获取新知识的方法论。数据挖掘的核心思想是从存放在数据库、数据仓库、数据集市、互联网云平台等结构性与非结构性的海量数据中,按照一定的模式,自动挖掘并萃取出一切存在的、有价值的、但人们用肉眼无法识别的信息和知识。确切地讲,数据挖掘是一种智能化信息应用过程,主要基于人工智能、机器学习、统计学、信息检索、数据库等技术,高度自动化地分析业务生产中的数据和信息,做出归纳性推理,从中挖掘出潜在的数据规律、规则、趋势等,并加以有效应用,达到“总结过去、预测未来”的智能化效果。

2.数据挖掘发展目标。遵循“以客户为中心、紧贴业务流程、聚焦三类数据、贯穿四个层面”的发展思路,以实现银行信息价值贡献的最大化为目标,聚焦库表、文本和图三类数据,在“数据决策”、“精细化管理”、规划先行”和“名单制营销”四个层面统一认识,采用智能化信息技术,遵照成熟的技术实施流程,引领银行战略决策与业务发展。

二、银行各层面统一思想认识

1.银行决策层面。“数据决策”是针对“经验决策”的一种提法,同时也是对经验决策的一种验证、补充和修正。随着大数据时代的到来,数据的价值得到进一步提升,银行决策管理人员将不再满足于采用数据对经验决策进行验证的简单模式,基于数据的决策行为将从“被动”转向“主动”,主要体现于两方面:一是数据在业务分析上的作用从“数据验证”向“数据启发”提升;二是数据在业务应用上的作用从“事后快速响应”向“事前精准预测”提升。银行对自身数据分析能力提出了更高要求。

2.银行管理层面。遵循以客户为中心的指导原则,银行“精细化管理”应从客户管理入手,逐步深入产品管理、渠道管理、营销管理、风险管理、绩效管理、人力资源管理、成本管理等方面。

为实现业务上的“精耕细作”,银行首先应对客户市场进行科学细分,推进建立以客户价值评估为基础的客户分类体系,并辅以客户行业归属、区域归属、产品偏好、渠道偏好、风险偏好、价格偏好等分析内容,面向不同主题,充分实现客户层面的“人以群分”。银行要深入分析客户信息,重点关注客户价值的形成原因和驱动因素,准确识别未来存在价值提升可能性的客户,并同时对存在流失风险的客户进行预警。通过客户产品关联销售、产品响应预测、渠道响应预测等分析应用,为银行开展客户名单制营销、实行差异化服务提供依据。面向客户违约风险,银行同样要从客户信息入手,构建客户信用评分模型,尽早对存在违约风险的客户进行预警,为银行资产保全提供“第一手”信息。通过科学的客户分类支持银行形成差异化的定价模型和成本管理策略,充分考量客户满意度、提升客户忠诚度,与客户携手实现共赢。

3.银行运营层面。在银行精细化管理架构下,业务发展的“规划先行”是要考虑如何把握合适的时机、选择合适的客户、推介合适的产品、采用合适的渠道、委派合适的人员,为客户提供最优质、贴心的金融(与非金融)服务;要考虑如何在有效把控风险的同时,以最低的成本、以银行与客户均感到满意的价格实现双方价值的最大化;要实现银行资源的差异化配置以及客户的个性化服务。

4.银行执行层面。银行执行层面的“名单制营销”是根据规划内容,向一线业务人员传达具体的工作时间、地点、人物、事件(做什么、怎么做)等信息,并根据任务清单对业务人员的工作执行能力予以评价。此外,按具体业务流程进行梳理,在关键环节部署智能化预测或判定信息应用,减缓人为情绪和道德风险对业务发展的影响。

三、明确银行数据挖掘业务发展重点

遵循“以客户为中心”的发展战略,同时兼顾数据挖掘对于数据样本规模的基本要求,建议各商业银行结合自身发展战略,将数据挖掘技术优先部署于小微金融、中小企业金融、私人银行、零售银行等业务板块。事实而言,为激发国民经济活力、保持经济平稳健康发展,国家和地方政府已相继出台了一系列支持小微企业发展的政策措施。为适应新的政策要求,各商业银行纷纷推出了以贷款为核心的小微金融产品,全力打造自身独具特色的小微金融服务模式和发展方式。

以商业银行小微金融战略为例,数据挖掘工作应着重聚焦小微信贷业务,紧贴业务流程并以小微金融风险预测为主要抓手,以支持全行小微贷款余额的稳定增长为目标,积极探索全行小微金融“低成本、低风险、高效率、高收益”的业务发展模式。在商业银行小微信贷业务流程中,建议加入一系列数据挖掘智能分析预测模型,全面考量客户级(和借据级)数据,实现对关键业务环节的精准预判。

1.小微金融无贷户信贷需求预测。面向银行数以百万计的小微金融无贷户,从中自动识别出将在未来一段时期内有资金需求的客户。

2.小微金融潜在贷款客户违约风险预测。针对“小微金融无贷户信贷需求预测”结果,从中自动识别出未来存在违约风险的客户,将其从潜在贷款客户列表中剔除。

3.小微金融潜在贷款客户细分。根据客户行业归属、区域、与银行往来时间、持有产品数量、对银行的价值贡献等各类信息,将已通过“小微金融潜在贷款客户违约风险预测”筛选的客户进一步实现科学细分。

4.小微金融潜在贷款客户群商榷策略分析。针对“小微金融潜在贷款客户细分”中各客户群,估算该客户群在贷款规模、利率、期限、担保方式、还款方式等方面的意向,并推进新增贷款客户的开发。

5.小微金融贷款客户违约风险预测。以月度为周期,针对银行全量未结清小微贷款客户,考量其相关借据信息以及客户交易行为等信息,自动识别出将在下一时间周期内存在发生违约风险的客户,并尝试对预测依据进行业务解析,以便相关一线业务人员有重点地排查、核实客户情况,一旦确认其违约风险,尽快进入客户催清收流程。

6.小微贷款不良客户催清收策略分析。针对“小微金融贷款客户违约风险预测”所筛查出的风险确认客户,自动识别在现有客户催清收方法中对其最为有效的方式,并推进客户催清收工作。

7.小微金融贷款客户流失风险预测。以月度为周期,针对银行全量未结清小微贷款客户,综合考量其客户、借据等各类信息,自动识别出在下一时间周期内存在发生流失风险的客户,并尝试对预测依据进行业务解析,以便相关一线业务人员有重点地排查、核实客户情况,一旦确认其流失风险,尽快进入客户挽留流程。

8.小微贷款潜在流失客户挽留策略分析。针对“小微金融贷款客户流失风险预测”所筛查出的风险确认客户,根据其流失预测依据以及对其在贷款规模、利率、期限、担保方式、还款方式等方面意向的重新估算,综合制订个性化的客户关怀策略,并推进客户挽留工作。

9.小微金融产品关联销售分析。以客户为单位,基于银行小微金融产品列表,通过挖掘产品之间共同出现、相互诱发的关联规则,推进小微金融产品间的交叉销售。在优化客户服务、提升客户体验的同时,通过增加银行收益以及提升客户满意度、客户粘度、客户忠诚度,最终实现银行与客户的共赢。

10.小微金融贷款客户续授信需求预测。面向银行全量小微贷款客户中贷款即将到期的客户,从中自动识别出将在未来一段时期仍有资金需求的客户;进行新一轮“小微金融潜在贷款客户违约风险预测”、“小微金融潜在贷款客户细分”、“小微金融潜在贷款客户群商榷策略分析”,结合续授信业务情况,对原本分析和预测结果进行必要调整。

11.小微金融客户交易流水分析。小微金融客户贷款规模分析实践表明,小微客户贷款额度过高反而助长了客户的违约现象,为此应采用图分析技术,对小微客户交易对手及交易流水信息进行挖掘,以求精准获知客户在日常经营中的实际业务结算情况,为推出更加合理的小微“结算贷”产品提供信息支撑。

12.小微金融客户投诉信息分析。针对银行零售客户投诉信息展开文本分析,并关注于小微金融相关业务投诉,及时根据客户意见与建议优化调整相关业务发展情况。

四、商业银行数据挖掘人才布局方案

数据挖掘是一项团队工作,团队人员配置是在明确任务分工的基础上设置的,不同岗位有不同的任务分工和工作性质,要求具备不同知识结构和能力水平的人员与之相匹配。

1.数据挖掘技术流程。经实践,建议商业银行以CRISP-DM(跨行业数据挖掘标准过程)为蓝本,确立标准化的数据挖掘项目实施流程,由业务理解、数据理解、数据准备、分析建模、模型评估、应用部署六个阶段组成。此外,针对数据挖掘建模优化工作,建议采用六西格玛DMAIC流程路径,包含定义、测量、分析、改进、控制五个步骤。

2.明确岗位分工。人员配备的首要任务是根据岗位工作需要,经过严格考查和科学论证,发现或培育出为己所需的各类人员。经初步实践,建议商业银行数据挖掘工作由以下四个岗位人员组成。

数据挖掘科学家。结合业务需要,负责研发新型数据挖掘技术模式、模型和算法,并熟悉掌握现有各类数据挖掘技术发展情况,拓展现有技术的业务应用范围。

数据挖掘工程师。负责将新型数据挖掘技术模式、模型和算法予以实现,形成新的数据挖掘工具,并熟悉掌握现有各类数据挖掘工具的可用性,参与标准化数据挖掘流程中应用部署等工作。

数据挖掘分析师。结合业务需要,负责使用各类数据挖掘工具对具体任务展开数据挖掘实验工作,其内容涵盖标准化数据挖掘流程中数据准备、分析建模和模型评估工作,并参与应用部署工作。

银行业务分析师。面向具体业务项目,负责标准化数据挖掘流程中业务理解和数据理解工作,并参与应用部署工作,具体负责业务模型化、SQL数据提取、数据逻辑向业务逻辑解析等工作。

数据挖掘工作多以项目形式开展。针对一个具体的业务项目,建议配备各岗位人员协同作业。

3.明确岗位人员配比结构。每项数据挖掘任务都是一个非常复杂而又不断反复地过程,在此过程中包括明确业务目标、将业务目标转化为建模目标、选择数据源并设计变量、选择建模方法、实施建模、测试和验证模型以及将模型结果解析为业务结论等多个环节,需要不同专业、技术、背景人员的全面探讨和反复尝试。为使每个项目团队的岗位配置最优化,确保各人员充分发挥特长并保证其工作顺利完成,经初步实践,建议各数据挖掘团队不同岗位人员的配比为“1:2:4:8”。即一个数据挖掘团队包括1名数据挖掘科学家、2名数据挖掘工程师、4名数据挖掘分析师以及8名银行业务分析师。