重新构建数据仓库分析平台满足业务发展、风险管理以及实时查询之需汇付天下有限公司(简称“汇付天下”)于2006年7月成立，投资额近10亿元人民币，致力于为中国小微企业、金融机构、行业客户和投资者提供金融支付、投资理财等综合金融服务。汇付天下总部设于上海，并在北京、广州及成都等30多个城市设有分公司，旗下拥有汇付数据、汇付金融、汇付科技三大子公司。
近几年来，汇付天下积极布局新金融领域，通过支付结算、账户系统、运营风控、数据服务为超过800家P2P平台提供服务。2014年，汇付天下交易规模突破1.5万亿元，成立以来复合增长率超300%。凭借着创新的商业模式、高速的增长活力以及优秀的管理团队，世界经济论坛（2015夏季达沃斯论坛）授予汇付天下“全球成长型公司”荣誉称号。创新业务的高速发展使企业的数据呈爆发式增长状态，要完成数据收集、入库、整合、汇总、报表等，还要根据
对这些数据的分析进行风险管理，满足实时查询的需求。但是，原来基于传统数据仓库的解决方案分析处理性能低，速度缓慢，无法达到实时查询需求和大压缩量需求。数据量的激增也使查询启动对后台系统产生了重大影响，加之原数据库系统占用昂贵的服务器和存储资源。金融服务机构的风险管理是上级监管部门和企业管理人员都十分重视的问题。中国人民银行监管部门关注的是防范和化解系统性金融风险，维护国家金融稳定。面对金融服务、金融工具、
金融产品层出不穷的创新，人民银行的监管手段也一改查报告、核数据的传统做法，转变为进驻被查机构现场，实时提出要求查询各类数据，汇付天下采取措施，满足监管和合规性要求。而机构自身关注风险管理的主要原因，是担心如何为股东和客户创造价值，如何才能快速应对欺诈行为，防范金融风险，最大限度地保护客户的资产安全，达成这一目的同样离不开详实的数据和准确、高效的数据查询。
为了保证业务顺利进行，满足业务发展和监管的需求，汇付天下迫切需要整合业务交易、用户信息等数据，为自己重新建立一个以用户为中心、能够对数据进行连续实时地访问和分析的数据仓库分析系统。汇付天下对数据仓库制定了严格的标准，必须满足下列条件：
• 快速数据传输—随着数据量的不断增加，处理速度的要求会越来越高；
• 高可扩展性—新数据仓库必须能够经济的支持数据量几何级数增加，而无需购买昂贵的新存储系统；
• 数据分析能力—既能存储数据，还需支持各类从简单到复杂，从SQL到统计模型的数据分析要求；
• 稳定可靠—新数据仓库必须尽量可靠、无故障、易维护；
• 管理简便—拥有自动化基本处理功能，可在无需外部资源的情况下允许人员进行维护、强化和任务优化。
根据上述要求，汇付天下进行了详细市场调研，筛选出了二种完全不同的方案：商业应用Vertica和开源产品Hadoop。
Vertica担岗重任：
一流的性能和可扩展性Hadoop是一个面向批处理的系统，并不能完成企业内的预测建模工作，必须在上面进行二次开发，而且占用服务器资源多，还需要第三方专业服务公司来提供支持。HPE Vertica是一款市场成熟度高的商业产品，支持开源的R编程语言，R是汇付天下数据建模和数据分析所使用的语言，两者无缝集成能使汇付天下将Vertica分析平台和R的各种数据模型相结合，从而确保以简单、可扩展的方式进行高性能分析。相反，R与Hadoop之间并没有简单的集成方法。经过POC测试和评估，汇付天下在2013年底，最终选择了HPE Vertica作为实现项目目标的数据仓库分析平台。谈到为何最终确定采用HVertica时，汇付天下首席数据官（CDO）裔隽表示：性能是我们考量的重中之重。汇付天下的IT与企业业务发展必须同步，甚至更具前瞻性，一直要走在科技的最前端。因为只有最基础的数据仓库系统更快、更安全、更有效率，才能实现实时查询以及更多其它功能，使企业快速获得洞察，敏捷、迅速地响应各种变化。Vertica默认高效处理大量请求，10+线程并行加载能够实现近实时加载；Vertica无磁盘I/O瓶颈，上传和查询同时进行，使更多的人能够快速、方便地存取信息；Vertica能够高效的进行数据压缩处理，极大节省数据库存储空间。
Vertica良好的扩展性能，也为裔隽赞赏，他认为这是产品的一大亮点，切合了公司的实际需求。目前Vertica运行在3台机柜式服务器上，系统在二年运行过程中没有丢失任何数据。Vertica通过在群集中新增节点，顺利扩展性能和数据量，处理更多数据。现在，汇付天下计划2015年底部署的3节点基础上顺利增加到6节点， 而且该流程处理为全自动方式，无需中断任何务过程。
Vertica数据仓库分析系统的建立，使汇付天下整合了所有业务交易数据、用户信息等数据，让操作人员能够用比以往更快的速度、更方便地查询和分析这些数据，产品稳定的运营效率能够避免高速处理过程中的数据丢失现象，并且系统能够随着业务增加、数据量增大而随时进行扩展。目前，HPE Vertica已成为汇付天下的主要数据资源库，存储了约3亿条数据供使用。
远高于前代系统的数据处理能力，数据处理总体性能提升数10倍。
• 用于分析的数据量从原来几个月扩展到3-5年，批量处理过程从10小时降至40分钟，增量数据在1-5分钟内可以用于分析；
• 数据抽取速度，从原来的4-5小时降至1-2小时，提升了300%；
• 数据查询速度提升了100倍，每次复杂查询可在2-3秒内完成，甚至包括鼠标操作的时间，达到了秒级响应，且允许多位操作人员同时使用查询；
• 通过基于HPE Vertica的数据接口，提供大数据服务接口给到各个内部系统，避免传统数据库在海量数据处理上的应用瓶颈。远低于前代系统的总体拥有成本;
• 8:1的数据压缩比可以极大节省数据库磁盘空间；
• Vertica部署在3台机柜式服务器上，机柜式服务器可伸缩性强，易于管理、节省空间，从而提高效率、降低管理的成本;
• Vertica良好的扩展性能，满足未来发展需求。
支持风控、反洗钱、反欺诈等金融核心应用，有效防范金融风险;
• 实现了从海量资料中分析信用风险，及时侦查可能的欺诈行为，有效防范风险；
• 通过帐户信息、交易信息、行为特征以及实时状态等数据，及时获得用户全景视图，因此能更好地实现数据分析、营销和监测；
• 利用平台的卓越性能支撑以及R语言建模，使风险评估从事后发现到事中预警成为可能。
满足监管需求，提供各种复杂要求的实时数据查询
• 监管机构进驻金融机构现场，实时查询信息数据，防范和化解系统性金融风险。
在当前的金融市场，数据量快速增长、数据处理时间窗口越来越短、大并发成为常态等挑战，让金融机构在选择数据仓库分析技术平台时极为谨慎，他们既要关注实时敏捷的响应能力，又要确保低成本和可扩展能力。HPE Vertica具有突出的高性价比、强大性能以及无限扩展性，汇付天下相信Vertica会与企业一同发展，并且将来汇付天下能以更多方式利用这一平台，通过对交易数据和用户信息进行分析，从中探究市向、企业客户行为方式，满足精准管理及营销所需。
