金融大数据市场研究

2019年，中国金融服务业大数据分析服务市场的收入总额为人民币1093亿元。其中323亿元用于金融风险管理及70亿元用于客户生命周期管理，后者包括吸纳新客及现有客户管理。疫情导致大数据分析市场需求下降金融服务供应商对科技服务的强劲需求及科技服务的增长潜力吸引新参与者进入市场。这些参与者凭借其庞大的客源或强劲的技术能力，如大数据、AI及云计算，快速扩展。同时，在金融服务业迅速增长的推动下，由于大数据分析技术可促进信贷评级及有效实现精准营销及更有效率的客户管理，中国金融业迅速应用大数据分析技术。金融服务供应商现广泛应用大数据分析技术于金融风险管理及客户生命周期管理。2019年，中国金融服务业大数据分析服务市场的收入总额为人民币1093亿元，受COVID-19疫情影响，2020年上半年，金融机构的业务发展步伐放慢，导致对大数据分析服务的整体需求下降。2019年在金融服务业大数据分析服务市场中323亿元用于金融风险管理及70亿元用于客户生命周期管理，后者包括吸纳新客及现有客户管理。独立大数据分析服务市场份额上升准确、客观及中立的大数据分析结果是客户寻求大数据分析服务所着重的元素。独立的服务供应商能够更准确地识别客户需要、避免利益冲突、维持客观及中立，并更好地服务客户。2019年中国金融服务业独立大数据分析服务市场收入为106亿元，2014-2019年的复合增长率高达86.2%。2014年起至2019年，独立大数据分析服务供应商的市场份额占金融服务业大数据分析服务供应商整体市场份额由2.3%增至9.7%。从竞争格局情况来看，中国金融大数据分析服务市场的竞争者分为三类，独立金融大数据分析解决方案供应商、非独立金融大数据分析解决方案供应商以及征信局。根据Frost&Sullivan的数据显示，2019年就收入而言，百融云创为中国最大的独立金融大数据分析解决方案供应商。更多数据请参考前瞻产业研究院《中国大数据金融行业市场前瞻与投资战略规划分析报告》，同时前瞻产业研究院还提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资等解决方案。

在“金融大数据应用与信息安全研讨会”上，中国支付清算协会金融大数据应用研究组组长、中国信通院云计算与大数据研究所所长何宝宏博士正式发布了由双方联合撰写完成的《大数据在金融领域的典型应用研究》白皮书，并在现场演讲中阐释了金融大数据的四大应用价值、四大发展特点和五大发展趋势。白皮书聚焦大数据技术在金融领域的应用，从金融大数据的发展、金融大数据的应用场景分析、金融大数据的典型案例分析、金融大数据应用面临的挑战和促进金融大数据发展应用的相关建议等方面，深入剖析大数据技术在金融领域的应用情况：一是，从金融大数据发展现状出发，明确金融大数据的来源、应用特点和应用趋势；二是，通过应用场景分析，深入浅出地阐述金融大数据如何帮助银行业、证券业、保险业、支付清算行业和互联网金融行业提升资源配置效率，强化风险管控能力，促进业务创新发展；三是，对评选出的“金融大数据创新应用优秀案例”进行深入分析，为读者呈现这些案例机构应用大数据技术的初衷和目的，所开发的项目和取得的成果，以及通过应用大数据技术得到的好处；最后，对金融大数据的应用挑战进行分析，并提出了促进金融大数据发展应用的建议。铁粉必看

在银行业每年高达千亿人民币的金融科技投入中，哪项新技术应用最广泛？答案是“大数据”。据互联网金融协会一份调研显示，在50多家调研银行中，高达98%已在多个场景中广泛应用大数据技术。这背后，是因为银行业天然离大数据最近：积累了海量数据、数据历史长、质量高、可挖掘空间大，银行经营的所有关键环节都离不开数据。为了打好这场大数据决战，国内外银行都毫不吝啬于配置大数据人才：美国富国银行号称有10000多名数据人员；国内一家国有行在总分行层面构建了一支450人的数据分析师队伍，从而满足大数据分析应用相关的工作需求，进一步完善大数据底层基础设施。然而，要深度挖掘大数据的潜力、搭建强大的大数据基础设施，光靠银行自身是不够的，这方面科技公司行动早，在大规模的投入中对数据认识更深刻，显然已经成为银行需要借力的重要伙伴。金融数据：潜力极大的“宝藏”当前，金融业的竞争越来越集中于数据上，行业有种说法“数据即资产”、“得大数据者得天下”。不过大数据市场空间有多大？据IDC数据，2020年中国大数据相关市场收益预计达到104.2亿美元，其中，金融是大数据行业最大的细分市场，市场占比超过了20%。这意味着金融行业大数据相关市场收益，已经超过了百亿人民币。而这一市场还在高速增长中。尤其是随着银行业金融科技转型提速，大数据能力关系到每一项业务和每一个运行环节，也必然成为金融行业的关键基础设施。一方面，零接触金融、金融业务线上化迁移，都促使金融业基础设施承受越来越大的压力。IDC报告显示，全球数据每年增长速度约为40%，海量多样化数据保护要求越来越高。另一方面，大数据基础设施承载了大量核心业务如精准风控、精准营销、反欺诈等，运用科技提升金融业基础设施的数字化能力成为必然选择。2019年8月，央行印发的《金融科技(FinTech)发展规划(2019-2021年)》提到，“建立健全企业级大数据平台，进一步提升数据洞察能力和基于场景的数据挖掘能力，充分释放大数据作为基础性战略资源的核心价值。”无疑，这给银行业大数据基础设施建设，提供了很好的指引。这方面，大型银行是行业先行者，正在把大数据能力打造成为银行真正的核心竞争力之一。比如，2019年以来，工行在金融同业中首次实现大数据服务云全面实现分布式和国产化转型；另一家大行建行在2020年上半年完成大数据云平台自用区的部署，同步支持44个基于大数据云平台应用的开发建设。大数据分析还大大提升了银行的客户精准服务等能力。比如交行2020年上半年搭建数据运用管理平台，带动AUM增长26%；平安银行完善大数据技术平台，促进“天天成长C”等理财产品购买转化率提升了60%。一些国外的领先银行也利用大数据已经取得了较大竞争优势。如花旗银行亚太地区，近年来有25%利润来自于数据挖掘；汇丰银行通过数据挖掘开展交叉销售，使客户贷款产品响应率提高了5倍。不过，这场大数据决战才刚开始，更多银行面临着数据挖掘的难题。“数据宝藏在那儿，但却不知道如何挖掘。”一位银行从业者表示。《中小银行金融科技发展研究报告（2019）》显示，中小银行的数据治理基本处于萌芽期，达91%的中小银行尚未开展有效的数据治理工作。这意味着，大数据运用在银行业还有巨大的提升空间。同时，目前银行业现有技术难以满足大数据基础设施需求，存在多样化平台管理难、对数据分类整理及深度挖掘分析能力有待加强、海量大数据保护和运用难、缺乏有效的数据治理、复杂大数据环境运维难等痛点。在此之下，借助合适的金融科技解决方案，成为银行等金融机构做好大数据基础设施的方式。强者已然脱颖而出相比过去，金融大数据平台的角色已经发生了明显的改变，从过去的被动对内协助管理，变为现在的主动对外支持业务决策。这方面传统银行的大数据分析能力还存在欠缺。除此之外，银行业之所以对大数据运用不足，从根本上来看，不仅要把数据治理上升到战略层面，使其成为业务部门的工具，更重要的是能让数据快速给业务带来价值。这就需要借助专业的合作伙伴。凭借在金融行业领域的业务规划能力、科学的管理流程、专业的服务团队，华宇智能数据面向金融领域提供业务咨询、IT规划、软件产品、行业解决方案等一系列优质、端到端的服务。华宇软件顺应金融行业的发展趋势，在多年产品技术沉淀和行业客户合作的优势基础上，形成了数据质量管理、监管报送、风险全面管控、大数据应用、驾驶舱决策平台等几十种行业落地解决方案，完成了多个灯塔项目。针对市场热点和客户需求进行产品的设计和研发，通过优质的解决方案和良好的服务，为广大金融客户提供业务发展所需的应用方案和系统建设服务。

猎云注：爱分析在北京举办的中国大数据高峰论坛上，发布了《中国大数据行业报告》。《报告》称，2017年大数据行业整体市场规模1000亿，其中行业应用细分市场规模为700亿，是大数据行业最大细分领域，大数据在金融、政务、互联网成熟度最高。文章来源：爱分析ifenxi（ID：ifenxicom） 大数据整体市场规模1000亿，细分市场行业应用规模最大 《报告》显示，整个大数据产业分为基础平台、通用技术、行业应用等多个细分市场，2017年大数据整体市场规模1000亿。细分市场中，基础平台整体市场规模在100亿元左右，通用技术整体市场规模在200亿元左右。行业应用层，大数据在各个行业应用差异较大，应用相对成熟的金融、政府领域市场规模为200亿元。整个行业应用市场规模为700亿。大数据在金融、政务、互联网成熟度最高 《报告》显示，大数据在各行各业的成熟度与基础设施、市场规模和应用范围关系密切。根据调研，金融、政务、互联网这三个行业的IT投入位列各行业前列，随着“互联网+政务”的普及、政务云和政务大数据的落地，政府2017年IT投入超过800亿元，占中国IT总投入的5-10%。金融一直是重IT投入的行业，以银行为例，2017年中国银行业整体IT投资为800亿元，整个金融行业的IT投资突破千亿元大关。基础设施成熟度同样会对大数据应用落地应用产生很大影响。信息化是大数据的基础，互联网行业信息化程度最高，金融、政务行业在20世纪初已开始进行信息化建设，经历十几年发展，基础信息化已建设完毕。相比医疗、工业等领域，金融、政务和互联网行业结构化数据占比高，数据标准化程度高。云计算、大数据、AI、IoT多项技术融合是未来趋势，提供整体解决方案的公司机会最大 《报告》指出，与国外不同，中国市场云计算、大数据、AI、IoT等技术几乎是同时间爆发，企业客户同一时间采购云计算、大数据、AI等产品，企业客户最终目的是通过新技术来实现开源节流，实现这一目标需要多项技术融合，技术边界正逐步模糊。云计算作为大数据的基础，大幅降低企业的IT硬件成本，将有超过50%的IT预算投入到大数据、AI等应用。AI促使大数据从辅助决策向替代决策进化，使大数据厂商突破工具软件天花板，发展空间放大10倍。在智能客服领域，AI技术的发展使得技术厂商的市场空间由原先的30-50亿提升到300-400亿。IoT技术的发展补全线下数据和机器数据，给大数据应用带来更加多元的数据，产生更加丰富的应用场景。在营销领域，通过WIFI、蓝牙、摄像头等途径，实现线上、线下数据的打通，形成整个营销闭环，从而实现跟踪用户的全生命周期，提升用户转化率。多项技术融合促使客户的需求更加多元化、复杂化，提供整体解决方案的大数据公司更加符合未来趋势，在整个产业链占据更重要地位，提供更加深度的场景化应用。以下为爱分析高级分析师李喆在会上发布报告的演讲实录。演讲实录 李喆： 在看待大数据行业未来趋势时，首先需要关注中美技术路径发展的差异，不仅仅是大数据，还包括云计算和AI等。从这张图，我们可以得出有几个结论：第一， 我们看到美国的市场是技术驱动，先从底层基础平台成熟，逐步延伸到上层应用。2006年AWS对外进行提供服务，2009-2010年大数据基础平台公司Cloudera、Hortonworks成立，2015年Google开源TensorFlow平台，这些事件促使云计算、大数据、AI进入快速发展阶段。中国市场更多以应用、政策为主导，云计算行业快速发展的原因是2012-2013年游戏等移动互联网的爆发，2014-2015年，政府出台一系列利好大数据的政策，促使整个行业快速发展。因此，中国市场应用型的公司发展速度更快。国外已经上市的大数据公司Splunk、Tableau、Cloudera、MongoDB都是基础平台和通用技术层的公司。国内市场发展速度快的TalkingData、同盾科技等公司，都是属于应用型的公司。第二， 不同于美国市场每一项技术中间会有一个很大的时间间隔，中国市场云计算、大数据、人工智能这些技术时间间隔很短，几乎是同时爆发。因此，数据在各个行业的发展是不均衡的，不同行业的渗透率差异很大。同时，大数据行业不能只看大数据，需要重点关注云计算、AI对大数据行业的影响。首先，我们看云计算对大数据的影响。云计算对大数据行业最大的影响是降低了整个基础设施的成本，未来会有50%以上的IT预算会投入到应用层，也就是大数据和AI。IT预算的结构将由左边的正三角形，转变成右边的倒三角形。以银行为例，不考虑上层应用，美国的银行在IT建设上会领先于中国的银行。根据我们的调研，中国的银行IT投入的70%都是在硬件投入，剩下30%投入是软件和服务。而美国的银行只有15-20%的IT预算投向硬件，更多预算投入到软件和服务。第二个影响是容器技术的成熟，降低了大数据业务的交付成本，从原来几个月的交付时间缩短到几周。第三个影响是，随着SaaS渗透率不断提升，更多的数据汇聚到云端，更加便捷的实现数据互通互联。其次，我们看AI对于大数据的影响，AI技术可以帮助大数据突破工具软件的天花板，将市场空间放大10倍，同时还可以降低大数据公司对人力的依赖，提高人均产能。以智能客服为例，客服软件市场规模是很小的，大概是30至50亿的市场规模，但整个客服市场规模很大。中国的客服人员有300-500万人，按照平均5-6万的人力成本计算，整个客服市场规模超过2000亿。如果其中有15-20%被智能客服替代，整个市场空间就有300-400亿。但如果厂商只做客服软件，即使加上数据分析等技术，能够提升人员效率，但依然很难触及到人力这部分市场，但通过AI技术，能够实现替代人力，厂商就能切入到这300-400亿的市场。公安领域，明略数据这样的公司通过深度服务公安客户，形成这个行业的知识图谱，也就是“公安大脑”。形成“公安大脑”后，明略数据在服务其他省市公安局的时候，会大大缩短服务周期，降低公司对人力的依赖，提升业务可复制性。因为各种技术几乎同时爆发，所以我们判断，多项技术融合是未来的趋势，会大幅提升各个行业的效率。下面这张图是大数据的业务链条，包含数据源、数据的采集、数据标准化、数据分析和数据应用。可以看出，各项技术其实都会对整个链条产生影响。IoT技术，补全了原本缺失的线下数据和机器数据。比如营销领域，之前可以拿到大部分是线上数据，用户点击的广告、网页的浏览行为。IoT的发展，通过WIFI、蓝牙、摄像头等方式，可以监测到用户的线下行为，打通了整个闭环。用户在线上看广告，官网浏览商品，再到实体店体验、购买，实现线上和线下的融合，有更多方式去提升转化效率。云计算使数据更容易汇聚，降低数据收集的难度，AI技术增强了数据分析能力。智能财税领域，针对小微企业的代账市场，传统软件不具备自动化和智能化，代账SaaS软件的普及，使越来越多的中小数据汇聚到云端，而依靠机器学习等AI技术，实现自动做账、自动报税。过去每名会计最多服务20到30家企业，但是依靠SaaS、大数据、AI技术等研发的代账软件，可以服务100到200家，未来还会进一步提升。这会使得传统代账公司的重心会放在获客和增值服务，而非基础做账业务，代账公司的服务半径扩大。多项技术融合后，客户的需求会更加多样化、复杂化，因此，我们判断做整体解决方案的公司机会最大。从产业链的角度看，做整体解决方案的公司更贴近客户，更容易获取标杆客户。提供单点能力的大数据公司，更多是技术提供方的角色，无法解决客户全部需求，在客户预算中只能占到很小的份额，集成商会占据更大的份额。整体解决方案的公司提供的是自下而上的服务，因此有机会从原来的技术提供商，成为过去集成商的角色。这样会带来几个方面的好处：首先，大数据公司能够触及的预算会更大。其次，可以延伸到其他需求。美国有一家做虚拟化的公司叫VMware，最早通过虚拟化产品拿下了很多500强的客户，但现在支撑他高速增长的是SDS和SDN业务。SDN业务是VMware收购了一家初创公司Nicira发展起来的。Nicira被收购的时候没什么收入，但VMware的SDN业务，只花了三年时间就做到10亿美金的收入。抛开技术原因，另一个原因是VMware有很强的客户资源，更有机会把他的新产品推向客户。第三，降低获取其他客户的门槛。企业服务市场，获客具备非常高的门槛，尤其对于初创公司获取客户信任的周期很长。金融大数据公司进入银行市场的时候，可能前期做POC就需要一年的时间。如果你有一个标杆客户，再去向同类公司进行推广的时候，难度会大大降低。标杆客户具备灯塔效应，不论是服务同体量的客户，还是下沉到腰部客户。从场景的角度，整体解决方案的公司更有机会把场景做深，提高价值。零售领域，很多公司从营销做起，但很难切入到库存管理、供应链管理。因为这些公司多数是提供营销工具，不是一个完整的解决方案。整体解决方案公司会从帮助客户建立大数据平台做起，更有机会从前端营销切入到后端业务，通过数据去打通各个环节。这也是因为当前中国的客户能力还相对不足，直接使用工具的成本和难度都很高。大数据公司需要将业务做重，单纯一个很轻的产品，价值度较低，很难形成壁垒。接下来，我们将分享大整个大数据的产业图谱，包括我们对每个细分领域的判断。这张图是我们对整个大数据的划分，从底层基础平台到上层行业应用，分为四大细分领域。基础平台分为交易型数据库、分析型数据库和围绕这两类数据库的计算引擎。基础平台往上有两个方向，一个是数据的方向，一个是技术的方向。数据方向有两类厂商，按照是否具备数据源分为第一方和第三方。技术方向是指大数据平台之上，具备通用性的数据处理的技术，包括 BI与可视化、日志分析等。行业应用更多的是直接面向一个个场景，用大数据技术去解决各个行业的场景去落地的公司。这是我们总结的大数据市场规模。市场规模最大的是行业应用，基础平台是市场规模最小的细分领域。根据我们的调研，2017年整个中国大数据的市场规模是1000亿，我们测算的逻辑主要分成两类：一类方法是Top Down。比如，我们测算中国BI领域市场规模，我们首先看全球市场BI的市场规模，全球BI的市场规模大概是180亿美金，考虑到BI在IT投入的比例，中国和全球应该大体一致，中国的比例会略低于全球的市场。全球的IT投入大概是3.6万亿美金，中国的IT投入大概是2.3万亿人民币，因此，我们测算中国的BI市场规模大概是135亿人民币。再比如，行业应用中的工业大数据，通过我们测算大概是100亿人民币市场规模。我们的方法是通过行业成熟企业的投入比例，去推断大数据在整个工业产值的比例。国家电网2017年营收在2万亿，每年在大数据的总投入是5亿。金风科技2017年营收260亿，在大数据的投入在500-1000万之间，由此可以判断规模以上的企业投入比例大概为1-2%。另一类是Bottom Up。重点看头部公司它的收入和市场份额。基础平台这个市场，我们主要看Oracle，因为它是市占率最高的公司。2017年亚太地区的收入是45-50亿美金的数据，其中数据库的比例大概会占到30%左右，所以是十几亿美金规模，中国市场收入会比这个数据要低，Oracle的占有率是在40%至50%之间。因此我们判断国内的基础平台的市场规模在100亿左右。再比如AI平台，我们判断AI平台（数据科学平台）这个领域是20多亿的规模，主要是考虑国内市场，这个领域最大的公司是SAS，每年收入30亿美金，在亚太地区的市场份额大概占到10%左右，而他的市占率会在50-60%，因此整个市场规模会在25亿上下。从各个细分领域来看，我们还是会去重点关注大数据的行业应用，大数据的最大价值肯定是体现在行业应用。从政府的大数据发展规划来看，2020年整个大数据市场规模将达到1万亿。但从IT投入来看，2017年IT软件与服务的投入只有1500亿。因此，未来大数据厂商切的主要预算不会来自IT，而是业务预算。只有做行业应用的公司才更有机会拿到业务预算。因此，我们判断，行业应用会是未来最大的细分领域。我们重点关注的是金融、政务这两个领域，主要去通过大数据在各行各业的成熟度判断。根据爱分析大数据成熟度模型，我们主要从市场规模、基础设施和应用范围去判断各行业的成熟度，大数据在各行业的渗透情况。首先，通过我们的分析，现在最成熟的是互联网、金融、政务。金融的IT投入肯定是非常大的，银行每年的IT投入就有800亿，加上证券、保险，整个金融IT投入是超过1000亿。政务每年的IT投入大概是800亿。这两个行业在整个中国IT投入占比非常高。中国2.3万亿IT投入中，有大概1万亿左右是运营商资源。去除掉这部分，金融和政务加起来会占到总投入的20%以上，现阶段大数据投入主要还是来自IT预算。其次，互联网、金融和政务，信息化建设是最完善的，这里的信息化建设不光是基础业务系统搭建，还包括数据的标准化、结构化程度。医疗的基础设施相对完善，IT投入也很高，但我们不认为它会优先爆发的原因，就是数据标准化的问题。数据业务链条上，现在能走通的就是金融和互联网，医疗领域的数据标准化还在建立当中。数据标准化程度高，才更容易产生深度的应用。第三，金融和政务两个领域的公司，发展最快、体量最大。根据我们的调研，2017年，像TalkingData、同盾科技、百融金服等公司，他们的确认收入都已经超过了1亿人民币，而1亿人民币收入是企业服务公司一个很大的门槛。通用技术领域，我们会去关注那些有机会切入到行业应用的公司。BI与可视化、用户行为分析、AI平台等领域，直接面向客户的应用问题，更有机会切入到行业应用。比如用户行为分析里面的神策数据、GrowingIO等公司，第一个直接的方向是营销大数据，这样以来会从原本工具软件这个比较小的细分市场，跳入到营销市场，而我们知道，整个营销市场是万亿级的市场，占GDP的2-3%。数据服务市场，我们也会看它和行业应用的结合，我们判断纯粹的数据交易公司机会有限，第一方平台将逐步崛起，这背后有几个原因：第一， 政策方面，2017年安全法的发布，对数据隐私、数据合规性的要求大大提升，这会对第一方数据公司是个利好，但第三方数据公司的业务受到很多限制。行业标杆客户也更愿意与有品牌、合规的公司合作。第二， 数据既然要和应用去结合，那么就需要热数据，能够持续不断更新的数据，第一方数据公司更容易实现这一点，因此数据本身就是他们业务不断产生的。对第三方公司来说，汇聚多方数据，持续更新的成本较高。基础平台市场，我们认为新需求带来的增量市场更值得关注。基于行业应用、数据分析产生的需求，也就是分析型数据库的市场。交易型数据库市场进入门槛太高，替代银行等头部客户生产环境下的数据库非常困难，这里面存在着数据丢失等风险，这是大企业很难接受的。而分析型数据库基本都是搭建在离线场景，不存在这方面的风险。这个市场目前是100亿，我们判断2020年会到150-200亿，主要的增量来自分析型数据库。全球基础平台市场规模是460亿美金，这里面50-60%是交易型数据库，40-50%是分析型数据库，但国内的分析型数据库只有10%的份额，未来渗透率还有很大的提升空间。本文来自猎云网，创业家系授权发布，略经编辑修改，版权归作者所有，内容仅代表作者独立观点。

从IT时代到DT时代，本文将从金融行业大数据发展现状、市场规模及前景、数据类型分析、应用场景、实际案例等方面简要分析大数据在金融行业应用发展。IT时代是以自我控制、自我管理为主，而DT(Datatechnology)时代，它是以服务大众、激发生产力为主的技术。这两者之间看起来似乎是一种技术的差异，但实际上是思想观念层面的差异。未来，包括数据处理、综合处理、语音识别、商业智能软件等在内的大数据服务，将成为企业的下一步发展重点。金融行业数据资源丰富，数据应用由来已久。从发展特点和趋势来看，金融数据与其他跨领域数据的融合应用正不断强化，金融行业数据的整合、共享和开放正在成为趋势。对于大数据的应用分析能力，正在成为金融机构未来发展的核心竞争要素。而针对金融机构转型，目前移动互联网化及大数据技术的迅速普及则为其提供了更多的利好可能。金融大数据发展现状数据容量大，涵盖范围广在大数据时代，金融业数据迅速膨胀并呈现出几何级数的增长态势。由于行业特性，银行业在长期业务开展过程中积累了海量数据。从数据涵盖范围来看，数据类型包括以工资、公积金、消费贷款等为代表的结构化数据和以文档、图片、音像和地理位置信息等种类繁多的非结构化和半结构化数据。以银行业为例，每创收100万美元，会平均产生820GB的数据，数据强度高踞各行业之首，而在相同创收条件下，电信、保险和能源行业数据强度分别为490GB、150GB和20GB，由此可知金融业在大数据应用方面具备天然优势。数据处理复杂，充分挖掘困难商业银行数据体量庞大，在数据处理过程中存在很多问题，主要包括：（1）数据治理体系化建设匮乏。现阶段商业银行尚未形成系统的数据治理方法和体系，缺乏有效的数据分类、整理和加工。（2）数据资源管理整合度不高，内部可用信息使用率低下。当前商业银行的数据在组织内部处于割裂状态，缺乏顺畅的共享机制，难以实现数据的有效整合和使用。（3）数据内容复杂多样，难以充分挖掘数据资源潜在价值。造成这一现状的原因在于商业银行非结构化数据占比不断上升，数据构造方法重复率高，且关系复杂。数据资产化，应用场景丰富国内商业银行现处于数据资产化、产业化的起步阶段，且银行运用大数据技术以描述性数据分析为主，预测性数据建模为辅，以自身交易和客户数据为主，外部数据为辅。数据资产目前最主要的作用是趋势预测和决策支持，典型的应用场景集中在营销分析、内部运营和风险管控等方面，具体应用案例包括交叉销售、客户群体划分、信用评分及违约监测等。当前我国商业银行大数据应用深度、广度和频度都与国际先进银行存在着巨大差距，迫切需要拓宽数据应用层面，实现数据资产增值。数据应用难度大，制约因素多1.大数据技术框架大数据技术框架的组成部分包括处理系统、平台基础和计算模型。首先，处理系统必须稳定可靠，同时支持实时处理和离线处理多种应用，支持多源异构数据的统一存储和处理等功能。其次，平台基础要解决硬件资源的抽象和调度管理问题，以提高硬件资源的利用效率，充分发挥设备的性能。最后，计算模型需要解决三个基本问题：模型的三要素（机器参数、执行行为、成本函数）、扩展性与容错性、性能优化。这些要求对构建大数据技术框架提出了非常高的要求。2.大数据应用推进和落地商业银行大数据应用虽然在风控、反欺诈、征信等领域初见成效，但在其他层面暂时还处于探索阶段。究其原因，一方面只有当数据分析转变为企业业务方式后才产生价值；另一方面商业银行在新建应用系统的过程中缺乏数据思维，没有充分了解大数据分析的价值、战略和流程。同时大数据应用投资效果难以衡量，领域建模未得到充分重视。3.数据安全与个人隐私现阶段用户数据的收集、存储、管理和使用缺乏规范，主要依靠商业银行自律，用户无法确定自己隐私信息的用途。此外，鉴于国内商业银行体制机制限制以及尚未健全的金融法律法规体系，许多金融机构担心擅自使用数据会触犯监管和法律底线，同时数据处理不当可能会给自身带来声誉风险和业务风险，因而在驾驭大数据层面难以付诸实际行动。金融大数据市场规模金融行业竞争日益激烈，基于数据的精细化运营需求日益迫切是金融大数据发展的内在需求。金融企业经过多年的信息积累沉淀了大量高价值的数据，发展金融大数据成为必然方向。据爱分析《中国大数据行业报告》中指出，2017年大数据行业整体市场规模1000亿，其中行业应用细分市场规模为700亿，是大数据行业最大细分领域，大数据在金融、政务、互联网成熟度最高。基础平台整体市场规模在100亿元左右，通用技术整体市场规模在200亿元左右。行业应用层，大数据在各个行业应用差异较大，应用相对成熟的金融、政府领域市场规模为200亿元。金融、政务、互联网这三个行业的IT投入位列各行业前列，随着“互联网+政务”的普及、政务云和政务大数据的落地，政府2017年IT投入超过800亿元，占中国IT总投入的5-10%。金融一直是重IT投入的行业，以银行为例，2017年中国银行业整体IT投资为800亿元，整个金融行业的IT投资突破千亿元大关。金融大数据发展前景互联网的出现让海量的企业、个人行为数据的获取、存储、管理成为可能。大数据的发展已经在多个层面推进金融机构的业务模式不断发生改变。比如，在金融产品的营销设计、风险控制、扩展服务半径等方面，大数据都深刻改变了金融机构的经营模式，有效降低了成本、提高了效率。从金融领域的视角来看，大数据在金融领域是一枝独秀，加上人工智能的兴起，规模急速地增长。在政策层面，国家多层面推进金融大数据发展提供了政策支持，金融行业经过一二十年的信息化的积累，从数据到技术，人才的储备等方面，都具有非常好的优势。金融机构是大数据天生的合作者，一方面自身有着利用技术红利带来收益冲动，另一方面又有国内较好的信息化基础。因此金融大数据发展也促进了金融行业从多方面实现管理的转型和业务产品的创新，其中包括信用风险、客户服务、智能运营以及金融本身的产品。而金融行业在大数据领域里有着较好的场景应用，例如银行、保险、证券等，同时互联网公司在大数据基础上开展金融业务，这些业务跨过银行传统的信贷领域，开始向转账汇款、现金管理、资产管理、供应链金融、支付等领域蔓延。金融跟互联网的融合是一个大势所趋，金融向互联网发展，互联网向金融转型，已经成为整个科技和互联网金融发展的焦点。中国是全球第二大经济国，金融业向实体经济、创新驱动的转型中，利用大数据技术，必将成为中国金融业的新增长点和新亮点。金融大数据类型金融数据从数据类型上进行划分，大致可以分为结构化数据、半结构化数据与非结构化数据三大类。结构化数据结构化的数据来源自金融企业运营数据仓储(ODS)和数据仓库(EDW)。EDW为企业提供分析决策服务，ODS主要实现企业数据整合、共享和准实时运营监控等功能。而通过Hadoop等组件的应用可以将数月前甚至几年前的历史数据进行迁移保存。在分布式存储结构下，结构化数据的存储计算可以得到巨大的改善，可对海量离线数据进行离线分析，将离线数据优势最大化，为金融企业用户打造立体用户画像提供最全面的数据支撑。半结构化数据半结构化数据的整合在数据整合中是最为复杂的。金融企业可对接来源于外部单位所提供的不同类型数据库或Excel等的数据。“打通”多源异构的数据是项目中遇到的最困难的部分，数据整合完毕可快速进行建模分析。非结构化数据金融行业对于非结构化的处理的方法还是比较原始的。非结构化数据涵盖的范围比较广泛，有新闻，视频，图片以及社交网络等数据。金融大数据应用场景从技术角度来看，金融大数据主要分为数据接入、数据存储、数据计算、数据分析四层。目前金融大数据典型的应用场景包括精准营销、舆情监控与股价预测、智能投顾、智能投研、监管科技、信贷风险评估、信息可视化、消费信贷、供应链金融、风险定价、黑产防范等。特别是在监管科技方面，大数据勘称市场风险、非法集资、异常交易等监测利器。金融信贷以前借款需要很长时间的审核，尤其是线下取证、财务报表、抵押担保、审批流程、领导签批、最后借款等环节，根据内在的大数据信用评估和内控技术，能够实现实时计算借款人的信用额度，在信用额度内实现即时放款。这是传统金融领域是难以想象的。而这种快速借款模式，将成为未来互联网金融时代的标准配置。信息可视化帮助双方站在同一个平台上相互模拟、相互评估与相互决策。金融信息可视化已经成为经济分析、管理决策、绩效评价等工作的必备工具，它将始终贯穿于金融活动的全过程。在技术变革的推动下，金融可视化成为未来发展趋势。数据可视化的最大价值并不仅在于直接将数据呈现出来，让人直观地感受到数据，而更在于思维模式和决策方式的转变。可以利用数据的可视化重新定义金融领域的数据模型，判断金融价值模型中的爆发点与增长的关联。管理决策在数据集成的基础上，运用大数据、云计算技术，将数据清洗，处理，然后输入模型，就能还原真实世界，得出精准信息，以此作为决策依据。未来的决策中人主观因素会弱化，大数据提供的信息使得决策更加科学智能化，动态实时化。供应链金融供应链金融的风险控制从授信主体向整个链条转变。供应链核心企业拥有良好的资产、充足的资金 和高额的授信额度。而依附于核心企业的上下游企业可能需 要资金，但是贷不到款。供应链金融可以由核心企业做担保， 以产品或应收账款做质押，帮助上下游企业获得资金。风险控制应用大数据技术，可以统一管理金融企业内部多源异构数据与外部征信数据，可以更好的完善风控体系。内部可保障数据的完整性与安全性，外部可控制用户风险。智能投顾智能投顾业务提供线上的投资顾问服务，能够基于客户的风险偏好、交易行为等个性化数据，采用量化模型， 为客户提供低门槛、低费率的个性化财富管理方案。智能投顾在客户资料收集分析、投资方案的制定、执行以及后续的维护等步骤上均采用智能系统自动化完成，且具有低门槛、低费率等特点，因此能够为更多的零售客户提供定制化服务。金融大数据解决方案微构科技的大数据和人工智能技术在金融行业已经全面服务了多家大型金融机构、保险、证券、互联网金融客户。在金融行业，积累了大数据基础平台、风控、智能营销、用卡欺诈行为识别、交易风险预判、客户画像、实时风险管控、用户信用体系等多个从平台到应用的产品和解决方案的案例，助力金融机构未来基于大数据和人工智能的创新发展。针对金融行业大数据分析的特点，引入大数据平台架构，实现对海量的银行数据、证券数据、保险数据的自动化、高能效、虚拟化和标准化的存储和管理，保证金融行业海量交易数据的安全性、可靠性和高效的运营。金融行业大数据总体系统架构分为五层, 分别是数据层，存储层，计算层，模型层, 应用层。模型层是整个大数据的核心部分，为上层应用提供数据支撑。微构科技金融行业大数据解决方案能全面整合金融数据，具备全面的安全保障、强大的数据计算性能、先进的智能分析、便捷的协作分享等特性，充分发挥出金融大数据的价值。在客户深度分析，市场新业务开发，传统业务运营方面，具有高性价比，易于管理和扩展等特性，效果显著，为金融机构理解客户金融需求，把金融需求转化成金融产品，促建业务快速稳健的发展。金融大数据案例分析中信银行信用卡中心始终坚持"以客户为中心，为客户创造价值"的经营理念，在金融行业的持续化深入经营，在2017年发卡量已达4100万余张，日均产出4亿条消费数据标签。中信银行信用卡中心在客群分析、偏好预测、交易预测、客群推荐等大数据方面需求大幅度增加，同时也对数据分析处理时效与精准度有了更高的要求。微构大数据基于具有超强计算能力的云计算中心平台，针对金融行业大数据分析特点同时结合信用卡业务场景，引用大数据平台架构为中信信用卡中心搭建“智慧分析挖掘平台”。实现对海量的银行数据、证券数据、保险数据的自动化、高能效、虚拟化和标准化的存储和管理，保证金融行业海量交易数据的安全性、可靠性和高效的运营。平台基于卡中心云计算平台，集成了Spark、Python、R、XCBoost等机器学习框架、搭建支持深度学习的自助式数据挖掘分析平台，实现了一键建模和业务自助式挖掘分析，提升了大数据建模时效。智慧分析挖掘平台沉淀和固化了大数据中心历史丰富的客群分析、经营分析经验，打造客户画像智慧分析模块，实现智能化、自动化、可视化分析、提升了分析深度与时效。微构大数据在当前中信银行信用卡中心大数据环境下，通过数据实时采集项目提供统一的数据实时及批量采集、数据存储分发、数据实时消费等功能：实时采集业务数据库数据到消息中间件，批量采集批处理产生的文件到文件系统，为后端的实时计算和批处理提供数据源；统一数据接入方式，数据消费方式，权限控制方式，任务管理方式；通过提供统一的数据采集，数据存储分发功能，对数据库数据，业务日志，后台计算产生的中间数据进行收集，以实现异构数据库实时同步，流计算，数据快速批处理等功能。将业务端产生的数据准实时/批量同步到消息中间件/文件系统，并提供给其它系统进行消费。整个系统架构分为以下几个部分：1. 数据采集层，用不同种类的的agent 对接不同数据源实现数据采集，主要包括：Mariadb-binlog采集，直接sql抽取数据采集，对文件直接采集；2. 消息中间件和文件系统，将采集的数据存用消息的方式进行存储，用于实现消息存储/订阅/消费，同时也支持将采集的数据存储到文件系统上（Ceph/Ftp等），用于块式文件的中转；3. 管理模块，进行元数据管理，用户/权限管理，任务管理，数据质量管理监控；整体性能：1. 支持每日10T/500亿条记录同步，支持节点水平扩展；2. 批量采集：实时方式数据采集-同步到消息中间件，对单条记录，时间控制在5s内；整个批次的延迟不高于文件mp+scp的2倍；客户智慧分析挖掘平台全面服务于新客户获取、客户深度经营、全流程风险防控等领域，极大提升获客精准营销及经营管理效能。金融大数据的挑战与未来金融服务的方式和工具在随着技术的成熟发生变化，但金融的本质不会改变，即解决信息不对称的问题。而大数据恰恰提供了一个解决信息不对称问题的有效渠道。目前金融大数据的应用挑战至少包括三方面。一是金融行业的数据资产管理应用水平仍待提高；二是金融大数据应用技术与业务探索仍需突破；三是金融大数据的行业标准与安全规范仍待完善。相关机构应及时出台促进金融大数据发展的产业规划和扶持政策，并分阶段推动金融数据开放、共享和统一平台建设，强化金融大数据行业标准和安全规范建设。现阶段，“大数据+”产业发展呈现两方面的深度应用，表现在于为用户“画像”，让企业对用户进行细分，提升业务精准度成为热门。未来，除消费产业大数据之外，大数据应用还在向产业互联网方向延伸。大数据应用技术不断开发、完善，越来越多的“数据信息孤岛”被打破，呈现跨行业、跨领域的数据交流与融合。

进入9月以来，中国的大数据行业似乎进入了一个前所未有的“整顿期”，据多家媒体报道，已有多家第三方大数据公司被纳入调查行列。“近来，客户越来越重视隐私保护和数据获取的合规性了，对照半年前，差距真的很大。”陈小阳（化名）是一位律师，大数据公司曾是她的主要客户，这是她近期最直接的感受。据记者了解，对于一般的大数据公司，数据获取来源主要分为三种：第三方机构授权、关联方或场景的数据以及爬虫业务。而关于数据爬取，理论上是有“红线”的，即要求在遵循一定协议和规则下，大数据公司才能实现自动获取网站站点的信息和数据。但现实中，规则往往被忽略或简化，个人信息隐私保护的问题，在大数据公司的发展过程中，被凸显出来。事实上，目前与此相关的法规、立法，已在完善。大数据在经历行业“高光”时刻后，未来如何发展备受关注。就此，新京报记者采访了中国政法大学互联网金融法律研究院院长李爱君，西南财经大学普惠金融与智能金融研究中心副主任陈文，北京大学金融智能研究中心主任助理、《征信与大数据》作者刘新海以及北京金诚同达（上海）律师事务所合伙人彭凯，共同探讨公众关注的大数据话题。新京报：“能力输出”“远离数据”“服务于银行或其他持牌方”，是大数据公司转型方向吗？彭凯：金融领域只是大数据行业覆盖的小小领域之一，大数据的征程和战场是星辰大海。涉足金融领域的大数据服务商，短期策略会是“观望+专供持牌机构”思路，但长期来看，行业整顿出清疏导、立法规范落地实施、监管自律持续进行，大数据行业未来必然有新的业务点和增长点，但一定是在规则框架内进行，也会有越来越多的正规军涉足该领域。陈文：开始有观点提出大数据公司转型服务银行或者持牌方。但是其中有一个问题，在服务的过程中，大数据公司是不太可能完全远离数据的，因为你没有数据支持，目前看是没法有效服务机构的。但在一个相对明确的游戏规则下，大数据公司更好地去运用这些数据，才能提升自己对数据的挖掘能力以及对机构的服务价值。新京报：如何看待中国大数据行业的未来？陈文：随着社会生活线上化，这种所谓的数据留痕的价值会越来越大，大数据行业的未来可期。当下大数据行业其实是有原罪，尤其是在关于数据确权、数据隐私、数据交易等各方面都没有一个明确的游戏规则情况下，所谓的原罪很难避免。实践在往前走，学界也在跟踪研究大数据的隐私、确权，包括定价，交易机制。这样才能够有助于整个数据产业链游戏规则的最终成形。刘新海：大数据产业的发展阶段，经历了原始资本积累、野蛮生长，现在到了开启创新阶段新发展的时候。对照国外的大数据公司发展历程，我们国内目前大量的大数据公司，主要还是以数据买卖为主，深入的应用，还是比较薄弱的。未来真正的大数据公司，应该是具有创新的商业模式、场景应用、模型开发；大数据是需要与多样的场景应用、真实的商业需求具体结合起来的。目前的大数据公司往往还是千篇一律，过分聚焦于金融信贷领域。李爱君：从数据资源、数据应用的场景以及我国的文化习惯等方面而言，中国大数据公司是具有发展优势的。只要我国数据应用技术不落后于其他国家，在保证数据安全的情况下，公平有序的开发和应用就一定会发挥出大数据应有的优势。新京报记者 黄鑫宇 编辑 李薇佳 校对 杨许丽

企创网：近年来，中国金融业发展迅速，从传统金融到新金融领域，从支付到理财信贷再到技术应用，金融与新兴科技的融合发展推动了一波又一波新浪潮。随着国内金融行业整体监管趋严，金融科技公司为获得更加广阔的发展空间，纷纷出海，寻求新的发展机遇。对于金融科技出海，读者或许有这样的困惑：金融科技出海是什么？在众多的国家和地区中，如何选择展业市场？应该向海外输出什么产品或服务？金融科技出海将面临怎样的挑战，未来又会是怎样的发展趋势？亿欧智库希望通过《2019金融科技出海研究报告》解答上述问题，帮助出海企业、投资人以及每一位关注金融科技出海的读者，对金融科技出海有一个客观、理性的思考。什么是金融科技出海？“出海”是近年来中国企业开展国外业务时频繁提及的概念，但其目前尚无广泛认同的定义。经过与行业专家和业内人士广泛探讨，亿欧智库认为：出海指中国企业关注海外市场的发展机遇，基于中国的业务模式和技术应用，向海外市场拓展产品和服务的行为。关于出海与全球化的关系，亿欧智库认为：出海是全球化3.0阶段中国走向全球化的新征程。在出海定义的基础上，亿欧智库对金融科技出海进行了界定，认为主要特征有三点：一、立足中国。业务发展之初，在中国注册成立公司，包括设立公司、输出技术和经验、海外创业三种形式。二、拓展海外市场。在海外市场中发展金融科技产品和服务。三、实现与目标市场共赢。与目标市场在金融科技产品和服务等方面共同发展。金融科技出海企业如何选择展业市场？基于联合国对世界地理划分的七大区域，并根据各区域的互联网普及率、经济社会发展水平、金融基础设施建设情况和金融科技发展情况，亿欧智库将这七大区域分为发达市场和新兴市场两类进行分析。发达市场互联网普及率高，经济社会发展水平高，金融基础设施建设完善，金融科技发展成熟。在地理区域上，包括北美和欧洲与中亚地区。新兴市场互联网普及率相对较低，经济社会发展水平增速高，金融基础设施建设逐步完善，金融科技尚未形成稳定的发展格局。在地理区域上，包括东亚与太平洋地区、南亚、中东与北非地区、撒哈拉以南非洲地区和拉丁美洲与加勒比海地区。在报告中，亿欧智库从海外市场的经济社会发展水平、金融基础设施建设和金融科技发展现状三个维度，对每一个市场的发展概况进行了具体研究。以东亚与太平洋地区为例：经济社会发展水平：经济、健康和教育发展在新兴市场中位于前列，但人口增长较为缓慢，整体经济社会发展水平在新兴市场中较高。金融科技发展现状：东亚与太平洋地区总体金融科技发展处于起步阶段。从金融科技企业数量来看，新加坡、印度尼西亚和马来西亚的金融科技发展较好，此外各国的发展也各有侧重。从发展领域来看，东亚与太平洋地区国家多以发展支付为主，具体发展情况与中国2012年前后相似度高，所以一定程度上可以借鉴中国近年来的发展模式。金融基础设施建设：支付体系方面，以现金为主要支付方式；政策监管方面，借鉴欧洲的监管机制，推出金融科技监管沙盒；征信风控方面，征信系统数据难以匹配，征信体系尚不完善。应向海外输出什么产品或服务？从当前金融科技出海发展情况来看，中国金融科技公司出海主要有自营、参股控股和合作三种模式：自营，在海外设立分公司，获取相关业务牌照，自行在海外运营和拓展业务；参股控股，以投资并购的方式，入股当地公司，实现业务和场景在海外的布局；合作，在海外设立合资公司，输出商业模式，与当地公司共同经营和发展业务。从金融科技出海领域来看，中国金融科技公司主要经历了从产品输出、复制中国模式到技术输出、注重本地化运营的出海进程。在总体的金融科技出海发展中，首先是支付公司拓展海外业务，通过投资并购、战略合作等多种方式打开海外市场，在各个国家建立金融基础设施的支付体系；紧随其后，理财借贷公司依靠在国内相对成熟的商业模式，借鉴支付公司的出海路径和发展模式，开拓国际市场；而后，基于中国多年技术积累产生的实力，一些互联网头部公司和金融科技公司选择输出经验和技术，以科技赋能金融发展。亿欧智库认为，随着金融科技出海发展进程的进一步加快，提供技术服务、以科技赋能金融的出海模式将成为未来金融科技出海的主要发展方向和利润增长点。此外，亿欧智库梳理了蚂蚁金服、腾讯金融科技、度小满金融和京东数科这四家头部公司的金融科技出海布局，并对其金融科技出海战略和发展历程进行具体研究。金融科技出海的挑战和未来发展趋势？相较于发达市场完善的金融科技发展格局和更高的竞争壁垒，新兴市场拥有较大的人口红利，且经济社会发展水平增速高，金融基础设施建设逐步完善，尚有广阔的金融科技市场等待开拓。在新兴市场，部分国家政治局势不稳定会带来金融风控的难题，不同国家在监管力度和政策制定方面存在差异。此外，如何处理好政府关系、实现本地化发展、聘用金融科技人才，也是金融科技出海企业发展面临的难题。展望未来，亿欧智库认为，在出海模式方面，与当地金融机构合作将成为中国金融科技公司首选发展模式；在出海领域方面，提供技术服务、以科技赋能金融将是未来主要发展方向；在出海领域方面，东亚与太平洋地区和南亚仍有持续发展的空间，拉丁美洲与加勒比海地区或将成为下一个金融科技出海爆发地。报告来源：亿欧智库

大数据在金融领域的应用远不止如此，银行、保险、基金、证券等领域均有广泛的市场，一般有精准营销和大数据风控两个方面。业内人士建议，通过大数据挖掘金融价值，使数据资产成为金融机构的核心竞争力。再复杂的其本质也简单，金融大数据的运用与发展就是其一。近来网贷平台频暴雷，根本原因除了外部监管趋严、市场利空、经营不善以外，不外乎资金错配、假标盛行、借款人恶意欠债等，这些原因用简单的办法就可以得到解决：其中大多可以通过大数据征信来解决信息不对称。而大数据征信是利用数据分析和模型进行风险评估，依据评估分数，预测还款人的还款能力、还款意愿以及欺诈风险。在金融风控领域，大数据指的是全量数据和用户行为数据。大数据在金融领域的应用远不止如此，银行、保险、基金、证券等领域均有广泛的市场。大数据在金融领域应用：精准营销和大数据风控据苏宁金融研究院高级研究员薛洪言介绍，大数据在金融领域的应用，一般有精准营销和大数据风控两个方面。薛洪言表示，精准营销是基于行为数据去预测用户的偏好和兴趣，继而推荐合适的金融产品。对于大数据风控，其逻辑便在于“未来是过去的重复”，即用已经发生的行为模式和逻辑来预测未来。这意味着，随着随机事件的大量发生，是可以发现其内在规律的。而大数据里包含的海量数据，为我们发觉隐藏在随机事件后面的规律提供了条件。而大数据风控的两个应用，信用风险和欺诈风险，背后都是这个逻辑，通过分析历史事件，找到内在规律，建成模型，然后用新的数据去验证和进化这个模型。贵阳大数据交易所执行总裁王叁寿告诉中国经济时报记者，截至2017年底，中国网民规模达到7.72亿，手机网民规模达到7.53亿。随着我国加快IPv6、5G的商用部署，数据总量将呈现爆发式增长。从某种角度而言，数据详实记录了发展中的世界，而大数据使未来复现成为可能。大数据是无限循环、无限复制的绿色资源，应用次数越多，其价值越大，将会颠覆未来很多产业的竞争模式。对于当前而言，大数据是国家基础性战略资源、创新生产要素、是21世纪的“钻石矿”；对于未来而言，大数据是“活化石”。大数据应用水平正成金融企业竞争力的核心要素至于金融大数据的未来，有分析称，数据驱动金融将是一种趋势，谁掌握了大数据，金融营销、金融风控就会胜出。中国支付清算协会业务协调部丁华明认为，一个关键的因素是大数据应用水平正在成为金融企业竞争力的核心要素。金融的核心是风控，风控以数据为导向。金融机构的风控水平直接影响坏账率、营收和利润。目前，金融机构正在加大在数据治理项目中的投入，结合大数据平台建设项目，构建企业内统一的数据池，实现数据的“穿透式”管理。在大数据时代，数据治理是金融机构需要深入思考的命题，有效的数据资产管控，可以使数据资产成为金融机构的核心竞争力。普华永道的研究报告显示，83%的中国金融机构希望投资大数据。金融行业对大数据的需求属于业务驱动型。其迫切希望应用大数据技术使营销更精准、风险识别更准确、经营决策更具针对性、产品更具吸引力，从而降低企业成本，提高企业利润。随着更多金融机构基于大数据获得丰厚的回报，将进一步打消其顾虑，加速大数据的普及。上述报告还称，各级政府正推动金融行业数据整合、共享和开放。国务院《促进大数据发展行动纲要》提出，到2018年，中央政府层面实现金税、金关、金财、金审、金盾、金宏、金保、金土、金农、金水、金质等信息系统通过统一平台进行数据共享和交换。国家还通过推动建设各类大数据服务交易平台，为数据使用者提供更丰富的数据来源。数据越关联越有价值、越开放越有价值。大数据的发展需要所有组织和个人的共同协作，将个人私有、企业自有、政府自有的数据进行整合，把私有大数据变为公共大数据。金融数据安全问题也越来越受到重视。大数据的应用为数据安全带来新的风险。数据具有高价值、无限复制、可流动等特性，这些特性为数据安全管理带来了新的挑战。对金融机构来说，网络恶意攻击成倍增长，组织数据被窃的事件层出不穷。这对金融机构的数据安全管理能力提出了更高的要求。大数据使得金融机构内海量的高价值数据得到集中，并使数据实现高速存取。但是，如果出现信息泄露，可能一次性泄露组织内近乎全部的数据资产。数据泄露后还可能急速扩散，甚至出现更加严重的数据篡改和智能欺诈的情况。2018年是金融行业监管大年，“防风险”依然是行业发展主旋律。“近年来大数据风控越来越受重视，越被市场认可，我们越要做好风险防控工作，合规发展。”百融金服副总裁陈雷指出，不仅金融业务要合规经营，大数据风控行业也要合规发展。以当下正经历暴雷潮的网贷行业为例，陈雷认为，以P2P为代表的互联网金融原来只要“有胆量”就能发展起来的时代已经过去了，现在是需要拥抱科技的时代，要通过大数据挖掘金融价值。>

金融行业和大数据共建新一代“数据驱动型”金融企业，优化运营效率，提升管理水平，最大程度降低金融风险。金融业的现状如何？大数据是继云计算、物联网之后IT产业的又一次技术变革。所谓“大数据”，就是公司在日常运营中生成、累积的用户网络行为的数据。这些数据的规模庞大，以至于不能用GB或TB来衡量。随着金融企业数字化转型，金融企业对于自身大数据的需求越来越明显，场景也越来越具体化。虚拟化及电子化交易，成为大数据时代金融行业发展的特征。能否充分利用自己的数据优势，将成为金融机构转型升级的关键。因此，积极针对大数据布局，从战略层面应对大数据时代的挑战，推进并建立起数据驱动型发展方式的金融机构，将获得比同业更高的效率。从而，有效提升交叉销售、投资管理市场份额及能力，并由此培育出自己的信息核心竞争力。“大数据”为金融企业带来什么？以前，人们只把“数据”看做是客户来办理业务过程中所产生的一种附属物。现在，在客户办理业务的信息中，蕴含着客户各种各样的需求，如果把成千上万条这类的信息积累下来，就能精准地洞察客户需求，从而设计出满足客户需求的新产品，实现个性化营销。可见，数据已成为企业的核心资产，掌控数据就可以深入洞察市场，从而做出快速而精准的应对策略，这也就意味着巨大的投资回报。企业战略也将从“业务驱动”转向“数据驱动”，数据化决策是企业未来的发展方向。对数据进行有效的管理和运用，能使企业在转型变革过程中拥有绝对的核心竞争力。过去很多企业对自身经营发展的分析只停留在数据和信息的简单汇总层面，缺乏对客户、业务、营销、竞争等方面的深入分析。如果决策者只凭主观与经验对市场进行评估而制定决策，将导致战略定位不准，存在很大风险。在大数据时代，企业通过收集、分析企业内部和外部的数据，获取有价值的信息。通过挖掘这些信息，企业可以预测市场需求，进行智能化决策分析，从而制定更加行之有效的战略。大数据最至关重要的方面，就是它会直接影响企业怎样做决策、谁来做决策。在信息有限、获取成本高昂的时代，让身居高位者凭借个人经验和直觉做决策，情有可原。但是，在大数据时代，就要让数据说话！永洪的解决方案永洪为金融企业提供战略与战术兼备的解决方案。业务架构面对大数据的挑战，在战略层面上，金融企业应当建立“数据驱动型”发展模式，完善数据运营体系，落实大数据运营中心；在战术层面上，通过运营优化、管理提升、风险控制等应用，全面提升金融核心价值和竞争力。图 | 银行大数据运营中心建设架构图银行大数据运营中心建设的当务之急应该围绕运营优化、管理提升、风险控制三大建设目标，主要体现为:1、以用户数据为核心的运营优化，通过客户画像、精准营销、产品优化、舆情分析、市场和渠道分析，全面提高运营效率。 2、以投入产出与价值贡献为导向的管理提升，通过绩效考核、领导驾驶舱、管理会计平台等应用真正实现精细化管理。 3、利用多维度的安全判断和更细粒度的建模及预判，实现中小企业货款评估、实时欺诈交易分析、反洗钱业务分析等应用，加强对商业银行风险的识别、评价和预答，有效防范金融风险。技术架构图 | 永洪科技MPP数据集市架构图从数据源到最终展现分成如下几层——·ETL层:采用PC server作为ETL前置机，将数据清洗、转换、装载。·离线分析计算平台:采用Hadoop分布式存储，支持结构化和非结构化数据存储，并且当数据量增大时方便横向扩展(Scale-out)，可将存储层的数据进行加工。根据分析需要，可进行数据模型计算、挖掘分析等时效性低的大规模批量计算任务。·实时在线分析平台:采用永洪高性能MPP数据集市作为介质。MPP分布式的数据集市支持高并发和高可用，每个数据集市是基于一个主题做好轻量建模的细节数据，数据被分布式存储在每个节点上，同时又做好了备份。数据按照列存储的方式，被高效压缩，打好标签，存储在磁盘中。当需要查询计算时，采用内存计算来进行数据计算，并且每台机器节点会同时计算，最终会将结果送应用层做展现。·应用层:利用永洪敏捷BI提供自服务分析工具，对离线和在线分析平台中的数据进行自服务可视化展现。无论是终端用户还是IT开发人员都可以通过主流浏览器来访问BI系统，用户还可通过移动终端来访问系统。BI系统提供系统监控、权限多级管理、多维数据分析等功能，同时还支持自服务式报表设计和数据分析。永洪方案的价值1.高性价比，低TCO整个系统架构，摒弃了传统系统常见的向上升级(Scale-Up)思想，不管是数据集市还是BI前端，都支持横向升级(Scale-Out)。随着企业的业务增长，数据分析需求都会大幅增长，基于X86 PC Server集群的平台架构十分关键。在这种架构下，我们不用采购昂贯的小型机去支撑高并发、海量数据计算和数据分析业务的发展，而是采购多台普通的PC Server搭建集群，建设高性价比的分析平台。2.敏捷：快速发布，持续迭代，拥抱变化数据层敏捷:数据层无需做数据的预先汇总计算，只要将数据关联做好，导入的数据还是细节数据，所有的计算都是在用户点击时发起的实时计算。因此，数据层只需再建立一个轻量模型，导入新需求的细节数据即可。应用层敏捷:采用灵活的ROLAP机制，每个点击发起的需求都会实时拼出SQL，送给计算层去计算，比较容易适应业务变化。模块层次少，建模完就可以直接设计报表和Dashboard，或进行探索式分析。对终端用户来说，也非常简单易用。3.自服务式和探索式多维分析基于主题的集市，已经将物理表结构在语义上转义成便于理解的逻辑结构，终端用户通过拖拉拽的方式可以轻松自定义报表或仪表盘。前端系统具备过滤、钻取、缩放、关联、变换、动态计算、链接等交互和分析能力，用户可以通过其发现问题、找到答案，做出商业决定，形成探索式的分析。4.高可用性离线分析平台和在线分析平台都是分布式架构。数据存储是分布式的，数据的计算也是分布式的，还带有备份机制和监控机制。当某一台机器宕机，其他机器会自动承担所有计算。该分析计算平台应用广泛，即使客户数据量达到上百T，依旧运行稳定可靠。该分布式数据集市支持对计算和存储节点进行热插拔扩展，可以从一个节点扩展到几十个甚至上百个节点。5.高并发性在线分析平台支持高并发。永洪的分布式数据集市，是列式存储的，采用良好的内存计算技术，可基于多台存储和计算节点并行工作，非常适合海量数据的实时数据分析。永洪BI操作起来十分简单，只需点击拖曳几下分析指标，系统就自动生成了所需报表。这极大地方便了该行那些没有技术背景的业务人员和运营人员独立自主地完成大数据分析操作，让决策者的任意需求都可以在一天内实现。它真是一个高性能的行长驾驶舱系统。——中信银行IT科技部 他们都在用Yonghong服务美的 | 格力 | 联迪 | 海天 | 科达泰康保险 | 佰仟金融 | 华夏银行宝宝树 | 艾瑞集团 | 猎聘 | 伊美尔浙江电力 | 太原电力 | 锦程物流人人都是数据分析师BI可视化和分析可视化入门教程从入门到精通，数据分析师必看的14篇文章可视化图表入门教程 | 三步制作一张动态报表