前言近年来,随着人们的数据意识和数据素养不断提升,商业智能和数据分析领域迎来了快速发展期,据Gartner商业智能报告统计,到2020年全球的商业智能市场容量预计将达到228亿美元。同时,大数据、人工智能、机器学习、深度学习等技术的快速发展,也促进了商业智能和数据分析产品的新一轮进化。Gartner分析师认为,到2020年,自然语言生成和人工智能将是90%的新BI平台的标准特征,50%的分析查询将使用搜索、自然语言处理,或语音生成,或将自动生成。但我们必须认识到,我国商业智能的市场特征、企业需求、关注点、发展阶段均与国外有所不同,以Gartner为代表的分析机构并不能准确描述我国商业智能行业的实际状况。针对这一问题,帆软数据应用研究院调研了规模不一的216家企事业单位,了解到他们的大数据BI应用状态、需求情况、对大数据BI产品功能的期待,同时基于帆软数据应用研究院对行业的长期观察和思考,形成了该篇报告。主要预测:2018年,中国大数据 BI 产品将主要在自助分析的可操作性和功能丰富度、平台的安全性、数据管理能力、分析的共享能力、数据挖掘能力、大数据处理能力六大功能模块进行提升。一、2018年中国商业智能行业发展分析(一) 行业总体形势向好在当前经济环境下,企业盈利的压力和难度不断增加,越来越多的企业,尤其是一、二线稍具业务规模的企业,其高层都希望通过精细化运营提升市场竞争力,降低企业的运营成本。这些企业绝大多数都已经在2008年~2015年间上线了各种业务系统,存储了大量管理和运营数据,具备应用大数据BI进行数据分析和数据化管理的各种条件,这些需求将在2018年~2022年继续爆发。值得注意的是,艾瑞咨询在《2017年中国商业智能行业研究报告》中指出,我国已经进入商业智能领域第一方阵,成为发展最快的国家之一,但和美国还有比较大的差距。所以未来中国大数据BI行业总体将呈现加速度增长,市场容量将不断扩大。(二) 大数据BI厂商马太效应显现马太效应是指强者越强,弱者越弱的现象,国内BI行业的马太效应已经显现。据帆软品牌部调研数据显示,处于行业第一梯队的帆软、Tableau、微软PowerBI的品牌知名度和市场份额与其他厂商进一步拉大。帆软2017年全年营收2.77亿,远超其他国内厂商之和。同时帆软销售部反映,2017年度销售跟单中遇到的竞品种类和数量均较2016年有相当大幅度的下降。BI行业出现马太效应实属必然,综合实力强大的厂商更能投入资源做好产品、服务,解决更多用户的需求和问题。可以预见,2018年中国BI行业马太效应将进一步增强,逐步淘汰掉实力弱、规模小、产品差的企业。(三) 新型自助式BI与传统型BI平分秋色得益于敏捷、自助的特征,从2013年起新型自助式BI迎来了高速发展期,这一时期也是传统型BI的衰退期。2017年,传统型BI与新型自助式BI在国内市场中平分秋色。受访企业中,约50.2%的企业仍然在使用传统型BI,其中最典型的需求是企业常规日报、月报等汇总分析报告。约49.8%的企业应用新型自助式BI,通过报表平台+自助式BI+大数据底层平台的解决方案,来解决企业综合的数据展示和分析需求,形成经营和战略决策。在调研中我们注意到,约有18%的企业引进了新型自助式BI,部分或全部替代了传统BI。虽然传统型BI尤其自身优势和应用场景,但随着新型自助式BI的不断发展,传统型BI必将逐渐退出历史舞台,从国际传统BI巨头积极调整产品结构可见一斑。二、2017年中国商业智能用户状况分析根据企业的IT人员和业务人员在数据分析中的工作量和投入程度占比,我们将BI用户(企业)划分为5大类型,即BI应用金字塔模型,以更好的统计、分析企业的BI应用状况。(一) BI应用金字塔模型1. IT完全主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成95%以上的BI分析页面(注:主要是指用于生产、经营、管理会议所需要的数据分析页面,下同)的开发。业务人员仅负责前端数据查看,完成查看报表时相关联动钻取操作。调研中我们发现,处于“IT完全主导型”这一等级的企业,约有93.2%都在使用传统型BI工具,企业的业务人员基本没有能力,也没有需求去自主完成数据分析的工作。这些企业的业务变革并不剧烈,企业管理层认为当前的日常数据报告能够满足企业管理和决策的需要,相对缺少变革的动力。2. IT强主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成80%~95%数量的BI分析页面。业务人员完成低于20%数量的BI分析页面。从调研数据来看,这类企业中,67.5%的企业认为当前业务人员不具备数据分析的能力。而企业需要快速完成部分数据分析工作,所以选择让IT人员更多承担工作。这类企业中普遍认为,商业智能产品本身并非能够快速上手,且业务人员仍需要统计学基础,阻碍数据分析工作从IT人员向业务人员的转移。3. 业务强主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成前期示例不超过20%数量的BI分析页面。业务人员完成超过80%数量的BI分析页面。从调研数据来看,这类企业中,超过80.2%是曾经推行传统BI的企业,并且部分业务人员是有较高学历和能力的,能够学习和掌握商业智能工具和数据分析技能,并愿意在工作中积极使用;从帆软数据应用研究院的实地走访的部分企业来看,这些企业普遍行业排名靠前,公司从高层就重视数据分析工作。4. 业务完全主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的部分相关工作。业务人员完成95%以上数量的BI分析页面和相当部分BI工具层面的数据模型处理。相比于第三类使用人群(业务强主导型),这类用户的一大特点是业务变革十分迅速,从事业务工作的人员学历普遍较高,业务经营和发展需要企业快速做出决策。而基于数据分析得出的业务判断相比个人历史经验准确度更高,是这类企业基本共识。比如在新兴的互联网企业,或者新零售领域,这个特点尤为突出。5. 智能自助型其典型特征为,IT人员只做底层数据仓库、数据连接、数据字典相关工作。业务人员处理所有BI工具层面的数据处理,以及所有BI分析页面。IT人员搭建数据中心,业务人员完全自主处理和分析数据,这类企业有着明显的资源密集型的特点,业务人员更多的是偏向运营相关的工作。当然,因为此类受访企业占比较少,原因分析的可信度还有待进一步调研来核实。(二) BI用户状况分布基于BI应用金字塔模型,2017年企业分布如下;从调研数据中,我们可以得出两大结论。1、IT人员主导企业数据分析的模式仍占据主流,也就是IT驱动仍是2017年企业商业智能平台应用现状。从数据调研的受访企业来看,有高达60.5%的企业的数据分析工作仍是第二类型(IT强主导型),甚至有21.5%的企业的数据分析工作处在第一类型(IT完全主导型),这显然和业务人员自助数据分析的目标距离遥远。2、新型自助BI正在成为商业智能市场的主流。17.5%的企业是在2017年上线了新型自助BI,实现了让少部分业务人员自助完成BI数据分析的目标。三、2018年商业智能用户需求分析(一) 企业多级部门数据分层次IT权限和平台管控,占受访企业97.6%需求描述:BI工具支持企业的多级部门的数据/分析页面权限管控,使得不同层级的部门机构只能看到本部门机构和辖属部门机构的数据/分析页面。需求产生的原因:有的信息中心为释放压力,放权给业务部门使用数据,一旦口子打开,数据缺口就会像洪水一样泛滥,就又会走向另外一个极端,导致放权下的数据管理混乱,数据口径不统一,部门之间的数据壁垒等等问题就会出现,同时这将给企业带来极大的数据安全隐患。满足该需求对企业的价值和意义:在满足业务部门BI数据自助分析的同时,兼顾企业的数据权限管控,形成企业以IT部门集中管理下的良性数据分析风貌,杜绝企业数据安全隐患。(二) 业务人员可通过BI工具进行自助数据分析,占受访企业94.5%。需求描述:业务人员可以在浏览器前端,对自己权限范围内的数据进行多维拖拽探索和自助分析,发掘隐含在数据中的业务价值。需求产生的原因:企业的传统信息化建设中,IT信息中心对公司数据进行高度集中的管控,来自企业各职能部门的数据处理以及报表就会全部由IT人员来输出,一旦业务部门需求集中扎堆,就会造成响应不足,业务部门怨声载道。信息中心自身成员熬夜加班做报表,成就感却很低。满足该需求对企业的价值和意义:通过高效灵活的BI工具,业务人员对自己权限范围内感兴趣数据进行多维拖拽探索和自助分析,以工具简单易上手的低学习成本,让真正对分析业务价值最熟悉的业务人员实现自助数据分析探索,最大化业务数据的分析维度和分析效率,灵活发掘数据中可能潜在的业务价值,同时也解放了IT人员的劳动力,降低企业人力成本。(三) 可快速搭建型自助BI业务数据模型,占受访企业87.5%。需求描述:数据库表中的数据需要基于业务分析主题进行分类管理,相关数据表之间支持手动/自动构建关联模型,同时建立的关联模型支持灵活应用,无需反复编辑修改或创建新的模型,一次建立即可灵活满足多重业务场景进行数据分析使用。需求产生的原因:传统BI工具创建的底层数据关联相互独立,无法重复利用,一旦遇到新的业务数据计算分析场景,数据关联就需要修改或重新创建,极为麻烦,非常不利于IT人员维护。满足该需求对企业的价值和意义:通过BI工具快速构建的新型自助式BI业务数据模型,较传统BI工具针对不同业务分析场景需要多次、重复建模的应用痛点,极大地提高了BI工具的企业中业务数据分析应用的效率,解放了以往IT人员对数据维护的压力。(四) OLAP多维分析:上卷、下钻、旋转、切片、联动、跳转等,占受访企业84.5%需求描述:BI工具支持强大的页面OLAP多维分析功能,包括分析视角的上卷、下钻,维度的旋转切换,指标的切换,分析数据的切片过滤,组件之间的联动过滤、页面超级链接跳转等。需求产生的原因:随着业务发展的复杂化,单一角度的数据分析往往难以再发掘出更多有价值的潜在业务信息,取而代之的是需要BI工具能够满足强大的页面OLAP多维分析功能。满足该需求对企业的价值和意义:通过BI工具强大的OLAP多维分析功能,以实现多角度、多关联数据之间的数据无限层次探索分析,发掘出数据中潜在的业务价值。(五) 大数据处理性能处理能力达到十亿数据秒级响应,占受访企业63.6%需求描述:BI工具可支撑处理亿级以上大数据分析计算的秒级响应,提供多维加速引擎对传统关系型数据仓库(SQLServer、Oracle、Mysql等)进行数据提速处理,同时也支持实时对接企业大数据平台(Vertical、Kylin、Greenplum等)进行数据分析计算。需求产生的原因:一方面,传统关系型数据库在面对上亿级别以上数据量时,容易出现性能瓶颈,长时间的查询等待往往会导致业务数据分析效率太低。另一方面,当今信息化水平飞速发展,越来越多的企业已经有了自己的高性能大数据平台,对于这部分企业来说,拥有一款能够直接对接大数据平台进行数据分析的工具尤为总要。满足该需求对企业的价值和意义:BI工具提供的强大数据计算处理引擎,能够降低企业数据查询等待时间成本,提高业务数据分析效率。同时,通过直接对接企业大数据平台,还可满足企业实时数据分析的需求。(六) 业务人员可完成工具层面的零代码数据加工处理工作,占受访企业57.5%。需求描述:BI工具可通过快速易上手的交互方式,让业务人员也能完成工具层面的零代码数据加工处理工作,例如例如表合并、分组统计、结构数据分层、过滤、增加列、同比环比、累计值、所有值、公式运算等数据清洗和数据处理方法,实现对数据的无限层次多维透视分析统计。需求产生的原因:当业务需求相对偏复杂时,简单的维度和指标统计往往无法直接计算出业务所需要的计算结果,以往的处理方式往往可能是业务部门提需求给IT,然后IT经过SQL或者代码对底层数据表加工处理,然后最终导出一张excel数据表给业务部门,期间的反复沟通和等待时间往往降低了企业的业务数据分析应用效率。满足该需求对企业的价值和意义:通过BI工具,使得业务人员也能快速实现对数据的无限层次多维透视分和析加工统计,降低了传统模式下的沟通成本和等待时间,提高了企业业务数据分析的应用效率。(七) 移动端数据分析查看支持,占受访企业44.9%需求描述:BI工具支持移动端数据分析多维分析查看功能(兼容PC端的上卷、下钻、旋转、切片、联动、跳转等),对于BI工具的应用app支持便捷的扫码登陆、离线查看、批注、分享等功能,同时满足某些社区平台如微信、钉钉的企业公众号集成。需求产生的原因:在当今这个移动设备便捷时代,仅仅PC端的数据分析已经不能满足某些特定时间和场所的业务分析需求了,而BI对移动端的支持已经成了必然要满足的功能点。满足该需求对企业的价值和意义:通过移动端的BI分析查看,使得数据分析不仅仅局限于PC端,较大地增强了数据分析的便捷性。同时微信和钉钉的集成接入,让业务通过社区平台也能直接查看想要的数据分析页面,更是为移动端数据分析锦上添花。四、中国大数据BI产品功能预测结合用户需求调研,和我国BI厂商的产品计划研究,2018年如下六个大的功能模块将会得到增强。(一) 提升自助分析的可操作性和功能丰富度为满足业务人员可通过BI工具进行自助数据分析的需求,中国大数据BI产品需要改善自助分析的功能和可操作性,包括图表的丰富性。前端布局自定义搭配,让业务人员随心所欲布置。比如仪表板自由布局,可快速拖拽生成所需要分析的页面;在全面支持常见的柱状图、条形图等图形基础上,增加支持中国(世界)地图、GIS地图、桑基图等大数据图表;为了适应更加多样的用户,大数据BI平台需要支持强大的OLAP多维分析功能,包括分析视角的上卷、下钻,维度的旋转切换,指标的切换,分析数据的切片过滤,组件之间的联动过滤、页面超级链接跳转等。业务人员在OLAP多维分析的基础上,能够在数据分析查看时,再次对所有维度进行二次的维度指标加工,并无限层次多维透视分析统计,全面开放业务人员对数据的处理和分析操作,以满足当前中国用户多个视角、多个层级的分析需求,把传统业务分析的智慧充分沉淀到数据分析系统中来。为了给不同用户提供个性化的视觉体验,大数据BI平台支持表格动态数值预警功能和图形设置动态警戒线,支持图表样式风格自由拖拽调整。同时,也需要大数据BI平台智能自动设置预警值和样式风格等。(二) 提升平台的数据挖掘能力为满足企业业务人员自助数据分析和自动挖掘的需求,中国大数据BI产品需要在已有的数据可视化和数据分析的功能基础上,增强数据自动挖掘能力,使业务人员在能够掌握挖掘基本概念的基础上,深入挖掘分析业务数据,为业务运营提供数据结论支持。大数据BI平台需要支持嵌入式高级分析功能,用户能够轻松使用平台内置的高级分析功能,也可以通过导入和集成外部开发的高级分析模型。比如平台内含数据挖掘常见算法(如线性预测、时序预测、聚类、分类等),或者提供外接其他数据挖掘平台和工具的可视化接口(如R语言或者Python语言),甚至内含适合特定业务场景的挖掘模型 。(三) 提升平台大数据处理能力为满足企业对大数据BI平台实时响应的需求,中国大数据BI产品需要将当前大数据处理能力提升一个量级,达到10亿数据量秒级响应水平,同时支持丰富多样的数据源。大数据BI平台需要支持丰富的数据源,如企业主流的关系型数据库、大数据平台、NOSQL数据库以及多维数据库,需要支持实时对接数据平台和分布式引擎拓展,同时支持跨数据源关联,同时支持对较大级别数据量进行数据抽取和索引建模,提高数据分析效率。(四) 提升平台的数据管理能力为了满足中国企业业务人员用户对数据处理的需求,中国大数据BI平台需要提升自身的元数据管理能力、数据的ETL处理能力、数据存储能力。提高元数据管理能力,使得用户能够集中管理元数据,包括对元数据进行检索、提取、处理、存储、分享复用和对外发布。中国企业的业务人员将需要在数据分析的过程中,直接操作经过IT人员标准化处理的元数据。近几年来,中国数据分析人才迅速增加,企业中也成长出一批有一定数据分析能力的业务人才,这些中国企业业务人才更多的是需要对数据进行ETL处理和存储,这就需要平台功支持用于查询、提取、转换和加载的功能,具有索引、管理、调度数据的能力。(五) 提升平台分析的共享能力随着ERP、OA、MES、HIS等常见业务系统的完善,企业少则数十套IT系统,多则上千套系统。新型自助BI需要能够与多个系统同时融合,全面分析企业的业务数据。这就需要中国大数据BI产品需要加强产品与不同软件系统的集成融合能力,这是中国企业面临的共同难题。大数据BI平台需要支持嵌入式部署,如主流的应用服务器,支持跨平台的权限集成和页面集成。大数据BI平台不同用户创建的分析页面,可以方便地分享给其他成员。同时,在企业的分析用户设计仪表板时,可以复用仪表板中的图表、维度、指标等,支持用户分享指定页面进行给其他部门成员,便于互动沟通交流。为满足企业人员实时办公、互通信息的需要。大数据BI平台还需要支持移动端上共享和查看分析结果,支持在移动端对分析结果进行数据层级钻取穿透、联动等。(六) 提升平台的安全性为了满足企业多级部门同时使用、不同权限的功能,中国大数据BI产品除了要提供灵活丰富的用户管理功能、权限控制功能,还需要内置强大的用户行为监控与分析功能,确保企业的数据安全和信息保密。大数据BI平台将支持持批量导入用户,支持同步企业统一权限管理数据库中的用户,以企业IT系统统一的用户管理方式进行用户管理。支持用户以企业IT系统统一的用户权限认证方式进行权限管理。同时,需要支持短信平台功能,并可用于用户账号身份验证等,多种用户和权限管理方式,来满足广大中国企业的不同的安全级别要求和安全管理策略。随着大数据BI在中国的发展,中国企业自身的大数据BI平台已有众多员工账号。这就对大数据BI平台提出新的挑战,除了要拦截非法用户,还要对大数据BI平台有效用户进行有效监控。2018年,大数据BI平台需要支持监控用户的操作行为,支持监控页面被访问的频次、访问来源,甚至是支持监控访问到的数据范围。为了保证大数据 BI平台系统持续支持企业经营管理,需要大数据BI平台支持系统数据迁移到企业数据库,支持对系统进行备份与还原,备份可以手动或设置周期定时备份。同时,支持云端服务器部署和本地服务器部署,支持多机热备,达到企业的灾备要求。此外,为了有效避免BI平台出现严重异常,还需要支持监控自身的运行性能,遇到系统性能风险,提前给出系统预警信号。
大数据整体市场规模达1000亿,其中行业应用市场规模为700亿,是最大细分领域。大数据在互联网、政府、金融成熟度最高。爱分析认为,提供整体解决方案的大数据公司机会最大。近日,爱分析在京举办了2018·中国大数据高峰论坛。TalkingData创始人崔晓波、邦盛科技创始人王新宇、九章云极创始人方磊等7位明星CEO分享了未来几年大数据行业的深度观察,爱分析在会上发布了《中国大数据行业报告》(以下简称报告)。《报告》称,2017年大数据行业整体市场规模1000亿,其中行业应用细分市场规模为700亿,是大数据行业最大细分领域,大数据在金融、政务、互联网成熟度最高。大数据整体市场规模1000亿,细分市场行业应用规模最大《报告》显示,整个大数据产业分为基础平台、通用技术、行业应用等多个细分市场,2017年大数据整体市场规模1000亿。细分市场中,基础平台整体市场规模在100亿元左右,通用技术整体市场规模在200亿元左右。行业应用层,大数据在各个行业应用差异较大,应用相对成熟的金融、政府领域市场规模为200亿元。整个行业应用市场规模为700亿。大数据在金融、政务、互联网成熟度最高《报告》显示,大数据在各行各业的成熟度与基础设施、市场规模和应用范围关系密切。根据调研,金融、政务、互联网这三个行业的IT投入位列各行业前列,随着“互联网+政务”的普及、政务云和政务大数据的落地,政府2017年IT投入超过800亿元,占中国IT总投入的5-10%。金融一直是重IT投入的行业,以银行为例,2017年中国银行业整体IT投资为800亿元,整个金融行业的IT投资突破千亿元大关。基础设施成熟度同样会对大数据应用落地应用产生很大影响。信息化是大数据的基础,互联网行业信息化程度最高,金融、政务行业在20世纪初已开始进行信息化建设,经历十几年发展,基础信息化已建设完毕。相比医疗、工业等领域,金融、政务和互联网行业结构化数据占比高,数据标准化程度高。云计算、大数据、AI、IoT多项技术融合是未来趋势,提供整体解决方案的公司机会最大《报告》指出,与国外不同,中国市场云计算、大数据、AI、IoT等技术几乎是同时间爆发,企业客户同一时间采购云计算、大数据、AI等产品,企业客户最终目的是通过新技术来实现开源节流,实现这一目标需要多项技术融合,技术边界正逐步模糊。云计算作为大数据的基础,大幅降低企业的IT硬件成本,将有超过50%的IT预算投入到大数据、AI等应用。AI促使大数据从辅助决策向替代决策进化,使大数据厂商突破工具软件天花板,发展空间放大10倍。在智能客服领域,AI技术的发展使得技术厂商的市场空间由原先的30-50亿提升到300-400亿。IoT技术的发展补全线下数据和机器数据,给大数据应用带来更加多元的数据,产生更加丰富的应用场景。在营销领域,通过WIFI、蓝牙、摄像头等途径,实现线上、线下数据的打通,形成整个营销闭环,从而实现跟踪用户的全生命周期,提升用户转化率。多项技术融合促使客户的需求更加多元化、复杂化,提供整体解决方案的大数据公司更加符合未来趋势,在整个产业链占据更重要地位,提供更加深度的场景化应用。以下为爱分析高级分析师李喆在会上发布报告的演讲实录。演讲实录李喆:在看待大数据行业未来趋势时,首先需要关注中美技术路径发展的差异,不仅仅是大数据,还包括云计算和AI等。从这张图,我们可以得出有几个结论:第一, 我们看到美国的市场是技术驱动,先从底层基础平台成熟,逐步延伸到上层应用。2006年AWS对外进行提供服务,2009-2010年大数据基础平台公司Cloudera、Hortonworks成立,2015年Google开源TensorFlow平台,这些事件促使云计算、大数据、AI进入快速发展阶段。中国市场更多以应用、政策为主导,云计算行业快速发展的原因是2012-2013年游戏等移动互联网的爆发,2014-2015年,政府出台一系列利好大数据的政策,促使整个行业快速发展。因此,中国市场应用型的公司发展速度更快。国外已经上市的大数据公司Splunk、Tableau、Cloudera、MongoDB都是基础平台和通用技术层的公司。国内市场发展速度快的TalkingData、同盾科技等公司,都是属于应用型的公司。第二, 不同于美国市场每一项技术中间会有一个很大的时间间隔,中国市场云计算、大数据、人工智能这些技术时间间隔很短,几乎是同时爆发。因此,数据在各个行业的发展是不均衡的,不同行业的渗透率差异很大。同时,大数据行业不能只看大数据,需要重点关注云计算、AI对大数据行业的影响。首先,我们看云计算对大数据的影响。云计算对大数据行业最大的影响是降低了整个基础设施的成本,未来会有50%以上的IT预算会投入到应用层,也就是大数据和AI。IT预算的结构将由左边的正三角形,转变成右边的倒三角形。以银行为例,不考虑上层应用,美国的银行在IT建设上会领先于中国的银行。根据我们的调研,中国的银行IT投入的70%都是在硬件投入,剩下30%投入是软件和服务。而美国的银行只有15-20%的IT预算投向硬件,更多预算投入到软件和服务。第二个影响是容器技术的成熟,降低了大数据业务的交付成本,从原来几个月的交付时间缩短到几周。第三个影响是,随着SaaS渗透率不断提升,更多的数据汇聚到云端,更加便捷的实现数据互通互联。其次,我们看AI对于大数据的影响,AI技术可以帮助大数据突破工具软件的天花板,将市场空间放大10倍,同时还可以降低大数据公司对人力的依赖,提高人均产能。以智能客服为例,客服软件市场规模是很小的,大概是30至50亿的市场规模,但整个客服市场规模很大。中国的客服人员有300-500万人,按照平均5-6万的人力成本计算,整个客服市场规模超过2000亿。如果其中有15-20%被智能客服替代,整个市场空间就有300-400亿。但如果厂商只做客服软件,即使加上数据分析等技术,能够提升人员效率,但依然很难触及到人力这部分市场,但通过AI技术,能够实现替代人力,厂商就能切入到这300-400亿的市场。公安领域,明略数据这样的公司通过深度服务公安客户,形成这个行业的知识图谱,也就是“公安大脑”。形成“公安大脑”后,明略数据在服务其他省市公安局的时候,会大大缩短服务周期,降低公司对人力的依赖,提升业务可复制性。因为各种技术几乎同时爆发,所以我们判断,多项技术融合是未来的趋势,会大幅提升各个行业的效率。下面这张图是大数据的业务链条,包含数据源、数据的采集、数据标准化、数据分析和数据应用。可以看出,各项技术其实都会对整个链条产生影响。IoT技术,补全了原本缺失的线下数据和机器数据。比如营销领域,之前可以拿到大部分是线上数据,用户点击的广告、网页的浏览行为。IoT的发展,通过WIFI、蓝牙、摄像头等方式,可以监测到用户的线下行为,打通了整个闭环。用户在线上看广告,官网浏览商品,再到实体店体验、购买,实现线上和线下的融合,有更多方式去提升转化效率。云计算使数据更容易汇聚,降低数据收集的难度,AI技术增强了数据分析能力。智能财税领域,针对小微企业的代账市场,传统软件不具备自动化和智能化,代账SaaS软件的普及,使越来越多的中小数据汇聚到云端,而依靠机器学习等AI技术,实现自动做账、自动报税。过去每名会计最多服务20到30家企业,但是依靠SaaS、大数据、AI技术等研发的代账软件,可以服务100到200家,未来还会进一步提升。这会使得传统代账公司的重心会放在获客和增值服务,而非基础做账业务,代账公司的服务半径扩大。多项技术融合后,客户的需求会更加多样化、复杂化,因此,我们判断做整体解决方案的公司机会最大。从产业链的角度看,做整体解决方案的公司更贴近客户,更容易获取标杆客户。提供单点能力的大数据公司,更多是技术提供方的角色,无法解决客户全部需求,在客户预算中只能占到很小的份额,集成商会占据更大的份额。整体解决方案的公司提供的是自下而上的服务,因此有机会从原来的技术提供商,成为过去集成商的角色。这样会带来几个方面的好处:首先,大数据公司能够触及的预算会更大。其次,可以延伸到其他需求。美国有一家做虚拟化的公司叫VMware,最早通过虚拟化产品拿下了很多500强的客户,但现在支撑他高速增长的是SDS和SDN业务。SDN业务是VMware收购了一家初创公司Nicira发展起来的。Nicira被收购的时候没什么收入,但VMware的SDN业务,只花了三年时间就做到10亿美金的收入。抛开技术原因,另一个原因是VMware有很强的客户资源,更有机会把他的新产品推向客户。第三,降低获取其他客户的门槛。企业服务市场,获客具备非常高的门槛,尤其对于初创公司获取客户信任的周期很长。金融大数据公司进入银行市场的时候,可能前期做POC就需要一年的时间。如果你有一个标杆客户,再去向同类公司进行推广的时候,难度会大大降低。标杆客户具备灯塔效应,不论是服务同体量的客户,还是下沉到腰部客户。从场景的角度,整体解决方案的公司更有机会把场景做深,提高价值。零售领域,很多公司从营销做起,但很难切入到库存管理、供应链管理。因为这些公司多数是提供营销工具,不是一个完整的解决方案。整体解决方案公司会从帮助客户建立大数据平台做起,更有机会从前端营销切入到后端业务,通过数据去打通各个环节。这也是因为当前中国的客户能力还相对不足,直接使用工具的成本和难度都很高。大数据公司需要将业务做重,单纯一个很轻的产品,价值度较低,很难形成壁垒。接下来,我们将分享大整个大数据的产业图谱,包括我们对每个细分领域的判断。这张图是我们对整个大数据的划分,从底层基础平台到上层行业应用,分为四大细分领域。基础平台分为交易型数据库、分析型数据库和围绕这两类数据库的计算引擎。基础平台往上有两个方向,一个是数据的方向,一个是技术的方向。数据方向有两类厂商,按照是否具备数据源分为第一方和第三方。技术方向是指大数据平台之上,具备通用性的数据处理的技术,包括 BI与可视化、日志分析等。行业应用更多的是直接面向一个个场景,用大数据技术去解决各个行业的场景去落地的公司。这是我们总结的大数据市场规模。市场规模最大的是行业应用,基础平台是市场规模最小的细分领域。根据我们的调研,2017年整个中国大数据的市场规模是1000亿,我们测算的逻辑主要分成两类:一类方法是Top Down。比如,我们测算中国BI领域市场规模,我们首先看全球市场BI的市场规模,全球BI的市场规模大概是180亿美金,考虑到BI在IT投入的比例,中国和全球应该大体一致,中国的比例会略低于全球的市场。全球的IT投入大概是3.6万亿美金,中国的IT投入大概是2.3万亿人民币,因此,我们测算中国的BI市场规模大概是135亿人民币。再比如,行业应用中的工业大数据,通过我们测算大概是100亿人民币市场规模。我们的方法是通过行业成熟企业的投入比例,去推断大数据在整个工业产值的比例。国家电网2017年营收在2万亿,每年在大数据的总投入是5亿。金风科技2017年营收260亿,在大数据的投入在500-1000万之间,由此可以判断规模以上的企业投入比例大概为1-2%。另一类是Bottom Up。重点看头部公司它的收入和市场份额。基础平台这个市场,我们主要看Oracle,因为它是市占率最高的公司。2017年亚太地区的收入是45-50亿美金的数据,其中数据库的比例大概会占到30%左右,所以是十几亿美金规模,中国市场收入会比这个数据要低,Oracle的占有率是在40%至50%之间。因此我们判断国内的基础平台的市场规模在100亿左右。再比如AI平台,我们判断AI平台(数据科学平台)这个领域是20多亿的规模,主要是考虑国内市场,这个领域最大的公司是SAS,每年收入30亿美金,在亚太地区的市场份额大概占到10%左右,而他的市占率会在50-60%,因此整个市场规模会在25亿上下。从各个细分领域来看,我们还是会去重点关注大数据的行业应用,大数据的最大价值肯定是体现在行业应用。从政府的大数据发展规划来看,2020年整个大数据市场规模将达到1万亿。但从IT投入来看,2017年IT软件与服务的投入只有1500亿。因此,未来大数据厂商切的主要预算不会来自IT,而是业务预算。只有做行业应用的公司才更有机会拿到业务预算。因此,我们判断,行业应用会是未来最大的细分领域。我们重点关注的是金融、政务这两个领域,主要去通过大数据在各行各业的成熟度判断。根据爱分析大数据成熟度模型,我们主要从市场规模、基础设施和应用范围去判断各行业的成熟度,大数据在各行业的渗透情况。首先,通过我们的分析,现在最成熟的是互联网、金融、政务。金融的IT投入肯定是非常大的,银行每年的IT投入就有800亿,加上证券、保险,整个金融IT投入是超过1000亿。政务每年的IT投入大概是800亿。这两个行业在整个中国IT投入占比非常高。中国2.3万亿IT投入中,有大概1万亿左右是运营商资源。去除掉这部分,金融和政务加起来会占到总投入的20%以上,现阶段大数据投入主要还是来自IT预算。其次,互联网、金融和政务,信息化建设是最完善的,这里的信息化建设不光是基础业务系统搭建,还包括数据的标准化、结构化程度。医疗的基础设施相对完善,IT投入也很高,但我们不认为它会优先爆发的原因,就是数据标准化的问题。数据业务链条上,现在能走通的就是金融和互联网,医疗领域的数据标准化还在建立当中。数据标准化程度高,才更容易产生深度的应用。第三,金融和政务两个领域的公司,发展最快、体量最大。根据我们的调研,2017年,像TalkingData、同盾科技、百融金服等公司,他们的确认收入都已经超过了1亿人民币,而1亿人民币收入是企业服务公司一个很大的门槛。通用技术领域,我们会去关注那些有机会切入到行业应用的公司。BI与可视化、用户行为分析、AI平台等领域,直接面向客户的应用问题,更有机会切入到行业应用。比如用户行为分析里面的神策数据、GrowingIO等公司,第一个直接的方向是营销大数据,这样以来会从原本工具软件这个比较小的细分市场,跳入到营销市场,而我们知道,整个营销市场是万亿级的市场,占GDP的2-3%。数据服务市场,我们也会看它和行业应用的结合,我们判断纯粹的数据交易公司机会有限,第一方平台将逐步崛起,这背后有几个原因:第一, 政策方面,2017年安全法的发布,对数据隐私、数据合规性的要求大大提升,这会对第一方数据公司是个利好,但第三方数据公司的业务受到很多限制。行业标杆客户也更愿意与有品牌、合规的公司合作。第二, 数据既然要和应用去结合,那么就需要热数据,能够持续不断更新的数据,第一方数据公司更容易实现这一点,因此数据本身就是他们业务不断产生的。对第三方公司来说,汇聚多方数据,持续更新的成本较高。基础平台市场,我们认为新需求带来的增量市场更值得关注。基于行业应用、数据分析产生的需求,也就是分析型数据库的市场。交易型数据库市场进入门槛太高,替代银行等头部客户生产环境下的数据库非常困难,这里面存在着数据丢失等风险,这是大企业很难接受的。而分析型数据库基本都是搭建在离线场景,不存在这方面的风险。这个市场目前是100亿,我们判断2020年会到150-200亿,主要的增量来自分析型数据库。全球基础平台市场规模是460亿美金,这里面50-60%是交易型数据库,40-50%是分析型数据库,但国内的分析型数据库只有10%的份额,未来渗透率还有很大的提升空间。扫码关注“大数据栋察”回复“大数据报告”即可获得完整版报告。【阅读推荐】四倍农业|猪联网 |数字富平军民融合|数人计划|数字中国数字生态论 | 数字经济要素的重构 | 联盟使命
金融科技3.0模式下,未来的创新将在更富于挑战的环境下进行。9月4日,普华永道发布的《中国金融科技调查报告》指出,科技为金融服务赋予了巨大动能的同时,也带来了新的系统性风险来源,无论是传统金融机构、金融科技公司还是监管机构,都要深刻理解这种变革蕴含的机遇和挑战。而在金融科技3.0模式下,未来的创新将围绕3个E展开,即Efficiency(效率)、Experience(体验)和Ecosystem(生态圈)。科技的快速发展,对于中国的传统金融机构而言,不仅改变了营销和获客等前端业务,也在驱动中后台的变革。报告显示,各类机构对金融科技的投入和应用在不断深化。超半数的受访传统金融机构正通过不同形式自主进行金融科技的研发和应用,亦或选择与金融科技公司建立多样化的合作模式。另一方面,随着监管环境的变化,近年来金融科技公司与传统金融机构合作的策略也有所转变,回归技术逐渐成为趋势。普华永道中国金融业管理咨询主管合伙人张立钧点评:“金融科技带来的重大冲击是让闭合的传统金融体系逐渐走向开放的产业链生态模式,传统金融机构和金融科技公司都将成为金融产业链生态圈的组成部分。双方有着强烈的合作意愿,然而在实际合作过程中,双方仍然需要应对来自管理文化、监管、商业模式、系统等各方面的挑战。”从对金融科技的投融资层面来观察,传统金融机构的重点落在实施技术投资、转型升级,大部分的受访者认为大数据分析将是其今后的投资重点;金融科技公司则致力于获得投资机构青睐、发展壮大,但在监管趋严、竞争日趋激烈的背景下,融资难度加大,未来须以模式与技术优势突围。探寻新兴科技在金融领域的发展趋势,报告显示,大数据应用仍主要集中于产品设计和前端销售领域;人工智能应用的各项基础条件都有待改善,尤其在数据与团队方面面临很大挑战。然而,对于云计算与区块链两项技术,不少受访者对前者仍有期待,认为其起步晚但潜力大,但对后者普遍持谨慎态度,认为其应用前景尚不明朗。值得注意的是,过半受访者认为,在中国金融科技发展的过程中,大数据风控将是继移动支付之后,中国又一个能引领全球的领域。随着金融科技的发展,以及监管机构对于金融科技理解和认识的加深,相关的监管措施以及协调机制在逐步建立和完善。在此背景下,受访者普遍预期金融科技的监管将趋严,对监管的期望主要集中在:避免行业野蛮生长和跨行业套利、规范个人隐私和数据安全以及加强跨行业跨监管主体的协调。普华永道中国金融业数字化转型管理咨询合伙人王建平认为:“金融科技严监管既是众望所归,也是大势所趋。严监管持续的环境有利于金融科技领域的规范经营、降低风险,未来金融科技领域的佼佼者,必定是那些能够高效满足监管要求、化被动为主动的企业,因此传统金融机构与金融科技公司应以科技促合规,探索相关应对之策。”
1、什么是大数据?大数据(big data),是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据,其规模往往达到了PB(1024TB)级。不同机构对大数据也有不同的定义。Gartner对大数据的定义:大数据是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡对大数据的定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。移动信息化研究中心对大数据的定义:大数据是帮助企业利用海量数据资产,实时、精确地洞察未知逻辑领域的动态变化,并快速重塑业务流程、组织和行业的新兴数据管理技术。2、大数据产业链简介大数据产业:是指一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动的集合。主要包括大数据硬件、大数据软件和大数据应用三大块。◆ 大数据提供者拥有数据的公司、个人、社会团体以及政府机构等,此类角色属于大数据产业链上的基础环节,包括数据源提供者、数据流通平台提供者和数据API提供者。目前我国大数据提供者包括政府管理部门、企业数据源提供商、互联网数据源提供商、物联网数据源提供商、移动通讯数据源提供商、提供数据流通平台服务和数据API服务的第三方数据服务企业、社会团体或者个人等。◆ 大数据产品提供者提供直接应用于大数据产品的企业,包括提供大数据应用软件、大数据基础软件、大数据相关硬件产品的企业。大数据应用软件产品提供者,包括提供整体解决方案的综合技术服务商,也包括大数据计算基础设施上(与云结合),从简单的文件存储的空间租售模式,逐步扩展到提供数据聚合平台,进而扩展到为客户提供分析业务的服务上。大数据基础软件提供商,此类企业搭建大数据平台、提供相关大数据技术支持、云存储、数据安全等,此类公司在某些垂直行业或者区域掌握大数据入口与出口,并能对一些数据进行采集、整合和汇集。这样的企业包括传统的IT企业、设备商以及新兴的云服务相关企业。大数据相关硬件产品提供商,此类企业提供大数据采集、接入、存储、传输、安全等硬件产品和设备。◆ 大数据服务提供者以大数据为核心资源,以大数据应用为主业开展商业经营的企业。包括大数据应用服务提供者、大数据分析服务提供者、大数据基础设施服务提供者。这类企业挖掘数据价值,处于大数据产业链的下游,它们通过发掘隐藏在大数据中的价值,不断推动大数据产业链中各个环节的发展和成熟。从某种角度上说正是此类公司创造了大数据的真正价值,具体包括:1)应用服务提供者,基于大数据技术,对外提供大数据服务。2)分析服务提供者,提供技术服务支持、技术(方法、商业等)咨询,或者为企业提供类似数据科学家的咨询服务。3)大数据基础设施服务提供者,提供面向大数据技术和服务提供者的培训、咨询、推广等的基础类通用类的服务提供者。3、中国数据爆炸式增长,大数据行业市场规模持续扩大当前网民增长进入了一个相对平稳的阶段,互联网在易转化人群和发达地区居民中的普及率已经达到较高水平,下一阶段中国互联网的普及将转向受教育程度较低的人群以及发展相对落后地区的居民。目前,随着移动互联网的繁荣发展,移动终端设备价格更低廉、接入互联网更方便等特性,为部分落后地区和难转化人群中的互联网推广工作提供了契机。截至2020年12月,我国网民规模达到9.89亿,较2020年3月增长8540万,互联网普及率达70.4%,较2020年3月提升5.9个百分点。其中手机网民规模达9.86亿,较2020年3月增长8885万,网民使用手机上网的比例达99.7%,较2020年3月提升0.4个百分点。注:2008年普及率为22.6%。当前,我国正在加速从数据大国向着数据强国迈进。国际数据公司IDC和数据存储公司希捷的一份报告显示,到2025年,随着中国物联网等新技术的持续推进,其产生的数据将超过美国。我国产生的数据量将从2019年的约9.4ZB增至2025年的48.6ZB,数据交易迎来战略机遇期。1zettabyte大约是1万亿gigabyte,这是当今常用的测量方法。与此同时,美国2019年的数据量约为8.6ZB。到2025年,这个数字预计将达到30.6ZB。在产业层面,我国大数据产业继续保持高速发展,大数据将深入渗透到各行各业。对于我国大数据产业的规模,目前各个研究机构均采取简介方法估算。根据国家工业信息安全发展研究中心通过对全国3000多家大数据相关企业的问卷调查和座谈形成的《2019中国大数据产业发展报告》,截至2019年,中国大数据产业规模超过8000亿元,预计到2020年底将超过万亿。目前,17个省市建立了大数据局,大数据安全维护机制日益完善。283所高校获批数据与大数据技术专业,全国有100多个大数据相关产业联盟成立,对大数据的发展起到推动作用。另外,大数据研发人员2019年超过8万人,研发投入超过550亿人民币。注:此处大数据统计口径:指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动,包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动,以及相关信息技术服务。4、中国大数据应用层将占据市场最大份额大数据产业包括一切与大数据的产生与集聚(数据源)、组织与管理(存储)、分析与发现(技术)、交易、应用与衍生产业相关的所有活动。大数据产业按照数据价值实现流程,包括数据源、大数据硬件支撑层、大数据技术层、大数据交易层、大数据应用层与大数据衍生层等六大层级,每一层都包含相应的IT硬件设施、软件技术与信息服务等。从发展趋势来看,随着大数据相关产品及应用的不断普及,未来应用层规模将逐步增长。在技术层、数据源层以及衍生层的共同支撑下,2020年中国大数据应用市场规模份额将达到40%。其中,交易市场规模虽然占比最少,但是正是由于它的存在,使得数据的交易从法律上实现数据的合法化问题,以及实现了数据价值兑现。5、中国大数据产业园区迅速发展助力数字经济发展国内大数据产业园是集聚大数据产业资源的重要载体。当前,不仅八个国家级大数据综合试验区(贵州、京津冀、辽宁、内蒙古、上海、河南、重庆、珠三角)的大数据产业园/基地快速发展,与这些试验区毗邻的省份,如安徽、湖北、四川、陕西、浙江、山东和江苏,也都加快推进“大数据产业园区/基地”建设,增强数字经济发展实力,加速产业转型升级。多数大数据产业园的发展思路:“基础设施建设-数汇集整合开放共享,企业上云-大数据融合应用-大数据产业链延伸”,即首先聚集数据资源,而后通过落地开放共享,协同效应带动开发,最终实现产业链的拓展和完善。中国的大数据产业园可以分为三类:北京、上海、广州和深圳的大数据产业园多脱胎于原先的各类软件园,具有良好的发展基础和优势;河南、重庆、大连、沈阳、内蒙古、贵州等国家大数据综合试验区,加速推进辖区内大数据产业园建设;部分东南和中部省份,顺应产业发展趋势,也积极布局大数据产业园,力促产业转型升级。6、政策推动产业细化,产业价值链向上下游延伸2015年,国家印发《关于促进大数据发展的行动纲要》,第一次将大数据上升到国家战略高度,提出了我国大数据的顶层设计。此后,随着大数据底层设施逐渐成熟,大数据分析开始结合具体行业,向下游垂直行业应用延伸。大数据开始由主题概念向业绩兑现转换。包括房地产、商贸零售、金融、汽车等传统行业开始深入布局大数据的行业应用。大数据源的战略性资源属性越来越普遍地得到各方认同,拥有数据源的企业在补齐分析和应用的技术,有望凭借数据链上游核心资源迎来快速发展。密集出台的大数据政策表明国家大力推动的意愿,环保部、国务院办公厅、国土资源部、国家林业局、煤工委、交通运输部、农业部的细则侧重指引垂直行业的落地。在政策的推动下,大数据加快了向各行业中的普及,并已全面从理论研究迈向实际应用,通过实际的经济效益实现,带动更多的行业开启大数据应用探索。具体从产业来看,互联网、金融、通信、安防等产业目前与大数据融合情况较好,交通、能源、工业等也在快速应用大数据。以工业为例,工业大数据产业规模到2019年有600多亿,到2020年,复合增长将达到50%以上,研发设计、生产、供应链、销售、运维等领域数据量越来越大。而医疗行业大数据在某些点上用得不错,但是要真正替代人,路径还比较长。7、数据外包将成为产业新机遇点数据外包是指大数据企业将价值链中原本由自身提提供的具有基础性的、共性的、非核心的IT业务和基于IT业务的流程剥离出来后,外包给专业服务提供商来完成,通过重组价值链、优化资源配置,降低成本,增强核心竞争力。数据外包有效地解决了数据孤岛以及清理和标记机器学习培训数据需要花费大量的时间和费用这两个问题,促成了“三赢”8、数据安全防护需求驱动制度和技术变革数据安全防护是通过采用各种技术和管理措施,使与数据采集、存储、分析处理等各类系统正常运行,从而确保各类数据的可用性、完整性和保密性。通过采用全面的数据发现能力、快速的安全事件响应,以及有效地云和大数据安全保护,来为用户提供合规的、弹性的、智能的、一站式数据安全解决方案。数据泄露事件持续不断。根据安全情报供应商Risk Based Security发布数据泄露情况显示,2018年公开披露的数据泄露事件达到6500起,涉及50亿条数据记录。其中三分之二来自商业组织,政府占13.9%,医疗行业占13.4%,教育业占6.5%。2019年全球数据泄露持续增长,超过100亿条,2020年前三季度更是达到360亿条,远超2019年全年。数据泄露给企业和用户等各方造成了高昂的成本,IBM Security 发布《2020年数据泄露成本报告》显示,揭示了数据泄露事件给企业造成的平均成本为386万美元,而其中员工账户遭受攻击是最昂贵的原因。超过5000万条记录被泄露的数据泄露事件的成本,从2019年的3.88亿美元跃升至3.92亿美元。泄露记录条数从40到5000万条不等的数据泄露事件的平均成本达到3.64亿美元,与2019年相比,该项成本增加了1900万美元。国内数据泄露方面,2020上半年重大数据泄露事件有:5亿新浪微博用户数据遭泄露、青岛市胶州中心医院6000余人个人信息被泄露、江苏南通5000多万条个人信息在“暗网”倒卖、建设银行员工贩卖5万多条客户信息等,具体如下:目前国内的数据安全市场也正处于成长期,随着数据泄露事件数量激增、性质不断恶化,以及企业数字化转型加速、业务上云,物联网、区块链等新技术的落地,国内对于数据安全相关领域和应用的重视程度正在不断增加。9、线下场景营销成为大数据应用新机遇随着“互联网流量红利”达到饱和,线上营销服务逐步由增量竞争转变为存量竞争。在此背景下,以新零售为代表的“线下场景营销”成为破局关键。根据新零售理论,线上销售将会与线下销售结合,同时会结合现代物流、大数据、云计算等技术。未来可能会有60%-80%的零售属于新零售。数据驱动是新零售的内核之一。数字营销供应商,通过收集线下场景数据,制作“人物画像”,精准刻画线下客户群体。进一步,通过与各类“广告主”合作,协助其将品牌精准推送给目标客户。(文章来源:前瞻产业研究院)
编者按刚刚过去的2017年,中国智库不负重托、蓬勃向上;已经到来的2018年,新型智库的新气象新作为值得期待。作为2017年12月20日举办的“2017中国智库治理暨思想理论传播高峰论坛”重要内容,2017CTTI来源智库精品成果发布会上,8项研究成果从众多备选中脱颖而出,获评“2017CTTI年度精品成果”。自本期开始,本版将陆续推出这些成果。从中,我们能够窥见CTTI来源智库的年度智慧版图,甚至整个中国智库界的年度智力贡献。本期特邀您一同展望我国大数据交易产业的发展前景,触摸产业痛点、品味睿智见解,在重庆大学国家网络空间安全与大数据法治战略研究院的咨政建言中感受智库力量。大数据时代,数据成为数字经济的关键生产要素,以数据为基础,以人工智能为主要驱动力的新型经济形态正在蓬勃发展。为积极落实国务院《促进大数据发展行动纲要》中关于大数据交易的要求,推动我国数字经济的发展和数字中国建设,中国智库索引(CTTI)来源智库重庆大学国家网络空间安全与大数据法治战略研究院课题组对我国贵阳大数据交易所、华中大数据交易所和中关村大数据产业联盟进行了实地调研,分析了大数据交易所的数据交易模式,并形成本调研报告。课题组从调研中发现了我国大数据交易产业的发展前景和产业痛点,并针对七大发展困境为我国数据交易市场提供六大政策建议。我国大数据交易的发展现状2011年至2014年这四年间,我国大数据处于起步发展阶段,大数据的市场规模增速稳定,每年均保持在20%以上。2015年,大数据市场规模已达到98.9亿元,同比增长30.7%。2016年,大数据市场规模增速迎来高潮,达到45%,市场规模继续扩大,超过160亿元。(见右表)预计2017年至2020年,大数据的市场增速稳定。我国主要的大数据交易平台分布在西南、华中和华北地区,均属于国内第一批崛起的大数据交易平台。这三个交易平台因其重要性和战略性,成为本次课题组调研走访的重点。通过对报告中所列举数据的分析,不难发现当前我国大数据发展现状:中西部:发展势头强劲,产业发展进入良性循环。首先,中西部地区是国内最早规划并实施大数据产业发展的地区。其次,建设大数据交易平台,中西部地区具有强大的地理区位优势。中西部地区生态气候条件好,良好的空气质量、凉爽的气候,以及稳定的地质条件为信息网络设备提供了较高的“安全系数”。最后,重视企业对大数据产业发展的推动作用,是中西部地区建设大数据交易市场的重要经验之一。东部地区:依托经济优势,聚集效应开始显现。东部沿海地区是我国经济发展高地,科技水平高,市场潜力大,劳动力资源丰富,为大数据交易平台的发展提供了充足的条件。就目前而言,以北京、上海、广州为中心向四周辐射,形成以京津冀地区、长江三角洲地区和珠江三角洲地区为集团枢纽的沿海大数据走廊格局,是东部地区大数据交易平台建设的最大特点。由于经济实力雄厚,东部地区通过地方政策支持,以引进大数据相关顶尖人才和创业团队、建设大数据产业园并落地大数据产业项目、培育拥有关键技术和应用能力的企业等方式,努力推动大数据发展与经济发展有机结合,力争成为全球大数据创新中心。我国大数据交易面临的困境在实地调研中,课题组发现,我国大数据交易产业还处于初级探索阶段,虽然得到了国家和地方政府的支持,但是7个问题成为大数据交易发展的障碍(如右图所示),包括:各类数据主体缺乏共享理念;数据交易平台定位不明;数据交易缺乏统一标准;数据法律属性与归属存在争议;交易规则理论亟待创新;缺乏跨学科人才,培养基地建设不足;政府数据分类不明,存在交易风险。各类数据主体缺乏共享理念大数据时代,企业的云计算使用需求显著增多。但在不断增长的市场需求之下,数据的开放和共享却远远跟不上市场的发展,无法满足数据交易的需求,导致数据交易规模的扩大受到限制。这主要体现在,拥有大量数据的主体如政府、互联网企业运营商以及科研机构等缺乏进一步开放共享数据的理念。目前的数据开放共享,以及在此基础上进行的数据交易,仅仅处在数据市场发展的初级阶段,数据交易主体对于提高数据市场的流动性,实现交易市场的平台化、规模化、产业化发展缺少统一的共同理念,数据交易平台的功能优势无法有效发挥,数据交易的范围和内容具有局限性。数据交易平台定位不明数据交易平台的定位深刻影响着数据交易平台的发展。确定交易平台的市场定位是关键之举。针对具体的市场定位,立足于特定的地域和群体,有助于数据交易平台判断行业发展趋势,探寻市场机遇。同时,数据交易平台为实现自身的完善,适应大数据产业日新月异的发展而做出相应的调整,离不开精准的平台定位。数据交易平台在数据交易市场中的核心定位,是其核心竞争力的基础。在数据交易市场中,能够获得成功的往往是通才型的数据交易平台,以及满足特定市场的专家型数据交易平台。数据交易缺乏统一标准我国大数据交易产业尚处于起步阶段,国内目前还没有任何机构和组织制定跨区域、跨行业的大数据交易标准,各大数据交易平台的交易规则也存在差异。尽管各大数据交易平台已经制定了一些交易规则,但这些规则都只是对大数据管理和交易的原则性规定,没有进行具体和细化,多为“一类一策”。这样的数据交易规则具有适用范围小、分类不明确、可操作性不强等缺陷,并不具备在全国范围内的大数据交易平台进行推广和实施的条件。数据法律属性与归属存在争议在数据交易过程中,确定数据的法律性质与归属具有重要意义。该问题目前在国际社会上也没有达成共识。《中华人民共和国民法总则》第127条规定,“法律对数据、网络虚拟财产的保护有规定的,依照其规定”,但是并未明确数据的内涵和归属。法律性质和权属上的不确定将有碍大数据产业的发展,在未来,项目团队将以我国现有的产业现状为基础,通过理论分析,为建构符合我国国情的数据权属制度提出对策建议。交易规则理论亟待创新商品的价格由商品的价值决定,与此类似,数据的价值决定了数据的定价。但是,相比于商品流通,数据交易容易面临无法制定定价规则的问题。另外,现有的定价理论无法适用于数据的定价,也是导致定价规则难以制定的原因之一。根据大数据交易平台对大数据定价问题的回答来看,大数据的实时性、品种、时间跨度、深度、完整性、样本覆盖等都是影响大数据价格的因素。由此可见,数据的价值具有高度的复杂性,在不同的时刻、不同的地方,依据不同的挖掘程度、不同的受众都会有不同的价值,因此,数据定价问题需要与经济学专业人才合作,制定合理的定价标准,从而推动大数据交易的有序化发展。缺乏跨学科人才,培养基地建设不足大数据专业人才匮乏是阻碍大数据交易市场发展的重要因素之一。大数据作为朝阳产业,具有巨大的经济价值,其价值则需要由专业的大数据人才经数据挖掘、分析、统筹而获得。这些技术均具有专业性和针对性,且在大数据交易的各个环节都不可或缺。因而,应用数学、统计学、计算机等专业人才需求量增大,相关的多学科复合型人才成为大数据人才市场热门。政府主导,高校和企业配合,建设产学研三位一体的大数据专业人才培养基地,是大数据产业孵化,满足大数据专业人才市场需求的必经之路。政府数据分类不明,存在交易风险大数据时代,提高政府数据开放程度,激发数字经济活力,打造数字政府,成为国际社会的主流做法。政府掌握了大量数据,如果将这些数据“深藏闺中”,将是一种资源浪费。而政府作为公务机关参与数据交易则存在一定的法律风险。首先,在参与交易之前,政府对数据的分类不明确。对于不同种类的数据,应该经过不同程度的脱敏程序,才能进入数据交易市场,成为交易的客体。其次,政府参与数据交易过程的监管力度不到位。虽然《政府信息公开条例》明确了相关部门的监督职责,但是在现实中,政府数据的脱敏、清洗、交易等关键环节缺少高效畅通的内部监督渠道。最后,政府进行数据交易后的纠错机制不完善。由于政府数据交易可能涉及个人隐私,因此面对交易后当事人的投诉和异议,政府部门缺乏高效的应对处理机制,未来有待构建体系化的纠错和追责制度。我国大数据交易的政策环境大数据是继云计算、物联网、移动互联网之后信息技术融合应用的新焦点,是信息产业持续高速增长的新引擎,将引发各领域、各行业生产模式、商业模式、管理模式的变革和创新,对经济社会发展及人们生活方式产生深刻影响。信息技术与经济社会的交汇融合引发了数据迅猛增长,数据已成为国家基础性战略资源。坚持创新驱动发展,加快大数据部署,深化大数据应用,已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。国际背景纵观全球,在大数据领域,早在2012年,美国就发布了《大数据研究与发展计划》,将大数据上升为国家战略,美国奥巴马政府将其称之为“未来的新石油”。欧盟在2015年出台了数字化单一市场战略。在澳大利亚,政府信息管理办公室在2013年8月发布了《公共服务大数据战略》,以“数据属于国有资产,从设计着手保护隐私、数据完整性与程序透明度”等原则出发,推动公共行业利用大数据分析进行服务改革。在日本,安倍内阁于2013年6月发布了“创建最尖端IT国家宣言”,全面阐述了2013年至2020年间以发展开放公共数据和大数据为核心的国家战略,强调“提升日本竞争力,大数据应用不可或缺”。国家政策就我国而言,自大数据概念兴起后,就受到政府以及企业界的高度关注。大数据作为能够与社会各行业深度融合的技术,在提高生产效率,减少行政管理成本,促进消费升级方面拥有巨大的应用空间。我国在国家层面一直在加强大数据产业的政策支持,加上“大众创业,万众创新”的政策导向,可以说已经为大数据创新创造了良好氛围与有利条件。中央有关部门为扶持和促进大数据产业发展发布了许多政策性文件。这些文件包括:国务院《促进大数据发展行动纲要》《政务信息资源共享管理暂行办法》《“十三五”国家信息化规划》,工业和信息化部《大数据产业发展规划(2016—2020)》,国家发展和改革委员会《国家发改委办公厅关于组织实施促进大数据发展重大工程的通知》,农业部《农业部关于推进农业农村大数据发展的实施意见》,国土资源部《关于印发促进国土资源大数据应用发展的实施意见》,国家林业局《关于加快中国林业大数据发展的指导意见》等,这些政策文件从顶层设计到具体实施,对从全局到各个领域的大数据发展规划作出部署,为我国大数据产业的发展指明了方向。地方政府政策自国务院发布《促进大数据发展行动纲要》以来,各地方政府积极响应并制订了区域性的大数据发展计划,包括:《北京市大数据和云计算发展行动计划(2016—2020)》《广东省促进大数据发展行动计划(2016—2020)》、广西壮族自治区《促进大数据发展的行动方案》《贵州省大数据产业发展应用规划纲要(2014—2020年)》《湖北省大数据发展行动计划(2016—2020年)》《江苏省大数据发展行动计划》。上述规划文件均表示要积极拥抱大数据技术,并结合本地区的特点着力打造大数据综合试验田、创新示范区、大数据中心和云服务平台等。从大数据建设阶段来看,大数据基础设施的建设是重点,目前贵州省率先完成了大数据基础设施的建设。从政策文件的发布时间来看,贵州省政府在《促进大数据发展行动纲要》发布之前就于2014年2月公布了《贵州省大数据产业发展应用规划纲要(2014—2020年)》,走在了全国前列。随着大数据和人工智能技术的运用,我国大部分省市已经制定大数据发展规划,以推动数据交易产业的发展。未来展望从未来趋势来看,全球都在发力大数据产业,不同于美国的以市场创新为主的发展模式,我国在大数据产业发展中应当同时注重政府的政策支持和引导。作为技术后发型国家,通过政府的扶持尽快缩小与国际社会在大数据技术创新上的不足是实现弯道超车的重要方式。我们可以看到,国家高度重视大数据产业发展,国务院、工信部都出台了大数据发展规划,习近平总书记从更加宏观的角度强调了大数据战略对于数字中国建设的重要支撑。推进我国大数据交易发展的六大路径从我国大数据交易的发展现状出发,针对大数据交易中出现的困境,结合我国大数据产业发展政策,课题组提出六大建设路径。以大数据交易所(中心)为基础推进数据交易大数据交易所(中心)的交易模式是目前我国大数据交易的主流建设模式,该模式主要采用国资控股、管理层持股、主要数据提供方参股的混合制方式,既保证了数据的权威性,扩大了参与主体范围及领域范围,也激发了数据交易主体的积极性和交易市场的活力。数据交易所(中心)是数据交易的重要载体,可以促进数据资源整合、规范交易行为、降低交易成本、增强数据流动性。推进以数据交易所(中心)为基础的数据交易,是促进数据流通的重要举措。随着国家和地方政府大数据产业发展政策的制定和实施,大数据交易平台逐步建立。大数据交易所(中心)这种数据交易模式,可以真正实现数据交易平台化、规模化、产业化发展。制定数据交易规则数据交易规则如同数据交易的路径指向灯。然而我国大数据交易产业尚属于起步阶段,数据交易平台设计、数据定价和交易模式、运营体系、交易准入机制等一系列的必要环节,在国际上尚无先例可循,只能立足于现实,根据我国基本国情进行自主创新,制定具有中国特色的数据交易规则。数据交易有线上和线下交易两种,无论是哪种,隐私问题、数据定价都是最为核心的问题,课题组赞同以交易所(中心)为媒介的成员主体之间通过交易平台进行在线的数据交易,以最大限度地保障数据交易安全。在定价问题上,不同种类的数据受各个因素影响程度不一,在数据交易中应具体问题具体分析,灵活采用平台预定价、协议定价、拍卖定价、实时定价、固定定价等不同定价方式实施交易。明晰数据交易中的产权问题大数据交易是将数据作为一种所有物进行的交易,其中必然涉及数据的产权问题,包括数据的所有权、使用权和收益权等。而产权问题的核心是数据的所有权归属问题,我国现有法律并没有对数据的归属做出明确的规定,这就导致我国大数据交易在实践中面临着产权不明的法律风险。课题组根据理论分析得出如下结论:首先,《中华人民共和国民法总则》第127条确立了数据的财产保护,对其法律地位予以确认;其次,在法律性质上,数据应当是一种有别于传统的物、知识财产的新型财产权利客体,课题组认为应当是数据权的客体;最后,在权属上,源数据的所有人享有对数据的占有、使用、收益和处分。构建数据安全保障法律机制随着云计算技术、射频识别技术(FRID)、社交网络等技术在网络上的发展,网络数据安全保护已成为一个重要的问题。我国已经出台了《网络安全法》及相关配套制度,但是仍需细化该法律的实施,避免大数据交易风险、规范大数据交易行业,为我国大数据交易市场的发展营造健康安全的环境。我国应从民法中的数据确权、合同法律制度、侵权责任构成和归属,刑法中的破坏计算机信息系统罪、非法利用信息网络罪、非法侵入计算机信息系统罪等,行政法上的信息公开、数据治理等规定来全面构建数据安全保障法律机制,为数据交易提供强有力的安全保障。确定数据交易中的政企权责数据交易是整个大数据产业皇冠上的明珠,数据没有交易就没有价值。但是,大数据交易也存在着较大风险,这就愈发显示出在数据交易中明确政府和企业各自权责、保证数据交易安全的重要性。大数据的发展离不开政府强有力的推动,在数据交易中政府应明确自身角色定位,在其权力、职能、责任范围内,充分发挥引导作用,推动大数据交易发展。企业是大数据时代的最大获益者,可利益是一把双刃剑,这就要求企业在数据交易中履行好自己的职责。完善行业自律机制,加强行业监督知识经济和信息时代,大数据产业蓬勃发展,数据交易愈发频繁。但整体而言,我国大数据交易还处于初级阶段,并未形成完整的交易规范体系。在实践领先于法律监管的现实面前,我们可以从另一个角度出发,加快完善行业自律机制,加强行业监督。首先,应当鼓励《贵阳大数据交易所702公约》《数据流通行业自律公约》等行业自律规范的制定;其次,政府在此过程中应当发挥积极引导作用,对于不合理的商业活动采取约谈等方式予以纠正,对于重要交易制度召集各方利益群体开展听证,以确保交易规则的公平合理;最后,通过建立监管系统,对交易平台、交易活动、平台会员、交易对象进行实时记录,从而尽可能创造大数据交易平稳健康发展的生态。结语大数据时代,数据的资产价值受到越来越多的认可,以数据为基本生产要素的数字经济成为各国产业发展的重点,党和政府高度重视数字中国建设和数字经济发展,并提出了创新驱动发展战略和大数据战略,为企业创新提供了优越的政策环境。推进数字经济发展,建设数字中国是我国新时期经济发展的新使命,大数据产业发展的核心在于数据自由流通,而数据交易就是实现数据有序流通的关键一环。在数据交易市场的探索中,产业创新必须要与国家政策、法律规范相契合,在实现经济发展的同时守护市场秩序和公平正义。智库名片重庆大学国家网络空间安全与大数据法治战略研究院成立于2015年9月,由网络法与大数据法学者齐爱民教授担任院长,是全国首个高等院校网络空间安全与法治战略研究基地。研究院2016年成功入选首批CTTI来源智库。研究院以网络法、电子商务法、大数据法基本理论为指导,以“科研创新,服务社会”为理念,以网络空间与大数据法治为研究重点,深度参与《民法总则》《网络安全法》《电子商务法》等重大立法活动,成功申报国家社科基金重大项目《国家网络空间安全法律保障机制研究》。(作者:齐爱民 胡丽 单位:重庆大学国家网络空间安全与大数据法治战略研究院)
图片来自“123rf.com.cn”近年来,随着人们的数据意识和数据素养不断提升,商业智能和数据分析领域迎来了快速发展期, 据Gartner商业智能报告统计,到2020年全球的商业智能市场容量预计将达到228亿美元 。同时,大数据、人工智能、机器学习、深度学习等技术的快速发展,也促进了商业智能和数据分析产品的新一轮进化。 Gartner分析师认为,到2020年,自然语言生成和人工智能将是90%的新BI平台的标准特征,50%的分析查询将使用搜索、自然语言处理,或语音生成,或将自动生成。 但我们必须认识到,我国商业智能的市场特征、企业需求、关注点、发展阶段均与国外有所不同,以Gartner为代表的分析机构并不能准确描述我国商业智能行业的实际状况。针对这一问题,帆软数据应用研究院调研了规模不一的216家企事业单位,了解到他们的大数据BI应用状态、需求情况、对大数据BI产品功能的期待,同时基于帆软数据应用研究院对行业的长期观察和思考,形成了该篇报告。主要预测: 2018年,中国大数据BI产品将主要在自助分析的可操作性和功能丰富度、平台的安全性、数据管理能力、分析的共享能力、数据挖掘能力、大数据处理能力六大功能模块进行提升。 一、2018年中国商业智能行业发展分析 (一)行业总体形势向好 在当前经济环境下,企业盈利的压力和难度不断增加,越来越多的企业,尤其是一、二线稍具业务规模的企业,其高层都希望通过精细化运营提升市场竞争力,降低企业的运营成本。这些企业绝大多数都已经在2008年-2015年间上线了各种业务系统,存储了大量管理和运营数据,具备应用大数据BI进行数据分析和数据化管理的各种条件,这些需求将在2018年-2022年继续爆发。值得注意的是,艾瑞咨询在《2017年中国商业智能行业研究报告》中指出,我国已经进入商业智能领域第一方阵,成为发展最快的国家之一,但和美国还有比较大的差距。所以未来中国大数据BI行业总体将呈现加速度增长,市场容量将不断扩大。 (二)大数据BI厂商马太效应显现 马太效应是指强者越强,弱者越弱的现象,国内BI行业的马太效应已经显现,综合实力强大的厂商更能投入资源做好产品、服务,解决更多用户的需求和问题。可以预见,2018年中国BI行业马太效应将进一步增强,逐步淘汰掉实力弱、规模小、产品差的企业。 (三)新型自助式BI与传统型BI平分秋色 得益于敏捷、自助的特征,从2013年起新型自助式BI迎来了高速发展期,这一时期也是传统型BI的衰退期。2017年,传统型BI与新型自助式BI在国内市场中平分秋色。受访企业中,约50.2%的企业仍然在使用传统型BI,其中最典型的需求是企业常规日报、月报等汇总分析报告。约49.8%的企业应用新型自助式BI,通过报表平台+自助式BI+大数据底层平台的解决方案,来解决企业综合的数据展示和分析需求,形成经营和战略决策。在调研中我们注意到,约有18%的企业引进了新型自助式BI,部分或全部替代了传统BI。虽然传统型BI有其自身优势和应用场景,但随着新型自助式BI的不断发展,传统型BI必将逐渐退出历史舞台,从国际传统BI巨头积极调整产品结构可见一斑。 二、2017年中国商业智能用户状况分析 根据企业的IT人员和业务人员在数据分析中的工作量和投入程度占比,我们将BI用户(企业)划分为5大类型,即BI应用金字塔模型,以更好的统计、分析企业的BI应用状况。 (一)BI应用金字塔模型 1.IT完全主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成95%以上的BI分析页面(注:主要是指用于生产、经营、管理会议所需要的数据分析页面,下同)的开发。业务人员仅负责前端数据查看,完成查看报表时相关联动钻取操作。调研中我们发现,处于“IT完全主导型”这一等级的企业,约有93.2%都在使用传统型BI工具,企业的业务人员基本没有能力,也没有需求去自主完成数据分析的工作。这些企业的业务变革并不剧烈,企业管理层认为当前的日常数据报告能够满足企业管理和决策的需要,相对缺少变革的动力。2.IT强主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成80%~95%数量的BI分析页面。业务人员完成低于20%数量的BI分析页面。从调研数据来看,这类企业中,67.5%的企业认为当前业务人员不具备数据分析的能力。而企业需要快速完成部分数据分析工作,所以选择让IT人员更多承担工作。这类企业中普遍认为,商业智能产品本身并非能够快速上手,且业务人员仍需要统计学基础,阻碍数据分析工作从IT人员向业务人员的转移。3.业务强主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成前期示例不超过20%数量的BI分析页面。业务人员完成超过80%数量的BI分析页面。从调研数据来看,这类企业中,超过80.2%是曾经推行传统BI的企业,并且部分业务人员是有较高学历和能力的,能够学习和掌握商业智能工具和数据分析技能,并愿意在工作中积极使用;从帆软数据应用研究院的实地走访的部分企业来看,这些企业普遍行业排名靠前,公司从高层就重视数据分析工作。4.业务完全主导型其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的部分相关工作。业务人员完成95%以上数量的BI分析页面和相当部分BI工具层面的数据模型处理。相比于第三类使用人群(业务强主导型),这类用户的一大特点是业务变革十分迅速,从事业务工作的人员学历普遍较高,业务经营和发展需要企业快速做出决策。而基于数据分析得出的业务判断相比个人历史经验准确度更高,是这类企业基本共识。比如在新兴的互联网企业,或者新零售领域,这个特点尤为突出。5.智能自助型其典型特征为,IT人员只做底层数据仓库、数据连接、数据字典相关工作。业务人员处理所有BI工具层面的数据处理,以及所有BI分析页面。IT人员搭建数据中心,业务人员完全自主处理和分析数据,这类企业有着明显的资源密集型的特点,业务人员更多的是偏向运营相关的工作。当然,因为此类受访企业占比较少,原因分析的可信度还有待进一步调研来核实。 (二)BI用户状况分布 基于BI应用金字塔模型,2017年企业分布如下;从调研数据中,我们可以得出两大结论。1、 IT人员主导企业数据分析的模式仍占据主流,也就是IT驱动仍是2017年企业商业智能平台应用现状 。从数据调研的受访企业来看,有高达60.5%的企业的数据分析工作仍是第二类型(IT强主导型),甚至有21.5%的企业的数据分析工作处在第一类型(IT完全主导型),这显然和业务人员自助数据分析的目标距离遥远。 2、新型自助BI正在成为商业智能市场的主流。 17.5%的企业是在2017年上线了新型自助BI,实现了让少部分业务人员自助完成BI数据分析的目标。 三、2018年商业智能用户需求分析 (一)企业多级部门数据分层次IT权限和平台管控,占受访企业97.6% 需求描述:BI工具支持企业的多级部门的数据/分析页面权限管控,使得不同层级的部门机构只能看到本部门机构和辖属部门机构的数据/分析页面。需求产生的原因:有的信息中心为释放压力,放权给业务部门使用数据,一旦口子打开,数据缺口就会像洪水一样泛滥,就又会走向另外一个极端,导致放权下的数据管理混乱,数据口径不统一,部门之间的数据壁垒等等问题就会出现,同时这将给企业带来极大的数据安全隐患。满足该需求对企业的价值和意义:在满足业务部门BI数据自助分析的同时,兼顾企业的数据权限管控,形成企业以IT部门集中管理下的良性数据分析风貌,杜绝企业数据安全隐患。 (二)业务人员可通过BI工具进行自助数据分析,占受访企业94.5% 需求描述:业务人员可以在浏览器前端,对自己权限范围内的数据进行多维拖拽探索和自助分析,发掘隐含在数据中的业务价值。需求产生的原因:企业的传统信息化建设中,IT信息中心对公司数据进行高度集中的管控,来自企业各职能部门的数据处理以及报表就会全部由IT人员来输出,一旦业务部门需求集中扎堆,就会造成响应不足,业务部门怨声载道。信息中心自身成员熬夜加班做报表,成就感却很低。满足该需求对企业的价值和意义:通过高效灵活的BI工具,业务人员对自己权限范围内感兴趣数据进行多维拖拽探索和自助分析,以工具简单易上手的低学习成本,让真正对分析业务价值最熟悉的业务人员实现自助数据分析探索,最大化业务数据的分析维度和分析效率,灵活发掘数据中可能潜在的业务价值,同时也解放了IT人员的劳动力,降低企业人力成本。 (三)可快速搭建型自助BI业务数据模型,占受访企业87.5% 需求描述:数据库表中的数据需要基于业务分析主题进行分类管理,相关数据表之间支持手动/自动构建关联模型,同时建立的关联模型支持灵活应用,无需反复编辑修改或创建新的模型,一次建立即可灵活满足多重业务场景进行数据分析使用。需求产生的原因:传统BI工具创建的底层数据关联相互独立,无法重复利用,一旦遇到新的业务数据计算分析场景,数据关联就需要修改或重新创建,极为麻烦,非常不利于IT人员维护。满足该需求对企业的价值和意义:通过BI工具快速构建的新型自助式BI业务数据模型,较传统BI工具针对不同业务分析场景需要多次、重复建模的应用痛点,极大地提高了BI工具的企业中业务数据分析应用的效率,解放了以往IT人员对数据维护的压力。 (四)OLAP多维分析:上卷、下钻、旋转、切片、联动、跳转等,占受访企业84.5% 需求描述:BI工具支持强大的页面OLAP多维分析功能,包括分析视角的上卷、下钻,维度的旋转切换,指标的切换,分析数据的切片过滤,组件之间的联动过滤、页面超级链接跳转等。需求产生的原因:随着业务发展的复杂化,单一角度的数据分析往往难以再发掘出更多有价值的潜在业务信息,取而代之的是需要BI工具能够满足强大的页面OLAP多维分析功能。满足该需求对企业的价值和意义:通过BI工具强大的OLAP多维分析功能,以实现多角度、多关联数据之间的数据无限层次探索分析,发掘出数据中潜在的业务价值。 (五)大数据处理性能处理能力达到十亿数据秒级响应,占受访企业63.6% 需求描述:BI工具可支撑处理亿级以上大数据分析计算的秒级响应,提供多维加速引擎对传统关系型数据仓库(SQLServer、Oracle、Mysql等)进行数据提速处理,同时也支持实时对接企业大数据平台(Vertical、Kylin、Greenplum等)进行数据分析计算。需求产生的原因:一方面,传统关系型数据库在面对上亿级别以上数据量时,容易出现性能瓶颈,长时间的查询等待往往会导致业务数据分析效率太低。另一方面,当今信息化水平飞速发展,越来越多的企业已经有了自己的高性能大数据平台,对于这部分企业来说,拥有一款能够直接对接大数据平台进行数据分析的工具尤为总要。满足该需求对企业的价值和意义:BI工具提供的强大数据计算处理引擎,能够降低企业数据查询等待时间成本,提高业务数据分析效率。同时,通过直接对接企业大数据平台,还可满足企业实时数据分析的需求。 (六)业务人员可完成工具层面的零代码数据加工处理工作,占受访企业57.5% 需求描述:BI工具可通过快速易上手的交互方式,让业务人员也能完成工具层面的零代码数据加工处理工作,例如例如表合并、分组统计、结构数据分层、过滤、增加列、同比环比、累计值、所有值、公式运算等数据清洗和数据处理方法,实现对数据的无限层次多维透视分析统计。需求产生的原因:当业务需求相对偏复杂时,简单的维度和指标统计往往无法直接计算出业务所需要的计算结果,以往的处理方式往往可能是业务部门提需求给IT,然后IT经过SQL或者代码对底层数据表加工处理,然后最终导出一张excel数据表给业务部门,期间的反复沟通和等待时间往往降低了企业的业务数据分析应用效率。满足该需求对企业的价值和意义:通过BI工具,使得业务人员也能快速实现对数据的无限层次多维透视分和析加工统计,降低了传统模式下的沟通成本和等待时间,提高了企业业务数据分析的应用效率。 (七)移动端数据分析查看支持,占受访企业44.9% 需求描述:BI工具支持移动端数据分析多维分析查看功能(兼容PC端的上卷、下钻、旋转、切片、联动、跳转等),对于BI工具的应用app支持便捷的扫码登陆、离线查看、批注、分享等功能,同时满足某些社区平台如微信、钉钉的企业公众号集成。需求产生的原因:在当今这个移动设备便捷时代,仅仅PC端的数据分析已经不能满足某些特定时间和场所的业务分析需求了,而BI对移动端的支持已经成了必然要满足的功能点。满足该需求对企业的价值和意义:通过移动端的BI分析查看,使得数据分析不仅仅局限于PC端,较大地增强了数据分析的便捷性。同时微信和钉钉的集成接入,让业务通过社区平台也能直接查看想要的数据分析页面,更是为移动端数据分析锦上添花。 四、中国大数据BI产品功能预测 结合用户需求调研,和我国BI厂商的产品计划研究,2018年如下六个大的功能模块将会得到增强。 (一)提升自助分析的可操作性和功能丰富度 为满足业务人员可通过BI工具进行自助数据分析的需求,中国大数据BI产品需要改善自助分析的功能和可操作性,包括图表的丰富性。前端布局自定义搭配,让业务人员随心所欲布置。比如仪表板自由布局,可快速拖拽生成所需要分析的页面;在全面支持常见的柱状图、条形图等图形基础上,增加支持中国(世界)地图、GIS地图、桑基图等大数据图表;为了适应更加多样的用户,大数据BI平台需要支持强大的OLAP多维分析功能,包括分析视角的上卷、下钻,维度的旋转切换,指标的切换,分析数据的切片过滤,组件之间的联动过滤、页面超级链接跳转等。业务人员在OLAP多维分析的基础上,能够在数据分析查看时,再次对所有维度进行二次的维度指标加工,并无限层次多维透视分析统计,全面开放业务人员对数据的处理和分析操作,以满足当前中国用户多个视角、多个层级的分析需求,把传统业务分析的智慧充分沉淀到数据分析系统中来。为了给不同用户提供个性化的视觉体验,大数据BI平台支持表格动态数值预警功能和图形设置动态警戒线,支持图表样式风格自由拖拽调整。同时,也需要大数据BI平台智能自动设置预警值和样式风格等。 (二)提升平台的数据挖掘能力 为满足企业业务人员自助数据分析和自动挖掘的需求,中国大数据BI产品需要在已有的数据可视化和数据分析的功能基础上,增强数据自动挖掘能力,使业务人员在能够掌握挖掘基本概念的基础上,深入挖掘分析业务数据,为业务运营提供数据结论支持。大数据BI平台需要支持嵌入式高级分析功能,用户能够轻松使用平台内置的高级分析功能,也可以通过导入和集成外部开发的高级分析模型。比如平台内含数据挖掘常见算法(如线性预测、时序预测、聚类、分类等),或者提供外接其他数据挖掘平台和工具的可视化接口(如R语言或者Python语言),甚至内含适合特定业务场景的挖掘模型。 (三)提升平台大数据处理能力 为满足企业对大数据BI平台实时响应的需求,中国大数据BI产品需要将当前大数据处理能力提升一个量级,达到10亿数据量秒级响应水平,同时支持丰富多样的数据源。大数据BI平台需要支持丰富的数据源,如企业主流的关系型数据库、大数据平台、NOSQL数据库以及多维数据库,需要支持实时对接数据平台和分布式引擎拓展,同时支持跨数据源关联,同时支持对较大级别数据量进行数据抽取和索引建模,提高数据分析效率。 (四)提升平台的数据管理能力 为了满足中国企业业务人员用户对数据处理的需求,中国大数据BI平台需要提升自身的元数据管理能力、数据的ETL处理能力、数据存储能力。提高元数据管理能力,使得用户能够集中管理元数据,包括对元数据进行检索、提取、处理、存储、分享复用和对外发布。中国企业的业务人员将需要在数据分析的过程中,直接操作经过IT人员标准化处理的元数据。近几年来,中国数据分析人才迅速增加,企业中也成长出一批有一定数据分析能力的业务人才,这些中国企业业务人才更多的是需要对数据进行ETL处理和存储,这就需要平台功支持用于查询、提取、转换和加载的功能,具有索引、管理、调度数据的能力。 (五)提升平台分析的共享能力 随着ERP、OA、MES、HIS等常见业务系统的完善,企业少则数十套IT系统,多则上千套系统。新型自助BI需要能够与多个系统同时融合,全面分析企业的业务数据。这就需要中国大数据BI产品需要加强产品与不同软件系统的集成融合能力,这是中国企业面临的共同难题。大数据BI平台需要支持嵌入式部署,如主流的应用服务器,支持跨平台的权限集成和页面集成。大数据BI平台不同用户创建的分析页面,可以方便地分享给其他成员。同时,在企业的分析用户设计仪表板时,可以复用仪表板中的图表、维度、指标等,支持用户分享指定页面进行给其他部门成员,便于互动沟通交流。为满足企业人员实时办公、互通信息的需要。大数据BI平台还需要支持移动端上共享和查看分析结果,支持在移动端对分析结果进行数据层级钻取穿透、联动等。 (六)提升平台的安全性 为了满足企业多级部门同时使用、不同权限的功能,中国大数据BI产品除了要提供灵活丰富的用户管理功能、权限控制功能,还需要内置强大的用户行为监控与分析功能,确保企业的数据安全和信息保密。大数据BI平台将支持持批量导入用户,支持同步企业统一权限管理数据库中的用户,以企业IT系统统一的用户管理方式进行用户管理。支持用户以企业IT系统统一的用户权限认证方式进行权限管理。同时,需要支持短信平台功能,并可用于用户账号身份验证等,多种用户和权限管理方式,来满足广大中国企业的不同的安全级别要求和安全管理策略。随着大数据BI在中国的发展,中国企业自身的大数据BI平台已有众多员工账号。这就对大数据BI平台提出新的挑战,除了要拦截非法用户,还要对大数据BI平台有效用户进行有效监控。2018年,大数据BI平台需要支持监控用户的操作行为,支持监控页面被访问的频次、访问来源,甚至是支持监控访问到的数据范围。为了保证大数据BI平台系统持续支持企业经营管理,需要大数据BI平台支持系统数据迁移到企业数据库,支持对系统进行备份与还原,备份可以手动或设置周期定时备份。同时,支持云端服务器部署和本地服务器部署,支持多机热备,达到企业的灾备要求。此外,为了有效避免BI平台出现严重异常,还需要支持监控自身的运行性能,遇到系统性能风险,提前给出系统预警信号。本文来自亿欧,创业家系授权发布,略经编辑修改,版权归作者所有,内容仅代表作者独立观点。
12月19日 北京消息:随着新业态、新模式、新技术对传统产业冲击的不断加强,数字化转型已经成为全球企业的共识。为促进我国传统产业的数字化转型变革,总结当前中国不同行业数字化发展经验及发展现状,分析传统产业数字化转型的内涵和主要特征,探索数字化与传统行业转型之间的内在联系,促进我国传统产业数字化转型提出有一系列科学的且操作性强的建议。为此,12月18日至顶网发布《2018中国数字化转型进程调研报告》(以下简称报告),报告历时一个月,基于全国超过500家企业样本数据,对来自政府、金融、制造、医疗、能源、教育、零售等全行业技术从业者,进行企业数字化转型水平调研。当然限于问卷篇幅原因我们没有覆盖所有的技术服务提供商。通过用户的反馈,我们发现绝大多数企业用户已经认识到数字化转型,并已成为企业战略的必选项。其中英特尔在技术服务供应商选择、混合云、大数据、人工智能技术和生态上脱颖而出,受到了高度的关注。 报告包括四个章节:数字化转型现状与挑战、数字化核心技术分析、数字化转型的行业特征、未来数字化投资重点,并附上热门数字化转型技术解决方案和数字化转型成功案例。调研重点发现· 数字经济已经成为经济增长的核心动力,数字经济和相关领域融合发展具有极大的潜力,将进一步促进我国经济发展和结构转型。· 数字化转型已经成为全球企业的共识,其是数字经济的新阶段,不仅可以扩展新的经济发展空间,促进可持续发展,而且可以推动传统产业转型升级。· 超过半数的企业都或多或少开展数字化转型,未来单点试验和局部推广的企业,随着数字化转型的深化,以及良好的业务反馈,也将加速进入广泛推广阶段,为优化创新打好基础。· 云计算、大数据、人工智能等数字化技术仍然是企业的关注重点,根据企业业务场景和需求的不同,数字化技术的应用会呈现多种组合态势。企业应做好数字化转型整体规划,确定范围和优先级,为后续实施增加可行性。· 随着行业数字化转型的逐步深化,云计算、大数据、人工智能、物联网、区块链等技术正在与制造、金融、通信、医疗、教育、能源等传统行业实现深度融合,进一步形成更加开放、融合、协同发展的数字化生态体系。· 传统企业未来投资还将集中在进一步完善数字化基础设施建设上,尤其在数据中心层面,企业将加大投入力度。软件定义也将进一步发展,帮助企业从中获得驱动业务变革的能力。报告在详尽分析企业数字化转型内涵和进程的基础上,从技术应用、创新、管理变革等维度构建企业数字数字化转型全貌。对全国全行业企业数字化转型水平进行分析,就夯实基础、深度数字化和管理变革等发展特征、趋势进行深入剖析,最后围绕企数字化发展未来趋势进行展望。逆水行舟,不进则退,至顶网作为一个致力于记录和推动数字化转型的信息服务平台,我们一直与中国企业技术决策者同行于数字化转型之路,传播知识、带来思考。而这份调研,就是在岁末年初之际,对代表性用户的一次“技术普查”,我们希望通过这份普查,让您知同行们的当前之思、未来之行,让您的数字化转型之路少崎岖、更平坦。
商业智能(Business Intelligent)也被称为商业智慧或商务智能,人们习惯的称呼为“BI“,围绕BI工具建设的平台常称为”某某BI系统“、”某某报表平台“、”某某管理驾驶舱“等。BI(商业智能)技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处,让企业决策有数据依据,减少决策盲目性,理性地驱动企业决策和运营。近几年,BI越来越多的跟大数据联系在一起,BI工具需要提供大数据处理能力,也需要能实时对接大数据平台进行数据分析计算。自2012年以来,中国大数据BI行业都保持着快速的发展,虽然2018年企业外部环境愈加复杂,但BI行业并未受到明显影响,依然强势取得了同比增长25.8%的成绩。这一增长率,约是中国软件业增速的2倍,中国GDP增速的4倍。但是整体来看,中国BI行业的市场规模依然很小,2018年约有16.6亿人民币(纯软件销售收入,不含项目实施、项目运维),我们可以肯定,未来中国BI行业的发展潜力巨大。帆软数据应用研究院是中国研究大数据BI行业的重要力量之一,始终密切关注着中国BI行业的发展。自2018年3月开始,我们通过线上、线下的调研方式收集信息,共覆盖了全国各地5500多名企业IT及相关业务部门人员,了解到他们的大数据BI应用状态、需求情况、对大数据BI产品功能的期待等,并走访了重点企业。我们还重点研究了IDC、Gartner、赛迪顾问、中国信通院等咨询研究机构对大数据、BI、数据分析行业的分析判断。结合多位帆软数据应用研究院专家,以及一线售前工程师、行业化顾问、项目经理们的经验、积累,我们研究分析了2019年BI行业发展趋势,并将这些成果总结为《2019年中国大数据BI(商业智能)行业预测报告》(后台回复关键字“报告”下载原文),期待着您的批评斧正。主要预测观点2019年BI行业纯软件收入规模将达到21亿元,同比增长27;2019年BI行业市场依旧处于整合期,马太效应明显;企业中BI用户的不断增加,中层使用BI的比例增速更快;2019年企业BI项目成功的三大障碍分别为:数据整合治理、数据人才培养以及企业数据文化的建设;2019年BI用户最关心的功能为:企业BI平台数据权限管控、探索式自助分析、快速搭建业务数据模型、OLAP多维分析、大数据处理性能、自助数据处理和移动数据分析查看。2019年BI行业基本面自我国开始实施国家大数据战略以来,大数据BI行业保持着高速稳定的发展。一方面得益于国家政策的牵引,如《大数据产业发展规划(2016-2020年)》等利好政策,对打造“数据、技术、应用与安全协同发展的自主产业生态体系”做了全方位的支撑和部署。另一方面,持续多年的信息化应用价值教育,企业自身信息化建设的准备,以及企业面临的实际经营难度和压力,都让越来越多的企业更坚决的拥抱BI产品,期望通过精细化运营来提升经营效益,增强市场的竞争力。当前我国已经进入BI(商业智能)及DA(数据分析)领域的第一方阵,并成为发展最快的国家之一,但距离美国还有一定的差距,在未来五年内,中国都将处于追赶态势。(1)企业信息化基础建设落后,BI市场教育需要持续进行。中国企业信息化起步较晚,企业上线BI更是需要一个过程。2001年我国加入WTO以后,受到上游国际企业的要求和影响,ERP、MIS、SCM、OA等综合业务管理系统在国内企业迅速生根发芽,从外向型规模制造企业到其他行业延伸,但直到2008年~2015年期间,一、二线城市稍具业务规模的企业才上线了主要业务系统,要知道美国通用汽车在20世纪80年代就已经实现了初步的OA与ERP功能。当前整体来看,中国企业信息化建设较美国落后10至15年,尤其是西北、西南等偏远地区,落后更多。(2)国内外的BI需求不同,国产BI的先进性需要重新定义。Gartner作为全球BI行业最重要的观察者,每年都会发布BI和分析平台魔力象限报告,报告中的领导者企业一般会被认为当前BI行业中最尖端企业,代表着最先进的生产力,遗憾的是至今国内BI产品还从未入榜。由于我国企业对BI的需求、关注点、市场特征、发展阶段均与国外有所不同,目前处于国外商业智能趋势风口的诸如自然语言搜索、语音生成、自动生成等增强分析功能在国内仍停留在概念阶段,并未形成规模化市场应用,所以国产BI厂商在需求的响应和方向选择上有自己的准则,并非“为了先进而先进”,所以国产BI的先进性需要重新定义。2018年中国大数据BI行业(纯软件销售收入,不含项目实施、项目运维)的增长率达到25.8%,比2017年的22.3%高出将近4个百分点。在诸多行业中,BI取得的成绩是十分瞩目的,BI行业的增长率约是中国软件业的2倍, GDP增长率(6.6%)的4倍。虽然增长率迅速的,但中国BI行业的市场规模依然很小,2018年约有16.6亿人民币,未来中国BI行业的发展潜力巨大。我们估计,2019年中国BI行业软件收入规模将达到21亿左右,增长率达到27%。大数据BI行业已然是个香饽饽,进场者越来越多,鱼龙混杂,整个竞争局面是神仙打架,小鬼遭殃。2018年活跃的BI工具和厂商,约有50个,较2017年的42个多出8个,很多产品都是近两年推出的。BI行业是个充满吸引力的领域,同时也是极具门槛的领域。B2B行业与B2C、C2C行业属性不同,即便是在互联网巨头或大量资本的支持下,没有较明显的产品优势、服务优势和用户基础,新创品牌是很难闯出一片天的。早些年大量融资的BI企业,2018年的日子并不好过,后劲明显不足。在市场知名度方面(品牌提及率,提到BI想到的厂商品牌),帆软以29.27%的品牌提及率一马当先,IBM以11.54%、SAP以5.98%分列榜眼、探花,微软以5.34%位居第四,Tableau以3.63%位居第五。IBM、SAP因为未能提供有竞争力的自助式BI产品,其知名度正持续下降,但得益于他们在IT领域的沉淀,销售业绩并未出现大幅度的衰减。微软、Tableau的产品因为本土化服务策略、商业策略以及产品特性,知名度也有限。至于领头羊的帆软,其稳健的产品和服务策略,知名度、销售业绩双双提升。其他厂商则过于小众,提及率普遍在1%以下,甚至更低。可以看到,同金融、保险、生产制造、互联网等行业一样,结合各企业的实力现状和发展潜力(人才结构、企业文化理念等因素),我们相信在未来的很长一段时间内,BI行业的马太效应持续增强,强者益强,弱者益弱。企业应用BI系统的现状如上文所述,企业对BI的重视程度在不断增加。为了让BI成功落地,产出更多价值,大多数企业改进了组织架构,对IT部门进行重新定位,比如分拆除ITBP、数据分析师、数据运营官等职能岗位。据调研,2018年约7成的企业已经成立了履行数据分析工作的相关部门(或扩展IT部门的职能),较2017年增长将近10个百分点。因为企业的需求,IT部门也正逐渐从幕后走向台前,承担更多的责任。调查数据显示,有35.2%的企业信息化方向和策略,是基于该公司战略目标或管理层决策制定的。有47.1%企业处于技术运维阶段(能够通过IT手段,增强企业业务的管理和运作能力,对业务有一定的支撑),有40%处于合作伙伴阶段(合作伙伴,能够在业务部门还未想到之前,就运用IT技术,帮助实现业务的发展和新业务的开拓)。对于工作成绩,领导层对数据分析/BI项目的满意度超过80%(非常满意的38.9%,比较满意的42.6%)。在IT部门不断崛起的过程中,BI的价值也得到了更充分的释放。调查数据显示,约38%的企业处于业务监测阶段(传统的DW/BI阶段,用以监测现有业务的运行状况),26%的企业处于业务洞察阶段(使用统计分析、预测分析、数据挖掘,来提示重大、相关的业绩改善建议,即“告诉我我所需要知悉的”阶段)。有16.7%的企业明确表示,BI建设落后,无法满足多变的需求,需要升级。此外,我们在调研中发现,BI的应用层面正从领导层向下扩散,越来越多的中间层(业务管理层、业务执行层)使用BI,2019年将更快的增长。从诞生之日起,BI的直接受众都是企业的决策者,但近来由于入门级BI(报表工具)的推广应用,越来越多的中层开始享用BI系统带来的好处。调研发现,在成功上线BI项目的企业中,约有57.3%的企业领导在使用BI进行数据查看和分析;业务管理层和业务执行层中越来越多的人在使用BI,人数已经过半。我们惊喜的发现,IT部门与业务部门的配合愈加紧密。虽然IT完全主导、IT强主导仍然是常态,但是业务强主导则从2017年的9.67%增长至2018年的23.31%,翻倍增长。未来将会更加紧密。仅有3.45%的企业,IT与业务的配合较差,存在一些部门墙。但是,25.9%的企业配合如鱼得水,IT理解业务,业务认可IT。整体来看,企业应用BI系统的状况不断良性发展,但也面临着诸多挑战,也是BI成功的重点、难点。(1)数据整合治理。64.8%的受访企业表示数据的整合与治理,是未来的主要挑战。数据问题主要集中在:“数据过于分散,形成数据孤岛,取数分析麻烦” “底层数据混乱,存在准确、失效、性能的问题”这两个方面。一半的受访企业认为,数据人才的培养和数据分析工具的选择,也是主要难点。(2)数据人才的培养。从整体背景来看,越来越多的企业开始把数据人才作 为企业经营战略版图的核心组成部分,集中表现越来越愿意花高薪聘请大数据人才,整体薪资水平在不断提升。但是优秀的大数据人才培养的成本 居高不下,培养周期长,人才供应始终是在大数据人才需求越来越大的背景下捉襟见肘。薪资竞争力不足以及企业创新力不足,让传统企业愈加困难。(3)企业数据文化的建设。在企业认可数据,积累数据的过程中,大数据团队对数据人才的培养也会逐步找到一些法门,这些方法和技巧无不是围绕在数据文化建设之上。调查显示,在彰显数据文化方面,虽然“沟通协调讨论用数据说话,基于数据讨论”达到了81.8%,但“数据获得容易,数据分析快速、流畅”还不足35.19%。让BI成功并非易事,尤其是让BI能持续产出价值,更是一个重大挑战。无论BI厂商如何去改进产品,都不能忽视掉使用BI的人的要素。我们交付给企业一款好的产品,但不教给他足够的本领去驾驭这款产品,就像给你一把绝世好剑,但没有给你剑谱,你依然是个菜鸟小白,即便给了你一个剑谱,如果你没有刻意练习,那到头还是一事无成。我们结合2017、2018年的售前咨询经验发现,企业用户如果不具备充足的BI项目建设能力,那么他们更倾向于让BI厂商提供一揽子方案,而不是只采购软件然后让企业的IT部门学习、实施。未来BI厂商提供给用户的,除了产品以外,还有配套的学习资源、培训资源、服务资源、交流平台、各行业咨询方案以及一揽子的项目实施,这一套组合拳,也正是国产BI厂商克敌制胜的法宝。2019年BI主要的功能需求Gartner2019年度分析和商业智能平台的魔力象限报告分析认为,到2020年,增强分析将成为新购买分析和商业智能,数据科学和机器学习平台以及嵌入式分析的主要推动力,50%的分析查询将通过搜索,自然语言处理或语音生成,或者将自动生成;到2021年,自然语言处理和会话分析将提高分析和商业智能的采用率,从35%提升到50%以上。如上文所述,中国实际情况与欧美不同,以Gartner为代表的分析机构并不能准确描述我国BI行业的实际状况,帆软数据应用研究院的研究结果可能跟接近用户的声音:中国BI用户目前主要的需求还是围绕企业BI平台数据权限管控、探索式自助分析、快速搭建业务数据模型、OLAP多维分析、大数据处理性能、自助数据处理、移动数据分析查看这七大核心模块。(1)企业BI平台数据权限管控支持企业用户的多级数据权限分配,数据表支持分配行级别以及列级别的权限,同时支持分级管理员对自己权限范围内的数据表、业务包、模板和用户进行管理,满足集团企业分级管理的需求。当今时代企业对数据安全管控越来越重视。无论未来商业智能市场发展趋势如何,BI平台数据权限管控都将是现代企业商业智能分析的基石。(2) 探索式自助分析支持业务人员对自己权限范围内感兴趣数据进行多维拖拽探索和自助分析,以工具简单易上手的门槛和低学习成本,让真正对分析业务价值最熟悉的业务人员实现自助数据分析探索,最大化业务数据的分析维度和分析效率,灵活发掘数据中可能潜在的业务价值。相比于过去IT集中式做报表的信息化模式,在未来,业务部门的数据和分析专家数量将以IT部门专家的三倍速度增长,相信这将迫使企业重新考虑其组织模式和数据技能。通过现代商业智能产品简单易上手的学习门槛,这将会让人人都成为数据分析师的能力不再只是IT人的独有技能。(3) 快速搭建业务数据模型根据企业不同业务数据分析主题进行分类管理,同时支持自动/手动构建高度可复用性业务数据关联模型,一次创建即可满足不同数据分析业务场景应用,无需反复对底层数据模型进行编辑修改。通过构建高度灵活、高可复用性的敏捷业务数据模型,让IT部门逐步摆脱企业取数机的困境,大幅度提高企业的数据分析应用效率。(4) OLAP多维分析支持强大的页面OLAP多维分析功能,包括分析视角的上卷、下钻,维度的旋转切换,指标的切换,分析数据的切片过滤,组件之间的联动过滤、页面超级链接跳转等。由于传统的单一汇总式指标展示形式,已经逐渐无法满足业务分析的复杂度,OLAP多维分析提供的强大分析功能正是帮助用户洞察数据背后的深刻业务见解提供了便利的工具。(5) 大数据处理性能BI工具可支撑处理亿级大数据分析计算的秒级响应,提供加速引擎对传统关系型数据仓库(SQLServer、Oracle、Mysql等)进行数据提速处理,同时也支持实时对接企业大数据平台(Vertical、Kylin、Greenplum等)进行数据分析计算。通过BI工具强大的数据抽取计算引擎,能够极大地提高数据计算速度,同时也支持实时对接企业大数据平台,为业务用户提供海量数据下分析的性能保障。(6) 自助数据处理BI工具可通过快速易上手的交互方式,让业务人员也能完成工具层面的零代码数据加工处理工作,例如例如表合并、分组统计、结构数据分层、过滤、增加列、同比环比、累计值、所有值、公式运算等数据清洗和数据处理方法,实现对数据的无限层次多维分析统计。传统BI工具对于一些稍微复杂的数据分析场景,往往需要依赖IT人员进行SQL或者ETL处理,然后再将结果数据导出给业务分析用户,沟通成本大,分析效率低。而通过零编码式的自助数据处理,让普通的业务分析用户也能快速的完成基础的数据清洗和加工操作。(7) 移动端数据分析查看BI工具支持移动端数据分析多维分析查看功能(兼容PC端的上卷、下钻、旋转、切片、联动、跳转等),对于BI工具的应用app支持便捷的扫码登陆、离线查看、批注、分享等功能,同时满足某些社区平台如微信、钉钉的企业公众号集成。通过移动端的数据分析应用,正逐步让企业的数据分析展示终端不再仅仅局限于PC和大屏应用,较大地提高了分析的便捷性。结语BI(商业智能)已经成为企业精细化运营不可获取的一部分。企业数据需要转换为信息,升级为知识,升华成价值的过程要用到的种种技术和工具,就是BI。如果把企业经营和管理的数据比喻为金矿,那么BI就是一个淘金场,负责采集大量的金矿石、金沙,然后经过进一步的分离、加工等操作,最后提炼出千足金。BI系统的运作过程,也是炼石成金的过程。酒香也怕巷子深,BI工具的知名度还亟待提升。很多企业有非常明显的BI需求,但是他们不知道有“BI工具”可以帮他们解决问题,更不要说对BI厂商的认知了,这也从侧面反映出BI市场的巨大潜力。市场教育不是一朝一夕的事情,需要BI同行们的共同努力。“待到山花烂漫时,她在丛中笑”,2019年,中国大数据BI行业会更好。 作者简介帆软数据应用研究院资深专家,帆软阿米巴咨询总监,盛和塾理事长单位特聘顾问,浙江省经信委特邀研学专家。专注阿米巴经营、企业数据化管理、精益生产、智能排产。曾主导浙江华友钴业、海航、重庆耐德工业等企业落地阿米巴。尤其擅长集团数据治理,将大数据应用引入到企业,从数据角度解决企业面临的库存、财务、经营等管理问题;推倒部门墙实现经营数字化、透明化,解决企成本高、浪费大的问题;从数据角度为管理创新、产品创新另辟蹊径。帆软BI资深产品运营经理、资深数据分析专家。曾参与过华三通信、瓮福福团、神华能源、中财集团等诸多客户大型项目的前期BI信息建设推进。曾推出"FineBI V5.0基础学习视频"、“BI工程师从入门到精通线上学习班”、“跟Royide老师学习FineBI系列直播课程”,广受学员好评。帆软数据应用研究院研究员、帆软零售行业总监。专注于零售行业大数据解决方案、现有零售大数据解决产品《零售管家》,涉及零售企业攻守模型、数据化管理、门店管理、主题分析等模块。为永辉、步步高、中百仓储、广百等企业的大数据平台提供专业服务,帮助提升企业信息透明化、管理数据化,打通企业数据链和管理链,数据直达业务与管理,搭建企业数据与价值的桥梁。关于帆软数据应用研究院帆软数据应用研究院是帆软公司主导成立的,也是国内主要的、高水平的大数据BI分析领域研究机构。研究院专注于企业数据化应用、大数据BI技术趋势和理论观点的研究,致力于让数据成为企业真正的生产力。自2016年9月正式成立以来,研究院输出了大量的企业应用案例、行业解决方案、行业观察评论、数据化管理思维模型等内容,并指导参与了多个业内顶级会议、沙龙,专业水准和知识产量均被业内称道。
题图来源@视觉中国钛媒体注:2月28日上午,中国互联网络信息中心(CNNIC)今日发布第43次《中国互联网络发展状况统计报告》(以下简称“报告”)。报告显示,截至2018年12月,我国网民规模为8.29亿,全年新增网民5653万,互联网普及率达59.6%,较2017年底提升3.8%。其中,手机网民规模达8.17亿,全年新增手机网民6433万;网民中使用手机上网的比例由2017年底的97.5%提升至2018年底的98.6%,手机上网已成为网民最常用的上网渠道之一。2018年,我国个人互联网应用发展势态良好:网购用户继续稳步增长,短视频市场逐步成熟,而网络直播则进入规范化和调整期,部分进行关停或整顿。互联网产业方面,电子商务交易额快速增长,网络零售额连续六年稳居世界第一 ,继续保持快速增长;游戏业务同比增长17.8%,收入增速较去年呈高位回落态势。随着技术的发展,我国网络技术安全方面有显著提升。数据显示,49.2%的网民表示在过去半年中未遇到过任何网络安全问题,较2017年底提升1.8%。遭受网络诈骗的网民比重也在进一步降低,其中最常遭遇的虚拟中奖信息诈骗,较2017年底下降9.2%。在新兴技术方面,5G技术、云计算、大数据等第一次写入报告。其中,我国5G发展进入全面深入落实阶段、5G核心技术研发和标准制定取得突破、5G产业化取得初步成果。我国云计算技术、大数据领域也呈现良好发展态势。阿里2018年云计算收入同比增长超90%,腾讯前三季度同比增长超过100%,均保持了高速增长。我国大数据产业不断成熟,持续向经济运行、社会生活等各应用领域渗透。预计未来5年,我国大数据市场年复合增长率将达到17.3%。(钛媒体编辑陶淘综合自新浪科技)以下为报告核心内容,经钛媒体摘编:网民年龄结构向中高龄增长(一) 性别结构截至2018年12月,我国网民男女比例为52.7:47.3,与2017年同期基本持平。(二) 年龄结构图片来源:CNNIC我国网民以中青年群体为主,并持续向中高龄人群渗透。截至2018年12月,10-39岁群体占整体网民的67.8%,其中20-29岁年龄段的网民占比最高,达26.8%;40-49岁中年网民群体占比由2017年底的13.2%扩大至15.6%,50岁及以上的网民比例由2017年底的10.5%提升至12.5%。(三) 学历结构我国网民以中等教育水平的群体为主。截至2018年12月,初中、高中/中专/技校学历的网民占比分别为38.7%和24.5%;受过大学专科、大学本科及以上教育的网民占比分别为8.7%和9.9%。(四) 职业结构截至2018年12月,在我国网民中,学生群体最多,占比达25.4%;其次是个体户/自由职业者,占比为20.0%;企业/公司的管理人员和一般职员占比共计12.9%。(五) 收入结构截至2018年12月,月收入 在2001-5000元的群体占比最高,为36.7%;月收入在5000元以上的人群占比为24.1%,较2017年底提升3.9个百分点;有收入但月收入在1000元以下的人群占比大幅下降,已由2017年底的20.4%下降至15.8%。个人互联网业务稳中向好,网络直播进入转型调整期2018年,我国个人互联网应用保持良好发展势头。网上预约专车/快车用户规模增速最高,年增长率达40.9%;在线教育取得较快发展,用户规模年增长率达29.7%。我国网络购物用户规模达6.10亿,较2017年底增长14.4%,占网民整体比例达73.6%。网络支付用户规模达6.00亿,较2017年底增加6930万,使用比例由68.8%提升至72.5%。社交电商等新玩法的出现,也让电商领域增添新活力。随着短视频市场的逐步成熟,用户规模已达6.48亿,用户使用率为78.2%,2018年下半年用户规模增长率达9.1%。而网络直播则进入转型调整期,多家直播平台宣布关停,用户大规模流失。截至2018年12月,网络直播用户规模达3.97亿,较2017年底减少2533万,用户使用率为47.9%,较2017年底下降6.8%。2017.12-2018.12网民各类互联网应用的使用率2017.12-2018.12手机网民各类手机互联网应用的使用率2018年11月,15-19岁年龄段网民人均手机APP数量最多,达到59个;其次为20-29岁网民,人均手机APP数量为45个;20岁之后网民人均手机APP数量随年龄增长逐步减少,60岁及以上网民人均手机APP数量为28个。互联网产业:电商稳步增长,网络游戏增速回落(一)电子商务平台收入3667亿元,同比增长13.1%从产业规模来看,电子商务交易额快速增长,网络零售额连续六年稳居世界第一 。2013年至2017年间,我国电子商务交易额从10.40万亿增长到29.16万亿 ,年均复合增长率为29.4%,2018年仍然保持快速增长趋势。2017年我国B2B平台服务营业收入规模为630亿元,同比增长18.9% 。2018年全国网上零售额90065亿元,同比增长23.9%。其中,实物商品网上零售额70198亿元,增长25.4%,占社会消费品零售总额的比重为18.4%,比2017年提高3.4个百分点 。2018年,电子商务平台收入3667亿元,同比增长13.1%,电子商务平台收入仍然保持快速增长。其中,第四季度平台收入最高,为1147亿元。(二)游戏业务收入增速回落,移动应用数量平缓增长后趋稳2018年我国网络游戏(包括客户端游戏、手机游戏、网页游戏等)业务收入达1948亿元,同比增长17.8%,收入增速较去年呈高位回落态势。我国游戏类移动应用数量较2017年保持增长,并于下半年趋于平稳态势。截至2018年12月,我国游戏类移动应用数量达138万,较2017年底的107万增长29.0%,自6月起游戏类移动应用数量逐渐稳定于130万左右。网约车加强安全管理,推动新能源汽车布局截至2018年12月,我国网约出租车用户规模达3.30亿,较2017年底增加4337万,增长率为15.1%。网约专车或快车用户规模达3.33亿,增长率为40.9%,用户使用比例由30.6%提升至40.2%。运营管理层面,网约车行业规模不断扩大,运营车辆向新能源升级。主要表现为:其一,新竞争者入局,市场竞争日趋激烈。截至2018年10月,已有100多家网约车平台公司在部分城市获得经营许可 ,继携程、高德、美团等跨界布局网约车市场后,戴姆勒吉利等企业入局;其二,新能源汽车未来将逐步淘汰传统网约车辆。部分城市陆续调整网约车实施细则,规定新增或更新的网约车牌照车辆必须为新能源汽车,已有专车平台按照“互联网+新能源”模式布局网约车市场。政策监管层面,网约车行业规范管理不断深入,强化安全保障。主要表现为:其一,2018年,继网约车行业推行建立事中事后联合监管措施后,交通运输部联合多部委组织安全专项检查,治理网约车市场乱象;其二,为维护乘客人身安全等合法权益,网约车企业优化产品结构强化安全保障。升级车载智能硬件系统,借助人工智能实现智能驾驶安全监测、智能乘车安全辅助等。试行多个安全保护功能和措施,包括短信报警、实时位置保护以及建立线上司乘黑名单等具体安全措施。互联网企业城市集中分布于北上广深杭(一)互联网上市企业情况截至2018年12月,我国境内外互联网上市企业44总数为120家,较2017年底增长17.6%;我国境内外互联网上市企业总体市值为7.89万亿人民币。其中,在沪深上市的互联网企业数量为46家,与2017年底持平;在美国上市的互联网企业数量为48家,较2017年底增加7家;在香港上市的互联网企业数量为26家,较2017年底增加11家。互联网上市企业数量分布截至2018年12月,在120家互联网上市企业中,北京的互联网上市企业数量最多,占互联网上市企业总数的33.3%;其次为上海,占总体比重的19.2%;深圳、杭州、广州的互联网企业占总体比重分别为11.7%、9.2%、5.0%。互联网上市企业城市分布互联网上市企业城市分布较为集中。北京、上海、深圳、杭州、广州等城市在政策、产业、投资、人才及技术等方面的优势对该地区互联网企业的上市起重要的驱动作用。随着互联网产业范围的不断扩大以及多层次资本市场的改革完善等,未来互联网上市企业有望在更多的地区产生。互联网上市企业类型分布我国互联网上市企业中,网络游戏类企业数量居于首位,占比为22.5%;其次是文化娱乐类企业,占比为18.3%;电子商务、网络金融、工具软件和网络媒体类企业紧随其后,占比分别为13.3%、10.8%、9.2%和5.8%。当前,网络游戏、文化娱乐、电子商务等互联网业务稳步发展,更多新兴产业模式不断涌现。(二)互联网独角兽企业情况根据创业企业的融资数据和主流投资机构认可的估值水平进行的双向评估,截至2018年12月,我国网信独角兽企业45总数为113家。其中,北京的独角兽企业最多,占独角兽企业总数的47.8%。北京、上海、广东、浙江四地的网信独角兽企业总占比达到92.1%,形成新业态集聚发展的良好态势。网信独角兽企业地区分布从网信独角兽企业的业务类型分析,截至2018年12月,企业服务和网络金融类企业组成网信独角兽企业第一梯队,分别占企业总数的15.9%和14.2%;电子商务和文化娱乐类企业组成第二梯队,均占企业总数的11.5%;汽车交通、智能硬件和在线教育类企业分别占企业总数的8.8%、7.1%和6.2%。网信独角兽企业类型分布网信独角兽企业的业务类型分布从一定程度上反映了我国网信领域新业态、新模式、新技术的发展趋势。随着网信独角兽企业的不断发展,其对我国互联网产业和经济发展的创新推动作用将会愈加显著。
当武汉按下重启键之后,作为“武汉分之一”的东风Honda快速吹响了复苏的号角,并推出了2020年上市的第一款新车全新UR-V。因为疫情,万众期待的全新UR-V姗姗来迟,但是,丝毫不影响其旗舰SUV的光芒。全新UR-V集成了东风Honda最前沿的设计、最高级的用料、最先进的技术,能够满足不同消费者对于未来的追求,正在热播的《向往的生活》第四季中,追寻美好事物,品人间百味的明星嘉宾的专属座驾就是全新UR-V,可以说每一细节都透露着东风Honda站在企业层面对于“你好,生活”的诠释。6月5日晚上,本田在华的旗舰SUV全新UR-V正式上市,价格为24.68万-32.98万元。作为一款诞生之初就聚焦都市新中产的高品质旗舰SUV座驾,凭借集至臻豪华感、高端驾乘体验与丰富前沿科技配置于一身的高品质出行体验,深受目标人群认可和喜爱。全新UR-V虽然已在中高端市场独树一帜,但绝没有止步不前,东风Honda在做足了市场调研后,推出了全新改款车型,相比老款车型,新车的变化非常大,从外观到内饰,从配置到调校,东风Honda又一次让UR-V跑到了市场前列,让外界看到了“本田大法”的产品和技术实力。对于这样一款承载着本田旗舰和品味的SUV,用户和媒体以及经销商伙伴如何看待?全新UR-V的哪些细节最能打动用户?对此, 麻辣车事联合北京可瑞德市场咨询,从价格、配置、用户年龄等多个维度对全新UR-V进行了一次用户感知的市场调查,通过大数据分析发现,都市新中产对全新UR-V的认可度非常高,各个用户群对全新UR-V的未来市场表现看好。都市新中产对全新UR-V认可度高东风Honda全新UR-V定位于“大5座旗舰SUV”,主要消费群体为“都市新中产和精英”,从上图可以看出30-40岁用户占了非常高的比例,达到了51%,说明东风Honda对消费者的把握是非常到位的,而高达21%的90后车主,又充分证明了东风Honda在年轻化方面是走在其它车企前面的。只要是7座SUV,都会有所妥协,比如悬挂、空间分配等等;大部分7座SUV的第三排,坐人都很勉强,而且实际利用率非常低。正是因为对市场的调研与自身的预判,UR-V不做7座,是有道理的,与其让你“委屈”在第三排,不如给你5个奢侈的沙发式体验。全新UR-V上市后,不仅在颜值、配置等细节方面做了优化,还在营销、服务方面跟上了时代潮流,对于这样一款高品质SUV,到底能否取得突破性的成绩呢?24.68万-32.98万元的价格,与老款车型相比没有变化,但从图中我们可以看出,接近半数的消费者对价格还是比较满意。价格满意度达90%以上47%的老车主认为价格非常满意,表示非常羡慕全新UR-V的车主,因为买UR-V都是看重其出色的驾乘体验,因为流传着“买发动机送车”这样的说法,再加上极其时尚运动的外观,非常适合年轻一代消费者,新款车型进一步体现了它的优势,像智联等配置的加入,使得新车质感在同价位中非常出色,此外,24.68万元的起售价,是在接受范围的。54%的经销商认为价格非常满意,29%的经销商比较满意,其原因在于UR-V在同级别中本来就具备明显优势,2.0T+9AT动力组合表现抢眼,后排空间比大部分竞争对手都更舒适,新款车型增加手机无线充电、感应后备箱等配置,并在外观细节上做了调整,更加符合年轻人的审美,入门级车型只要24.68万元,不能说是同级最亲民,但也是有竞争优势的。52%的媒体认为价格是非常有竞争力的,满意度高达94%,在大部分媒体眼中,在20-30万价格区别,可以选择的合资中型SUV不算多,锐界和汉兰达主打7座,但使用率并不高,第二排空间不如UR-V坐着舒适,并且他们的入门级车型配置偏低,选择全新UR-V对于不妥协、不将就、不凑合的家庭来说更加适用。消费者更偏爱“技术宅”从分析图中可以看出,对于全新UR-V,大家认为最大的吸引点主要集中在外观、动力、配置以及空间四方面。27%的媒体认为全新UR-V最大的优势在于配置,相比同级对手,“入门即高配”的特点非常容易打动消费者,走量的中配车型配备了自适应巡航、驻车雷达、胎压监测、定速巡航、全景天窗等等,足以满足日常出行中的场景。新车的前后排车窗及前挡风都采用了双层隔音玻璃,另外还通过ANC主动降噪、配备降噪轮毂、车身部件追加隔音材料等方式提升车厢静谧性。而31%的网友表示,买全新UR-V肯定是冲着发动机去的,无论是1.5T还是2.0T涡轮增压发动机,其中2.0T涡轮增压发动机最大功率200kW,最大扭矩370N·m,在同级竞品中都是非常强劲的,与之匹配的9AT变速箱,既保证了强劲顺滑的动力输出,也带来更为直接的动力响应。并且UR-V的燃油经济性非常不错,后期用车成本更低。此外,个性化也是全新UR-V的一大标签,在外观方面,熏黑式中网的镀铬条镶嵌在中网上沿,而且同样延伸到了两侧大灯内。大灯组相比老款车型也是宽厚了不少,并且和巨大的中网完美的融为了一体,极具攻击性。经销商针对全新UR-V质价比也发表了同样的看法,汽车市场的消费升级,有两个方向:一是偏向豪华;二是偏向智能、功能。UR-V这款车从某种程度讲是两者兼顾的,它的豪华程度,已经超越了很多豪华车。他们认为UR-V代表了东风Honda最先进的造车工艺,不再只是“买发动机送车”,像NVH、驾乘舒适度都达到了同级领先水平,是非常值得购买的。销量未来可期2020年由于疫情与车市环境的双重影响,很多热门车型都受到了不小的影响,大家纷纷预测了全新UR-V的销量,可以从图中看出,大部分人仍相信全新UR-V在全面升级后,能够保持以往水平,甚至超过之前的销量成绩。对于当前的市场环境,经销商坦言,对任何品牌来说都压力不小,全新UR-V所处的中型SUV影响尤为明显,但86%的经销商对新车都是信心十足。好的一面是,本田品牌影响力和产品力一直保持的很好,自本田进入中国以来,给消费者的印象一直是技术宅男的形象,凭借系列黑科技虽然吸引了众多本田粉的拥趸,东风Honda启动品牌战略升级计划后,着力打造全新的、有趣的、年轻的品牌形象,并且旗下车型个性更加鲜明,运动、年轻的标签进化得更加彻底,增加了用户对该品牌的好感度。即便不能说超常发挥,达到以往水平并不难。得益于本田近年来强势表现,媒体也对全新UR-V的销量持乐观态度,89%的媒体认为新款车型表现会比老款车型更好,汽车生活传媒集群创始人段旭表示,自2016年十代思域上市后,东风Honda逐渐找到了抢占中国市场的“金钥匙”,全新UR-V是东风Honda的拳头产品,其“大5座”概念深入人心,给不喜欢7座中型SUV的消费者提供了另一种选择。与亲兄弟冠道组成的双叉戟使本田能够与丰田、大众正面交锋,月均5000辆应该是全新UR-V的正常水平,至于能否实现更大的突破,关键看东风Honda接下来的营销举措以及售后服务的变化。近两年,中大型SUV车型在国内迎来了爆发。几乎所有合资品牌都开始加快投放产品,不少的车企为了体现出多样化的乘坐空间,进而推出了6座或7座车型。不过在麻辣车事看来,5座仍是目前最主流、最实用的SUV。诞生发展至今已有一百多年历史的汽车,除了作为出行工具的属性之外,也早已衍生成为了人们表达情感的载体。就像牛扒一样,选择非常多,但都达不到神户牛排的高度。不仅仅是味道,消费者更在意的是一种享受、一种品位。选择全新UR-V的人,他们对生活有更高的追求,吃顿饭也不愿意将就。UR-V作为一款高品位旗舰SUV,它承载着 “旗舰”和“品位”的最高期待,更是对美好未来的憧憬和期待,引领人们去开启向往的生活,不管是整体的设计感还是品质感都已经做到了物超所值。图片来源于东风Honda汽车品牌官方