中国特色社会主义进入新时代,实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略,吹响了加快发展数字经济、建设数字中国的号角。习近平总书记在十九届中共中央政治局第二次集体学习时的重要讲话中指出:“大数据是信息化发展的新阶段”,并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署,为我国构筑大数据时代国家综合竞争新优势指明了方向!今天,我拟回顾大数据的发端、发展和现状,研判大数据的未来趋势,简述我国大数据发展的态势,并汇报我对信息化新阶段和数字经济的认识,以及对我国发展大数据的若干思考和建议。—— 十三届全国人大常委会专题讲座第十四讲01大数据的发端与发展 从文明之初的“结绳记事”,到文字发明后的“文以载道”,再到近现代科学的“数据建模”,数据一直伴随着人类社会的发展变迁,承载了人类基于数据和信息认识世界的努力和取得的巨大进步。然而,直到以电子计算机为代表的现代信息技术出现后,为数据处理提供了自动的方法和手段,人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用(即信息化),推动数据(信息)成为继物质、能源之后的又一种重要战略资源。“大数据”作为一种概念和思潮由计算领域发端,之后逐渐延伸到科学和商业领域。大多数学者认为,“大数据”这一概念最早公开出现于1998年,美国高性能计算公司SGI的首席科学家约翰·马西(John Mashey)在一个国际会议报告中指出:随着数据量的快速增长,必将出现数据难理解、难获取、难处理和难组织等四个难题,并用“Big Data(大数据)”来描述这一挑战,在计算领域引发思考。2007年,数据库领域的先驱人物吉姆·格雷(Jim Gray)指出大数据将成为人类触摸、理解和逼近现实复杂系统的有效途径,并认为在实验观测、理论推导和计算仿真等三种科学研究范式后,将迎来第四范式——“数据探索”,后来同行学者将其总结为“数据密集型科学发现”,开启了从科研视角审视大数据的热潮。2012年,牛津大学教授维克托·迈尔-舍恩伯格(Viktor Mayer-Schnberger)在其畅销著作《大数据时代(Big Data:A Revolution That Will Transform How We Live,Work,and Think)》中指出,数据分析将从“随机采样”、“精确求解”和“强调因果”的传统模式演变为大数据时代的“全体数据”、“近似求解”和“只看关联不问因果”的新模式,从而引发商业应用领域对大数据方法的广泛思考与探讨。大数据于2012、2013年达到其宣传高潮,2014年后概念体系逐渐成形,对其认知亦趋于理性。大数据相关技术、产品、应用和标准不断发展,逐渐形成了包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等板块构成的大数据生态系统,并持续发展和不断完善,其发展热点呈现了从技术向应用、再向治理的逐渐迁移。经过多年来的发展和沉淀,人们对大数据已经形成基本共识:大数据现象源于互联网及其延伸所带来的无处不在的信息技术应用以及信息技术的不断低成本化。大数据泛指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行获取、管理和处理的巨量数据集合,具有海量性、多样性、时效性及可变性等特征,需要可伸缩的计算体系结构以支持其存储、处理和分析。大数据的价值本质上体现为:提供了一种人类认识复杂系统的新思维和新手段。就理论上而言,在足够小的时间和空间尺度上,对现实世界数字化,可以构造一个现实世界的数字虚拟映像,这个映像承载了现实世界的运行规律。在拥有充足的计算能力和高效的数据分析方法的前提下,对这个数字虚拟映像的深度分析,将有可能理解和发现现实复杂系统的运行行为、状态和规律。应该说大数据为人类提供了全新的思维方式和探知客观规律、改造自然和社会的新手段,这也是大数据引发经济社会变革最根本性的原因。02大数据的现状与趋势全球范围内,研究发展大数据技术、运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。下面将从应用、治理和技术三个方面对当前大数据的现状与趋势进行梳理。一、已有众多成功的大数据应用,但就其效果和深度而言,当前大数据应用尚处于初级阶段,根据大数据分析预测未来、指导实践的深层次应用将成为发展重点。按照数据开发应用深入程度的不同,可将众多的大数据应用分为三个层次。第一层,描述性分析应用,是指从大数据中总结、抽取相关的信息和知识,帮助人们分析发生了什么,并呈现事物的发展历程。如美国的DOMO公司从其企业客户的各个信息系统中抽取、整合数据,再以统计图表等可视化形式,将数据蕴含的信息推送给不同岗位的业务人员和管理者,帮助其更好地了解企业现状,进而做出判断和决策。第二层,预测性分析应用,是指从大数据中分析事物之间的关联关系、发展模式等,并据此对事物发展的趋势进行预测。如微软公司纽约研究院研究员David Rothschild通过收集和分析赌博市场、好莱坞证券交易所、社交媒体用户发布的帖子等大量公开数据,建立预测模型,对多届奥斯卡奖项的归属进行预测。2014和2015年,均准确预测了奥斯卡共24个奖项中的21个,准确率达87.5%。第三层,指导性分析应用,是指在前两个层次的基础上,分析不同决策将导致的后果,并对决策进行指导和优化。如无人驾驶汽车分析高精度地图数据和海量的激光雷达、摄像头等传感器的实时感知数据,对车辆不同驾驶行为的后果进行预判,并据此指导车辆的自动驾驶。当前,在大数据应用的实践中,描述性、预测性分析应用多,决策指导性等更深层次分析应用偏少。一般而言,人们做出决策的流程通常包括:认知现状、预测未来和选择策略这三个基本步骤。这些步骤也对应了上述大数据分析应用的三个不同类型。不同类型的应用意味着人类和计算机在决策流程中不同的分工和协作。例如:第一层次的描述性分析中,计算机仅负责将与现状相关的信息和知识展现给人类专家,而对未来态势的判断及对最优策略的选择仍然由人类专家完成。应用层次越深,计算机承担的任务越多、越复杂,效率提升也越大,价值也越大。然而,随着研究应用的不断深入,人们逐渐意识到前期在大数据分析应用中大放异彩的深度神经网络尚存在基础理论不完善、模型不具可解释性、鲁棒性较差等问题。因此,虽然应用层次最深的决策指导性应用,当前已在人机博弈等非关键性领域取得较好应用效果,但是,在自动驾驶、政府决策、军事指挥、医疗健康等应用价值更高,且与人类生命、财产、发展和安全紧密关联的领域,要真正获得有效应用,仍面临一系列待解决的重大基础理论和核心技术挑战。在此之前,人们还不敢、也不能放手将更多的任务交由计算机大数据分析系统来完成。这也意味着,虽然已有很多成功的大数据应用案例,但还远未达到我们的预期,大数据应用仍处于初级阶段。未来,随着应用领域的拓展、技术的提升、数据共享开放机制的完善,以及产业生态的成熟,具有更大潜在价值的预测性和指导性应用将是发展的重点。二、大数据治理体系远未形成,特别是隐私保护、数据安全与数据共享利用效率之间尚存在明显矛盾,成为制约大数据发展的重要短板,各界已经意识到构建大数据治理体系的重要意义,相关的研究与实践将持续加强。随着大数据作为战略资源的地位日益凸显,人们越来越强烈地意识到制约大数据发展最大的短板之一就是:数据治理体系远未形成,如数据资产地位的确立尚未达成共识,数据的确权、流通和管控面临多重挑战;数据壁垒广泛存在,阻碍了数据的共享和开放;法律法规发展滞后,导致大数据应用存在安全与隐私风险;等等。如此种种因素,制约了数据资源中所蕴含价值的挖掘与转化。其中,隐私、安全与共享利用之间的矛盾问题尤为凸显。一方面,数据共享开放的需求十分迫切。近年来人工智能应用取得的重要进展,主要源于对海量、高质量数据资源的分析和挖掘。而对于单一组织机构而言,往往靠自身的积累难以聚集足够的高质量数据。另外,大数据应用的威力,在很多情况下源于对多源数据的综合融合和深度分析,从而获得从不同角度观察、认知事物的全方位视图。而单个系统、组织的数据往往仅包含事物某个片面、局部的信息,因此,只有通过共享开放和数据跨域流通才能建立信息完整的数据集。然而,另一方面,数据的无序流通与共享,又可能导致隐私保护和数据安全方面的重大风险,必须对其加以规范和限制。例如,鉴于互联网公司频发的、由于对个人数据的不正当使用而导致的隐私安全问题,欧盟制定了“史上最严格的”数据安全管理法规《通用数据保护条例》(General Data Protection Regulation,GDPR),并于2018年5月25日正式生效。《条例》生效后,Facebook和谷歌等互联网企业即被指控强迫用户同意共享个人数据而面临巨额罚款,并被推上舆论的风口浪尖。2020年1月1日,被称为美国“最严厉、最全面的个人隐私保护法案”——《加利福利亚消费者隐私法案》(CCPA)将正式生效。CCPA规定了新的消费者权利,旨在加强消费者隐私权和数据安全保护,涉及企业收集的个人信息的访问、删除和共享,企业负有保护个人信息的责任,消费者控制并拥有其个人信息,这是美国目前最具典型意义的州隐私立法,提高了美国保护隐私的标准。在这种情况下,过去利用互联网平台中心化搜集用户数据,实现平台化的精准营销的这一典型互联网商业模式将面临重大挑战。我国在个人信息保护方面也开展了较长时间的工作,针对互联网环境下的个人信息保护,制定了《全国人民代表大会常务委员会关于加强网络信息保护的决定》《电信和互联网用户个人信息保护规定》《全国人民代表大会常务委员会关于维护互联网安全的决定》和《消费者权益保护法》等相关法律文件。特别是2016年11月7日,全国人大常委会通过的《中华人民共和国网络安全法》中明确了对个人信息收集、使用及保护的要求,并规定了个人对其个人信息进行更正或删除的权利。2019年,中央网信办发布了《数据安全管理办法(征求意见稿)》,向社会公开征求意见,明确了个人信息和重要数据的收集、处理、使用和安全监督管理的相关标准和规范。相信这些法律法规将在促进数据的合规使用、保障个人隐私和数据安全等方面发挥不可或缺的重要作用。然而,从体系化、确保一致性、避免碎片化考虑,制订专门的数据安全法、个人信息保护法是必要的。但我们也应看到,这些法律法规也将在客观上不可避免地增加数据流通的成本、降低数据综合利用的效率。如何兼顾发展和安全,平衡效率和风险,在保障安全的前提下,不因噎废食,不对大数据价值的挖掘利用造成过分的负面影响,是当前全世界在数据治理中面临的共同课题。近年来,围绕大数据治理这一主题及其相关问题,国际上已有不少成功的实践和研究探索工作,诸如在国家层面推出的促进数据共享开放、保障数据安全和保护公民隐私的相关政策和法规,针对企业机构的数据管理能力评估和改善,面向数据质量保证的方法与技术,促进数据互操作的技术规范和标准等。然而,考察当前的研究和实践,仍存在三个方面的主要问题。1、大数据治理概念的使用相对“狭义”,研究和实践大都以企业组织为对象,仅从个体组织的角度考虑大数据治理的相关问题,这与大数据跨界流动的迫切需求存在矛盾,限制了大数据价值的发挥。2、现有研究实践对大数据治理内涵的理解尚未形成共识,不同研究者从流程设计、信息治理和数据管理应用等不同视角,给出了大数据治理的不同定义,共识的形成尚有待时日!3、大数据治理相关的研究实践多条线索并行,关联性、完整性和一致性不足。诸如,国家层面的政策法规和法律制定等较少被纳入大数据治理的视角;数据作为一种资产的地位仍未通过法律法规予以确立,难以进行有效的管理和应用;大数据管理已有不少可用技术与产品,但还缺乏完善的多层级管理体制和高效管理机制;如何有机结合技术与标准,建立良好的大数据共享与开放环境仍需要进一步探索。缺少系统化设计,仅仅在已有的相关体系上进行扩展和延伸,可能会导致数据治理的“碎片化”和一致性缺失等等。当前,各界已经普遍认识到了大数据治理的重要意义,大数据治理体系建设已经成为大数据发展重点,但仍处在发展的雏形阶段,推进大数据治理体系建设将是未来较长一段时间内需要持续努力的方向。三是数据规模高速增长,现有技术体系难以满足大数据应用的需求,大数据理论与技术远未成熟,未来信息技术体系将需要颠覆式创新和变革。近年来,数据规模呈几何级数高速成长。据国际信息技术咨询企业国际数据公司(IDC)的报告,2020年全球数据存储量将达到44ZB(1021),到2030年将达到2500ZB。当前,需要处理的数据量已经大大超过处理能力的上限,从而导致大量数据因无法或来不及处理,而处于未被利用、价值不明的状态,这些数据被称为“暗数据”。据国际商业机器公司(IBM)的研究报告估计,大多数企业仅对其所有数据的1%进行了分析应用。近年来,大数据获取、存储、管理、处理、分析等相关的技术已有显著进展,但是大数据技术体系尚不完善,大数据基础理论的研究仍处于萌芽期。首先,大数据定义虽已达成初步共识,但许多本质问题仍存在争议,例如:数据驱动与规则驱动的对立统一、“关联”与“因果”的辩证关系、“全数据”的时空相对性、分析模型的可解释性与鲁棒性等;其次,针对特定数据集和特定问题域已有不少专用解决方案,是否有可能形成“通用”或“领域通用”的统一技术体系,仍有待未来的技术发展给出答案;再次,应用超前于理论和技术发展,数据分析的结论往往缺乏坚实的理论基础,对这些结论的使用仍需保持谨慎态度。推演信息技术的未来发展趋势,较长时期内仍将保持渐进式发展态势,随技术发展带来的数据处理能力的提升将远远落后于按指数增长模式快速递增的数据体量,数据处理能力与数据资源规模之间的“剪刀差”将随时间持续扩大,大数据现象将长期存在。在此背景下,大数据现象倒逼技术变革,将使得信息技术体系进行一次重构,这也带来了颠覆式发展的机遇。例如,计算机体系结构以数据为中心的宏观走向和存算一体的微观走向,软件定义方法论的广泛采用,云边端融合的新型计算模式等;网络通信向宽带、移动、泛在发展,海量数据的快速传输和汇聚带来的网络的Pb/s级带宽需求,千亿级设备联网带来的Gb/s级高密度泛在移动接入需求;大数据的时空复杂度亟需在表示、组织、处理和分析等方面的基础性原理性突破,高性能、高时效、高吞吐等极端化需求呼唤基础器件的创新和变革;软硬件开源开放趋势导致产业发展生态的重构;等等。03大数据与数字经济大数据是信息技术发展的必然产物,更是信息化进程的新阶段,其发展推动了数字经济的形成与繁荣。信息化已经历了两次高速发展的浪潮,始于上世纪80年代,随个人计算机大规模普及应用所带来的以单机应用为主要特征的数字化(信息化1.0),及始于上世纪90年代中期,随互联网大规模商用进程所推动的以联网应用为主要特征的网络化(信息化2.0)。当前,我们正在进入以数据的深度挖掘和融合应用为主要特征的智能化阶段(信息化3.0)。在“人机物”三元融合的大背景下,以“万物均需互联、一切皆可编程”为目标,数字化、网络化和智能化呈融合发展新态势。在信息化发展历程中,数字化、网络化和智能化是三条并行不悖的主线。数字化奠定基础,实现数据资源的获取和积累;网络化构建平台,促进数据资源的流通和汇聚;智能化展现能力,通过多源数据的融合分析呈现信息应用的类人智能,帮助人类更好地认知复杂事物和解决问题。信息化新阶段开启的另一个重要表征是信息技术开始从助力经济发展的辅助工具向引领经济发展的核心引擎转变,进而催生一种新的经济范式—“数字经济”。数字经济是指以数字化知识和信息为关键生产要素、以现代信息网络为重要载体、以信息通信技术的有效使用为效率提升和经济结构优化的重要推动力的一系列经济活动,是以新一代信息技术和产业为依托,继农业经济、工业经济之后的新经济形态。从构成上看,农业经济属单层结构,以农业为主,配合以其他行业,以人力、畜力和自然力为动力,使用手工工具,以家庭为单位自给自足,社会分工不明显,行业间相对独立;工业经济是两层结构,即提供能源动力和行业制造设备的装备制造产业,以及工业化后的各行各业,并形成分工合作的工业体系。数字经济则可分为三个层次:提供核心动能的信息技术及其装备产业、深度信息化的各行各业以及跨行业数据融合应用的数据增值产业。当前,数字经济正处于成型展开期,将进入信息技术引领经济发展的爆发期、黄金期!从另一个视角来看,如果说过去20多年,互联网高速发展引发了一场社会经济的“革命”,深刻地改变了人类社会,现在可以看到,互联网革命的上半场已经结束。上半场的主要特征是“2C”(面向最终用户),主战场是面向个人提供社交、购物、教育、娱乐等服务,可称为“消费互联网”。而互联网革命的下半场正在开启,其主要特征将是“2B”(面向组织机构),重点在于促进供给侧的深刻变革,互联网应用将面向各行业,特别是制造业,以优化资源配置、提质增效为目标,构建以工业物联为基础和工业大数据为要素的工业互联网。作为互联网发展的新领域,工业互联网是新一代信息技术与生产技术深度融合的产物,它通过人、机、物的深度互联,全要素、全产业链、全价值链的全面链接,推动形成新的工业生产制造和服务体系。当前,新一轮工业革命正在拉开帷幕,在全球范围内不断颠覆传统制造模式、生产组织方式和产业形态,而我国正处于由数量和规模扩张向质量和效益提升转变的关键期,需要抓住历史机遇期,促进新旧动能转换,形成竞争新优势。我国是制造大国和互联网大国,推动工业互联网创新发展具备丰富的应用场景、广阔的市场空间和巨大的推进动力。数字经济未来发展呈现如下趋势:一、以互联网为核心的新一代信息技术正逐步演化为人类社会经济活动的基础设施,并将对原有的物理基础设施完成深度信息化改造和软件定义,在其支撑下,人类极大地突破了沟通和协作的时空约束,推动平台经济、共享经济等新经济模式快速发展。以平台经济中的零售平台为例,百货大楼在前互联网时代对促进零售业发展起到了重要作用。而从上世纪九十年代中后期开始,伴随互联网的普及,电子商务平台逐渐兴起。与要求供需方必须在同一时空达成交易的百货大楼不同,电子商务平台依托互联网,将遍布全球各个角落的消费者、供货方连接在一起,并聚合物流、支付、信用管理等配套服务,突破了时空约束,大幅减少了中间环节,降低了交易成本,提高了交易效率。按阿里研究院的报告,过去十年间,中国电子商务规模增长了10倍,并呈加速发展趋势。二、、各行业工业互联网的构建将促进各种业态围绕信息化主线深度协作、融合,在完成自身提升变革的同时,不断催生新的业态,并使一些传统业态走向消亡。如随着无人驾驶汽车技术的成熟和应用,传统出租车业态将可能面临消亡。其他很多重复性的、对创新创意要求不高的传统行业也将退出历史舞台。2017年10月,《纽约客》杂志报道了剑桥大学两名研究者对未来365种职业被信息技术淘汰的可能性分析,其中电话推销员、打字员、会计等职业高居榜首。三、在信息化理念和政务大数据的支撑下,政府的综合管理服务能力和政务服务的便捷性持续提升,公众积极参与社会治理,形成共策共商共治的良好生态。四、信息技术体系将完成蜕变升华式的重构,释放出远超当前的技术能力,从而使蕴含在大数据中的巨大价值得以充分释放,带来数字经济的爆发式增长。04我国大数据发展的态势党的十八届五中全会将大数据上升为国家战略。回顾过去几年的发展,我国大数据发展可总结为:“进步长足,基础渐厚;喧嚣已逝,理性回归;成果丰硕,短板仍在;势头强劲,前景光明”。作为人口大国和制造大国,我国数据产生能力巨大,大数据资源极为丰富。随着数字中国建设的推进,各行业的数据资源采集、应用能力不断提升,将会导致更快更多的数据积累。预计到2020年,我国数据总量有望达到8000EB(1018),占全球数据总量的21%,将成为名列前茅的数据资源大国和全球数据中心。我国互联网大数据领域发展态势良好,市场化程度较高,一些互联网公司建成了具有国际领先水平的大数据存储与处理平台,并在移动支付、网络征信、电子商务等应用领域取得国际先进甚至领先的重要进展。然而,大数据与实体经济融合还远不够,行业大数据应用的广度和深度明显不足,生态系统亟待形成和发展。随着政务信息化的不断发展,各级政府积累了大量与公众生产生活息息相关的信息系统和数据,并成为最具价值数据的保有者。如何盘活这些数据,更好地支撑政府决策和便民服务,进而引领促进大数据事业发展,是事关全局的关键。2015年9月,国务院发布《促进大数据发展行动纲要》,其中重要任务之一就是“加快政府数据开放共享,推动资源整合,提升治理能力”,并明确了时间节点,2017年跨部门数据资源共享共用格局基本形成;2018年建成政府主导的数据共享开放平台,打通政府部门、企事业单位间的数据壁垒,并在部分领域开展应用试点;2020年实现政府数据集的普遍开放。随后,国务院和国务院办公厅又陆续印发了系列文件,推进政务信息资源共享管理、政务信息系统整合共享、互联网政务服务试点、政务服务一网一门一次改革等,推进跨层级、跨地域、跨系统、跨部门、跨业务的政务信息系统整合、互联、协同和数据共享,用政务大数据支撑“放管服”改革落地,建设数字政府和智慧政府。目前,我国政务领域的数据开放共享已取得了重要进展和明显效果。例如:浙江省推出的“最多跑一次”改革,是推进供给侧结构性改革、落实“放管服”改革、优化营商环境的重要举措。以衢州市不动产交易为例,通过设立综合窗口再造业务流程,群众由原来跑国土、住建、税务3个窗口8次提交3套材料,变为只跑综合窗口1个窗口1次提交1套材料,效率大幅提高。据有关统计,截至2019年上半年,我国已有82个省级、副省级和地级政府上线了数据开放平台,涉及41.93%的省级行政区、66.67%的副省级城市和18.55%的地级城市。我国已经具备加快技术创新的良好基础。在科研投入方面,前期通过国家科技计划在大规模集群计算、服务器、处理器芯片、基础软件等方面系统性部署了研发任务,成绩斐然。“十三五”期间在国家重点研发计划中实施了“云计算和大数据”重点专项。当前科技创新2030大数据重大项目正在紧锣密鼓地筹划、部署中。我国在大数据内存计算、协处理芯片、分析方法等方面突破了一些关键技术,特别是打破“信息孤岛”的数据互操作技术和互联网大数据应用技术已处于国际领先水平;在大数据存储、处理方面,研发了一些重要产品,有效地支撑了大数据应用;国内互联网公司推出的大数据平台和服务,处理能力跻身世界前列。国家大数据战略实施以来,地方政府纷纷响应联动、积极谋划布局。国家发改委组织建设11个国家大数据工程实验室,为大数据领域相关技术创新提供支撑和服务。发改委、工信部、中央网信办联合批复贵州、上海、京津冀、珠三角等8个综合试验区,正在加快建设。各地方政府纷纷出台促进大数据发展的指导政策、发展方案、专项政策和规章制度等,使大数据发展呈蓬勃之势。然而,我们也必须清醒地认识到我国在大数据方面仍存在一系列亟待补上的短板。一、大数据治理体系尚待构建。首先,法律法规滞后。目前,我国尚无真正意义上的数据管理法规,只在少数相关法律条文中有涉及到数据管理、数据安全等规范的内容,难以满足快速增长的数据管理需求。其次,共享开放程度低。推动数据资源共享开放,将有利于打通不同部门和系统的壁垒,促进数据流转,形成覆盖全面的大数据资源,为大数据分析应用奠定基础。我国政府机构和公共部门已经掌握巨大的数据资源,但存在“不愿”、“不敢”和“不会”共享开放的问题。例如:在“最多跑一次”改革中,由于技术人员缺乏,政务业务流程优化不足,涉及部门多、链条长,长期以来多头管理、各自为政等问题,导致很多地区、乡镇的综合性窗口难建立、数据难流动、业务系统难协调。同时,由于办事流程不规范,网上办事大厅指南五花八门,以至于同一个县市办理同一项事件,需要的材料、需要集成的数据在各乡镇的政务审批系统里却各有不同,造成群众不能一次性获得准确的相关信息而需要“跑多次”。当前,我国的政务数据共享开放进程,相对于《行动纲要》明确的时间节点,已明显落后,且数据质量堪忧。不少地方的政务数据开放平台,仍然存在标准不统一、数据不完整、不好用甚至不可用等问题。政务数据共享开放意义重大,仍需要坚持不懈地持续推进。此外,在数据共享与开放的实施过程中,各地还存在片面强调数据物理集中的“一刀切”现象,对已有信息化建设投资保护不足,造成新的浪费。再次,安全隐患增多。近年来,数据安全和隐私数据泄露事件频发,凸显大数据发展面临的严峻挑战。在大数据环境下,数据在采集、存储、跨境跨系统流转、利用、交易和销毁等环节的全生命周期过程中,所有权与管理权分离,真假难辨,多系统、多环节的信息隐性留存,导致数据跨境跨系统流转追踪难、控制难,数据确权和可信销毁也更加困难。二、核心技术薄弱。基础理论与核心技术的落后导致我国信息技术长期存在“空心化”和“低端化”问题,大数据时代需避免此问题在新一轮发展中再次出现。近年来,我国在大数据应用领域取得较大进展,但是基础理论、核心器件和算法、软件等层面,较之美国等技术发达国家仍明显落后。在大数据管理、处理系统与工具方面,我国主要依赖国外开源社区的开源软件,然而,由于我国对国际开源社区的影响力较弱,导致对大数据技术生态缺乏自主可控能力,成为制约我国大数据产业发展和国际化运营的重大隐患。三、融合应用有待深化。我国大数据与实体经济融合不够深入,主要问题表现在:基础设施配置不到位,数据采集难度大;缺乏有效引导与支撑,实体经济数字化转型缓慢;缺乏自主可控的数据互联共享平台等。当前,工业互联网成为互联网发展的新领域,然而仍存在不少问题:政府热、企业冷,政府时有“项目式”、“运动式”推进,而企业由于没看到直接、快捷的好处,接受度低;设备设施的数字化率和联网率偏低;大多数大企业仍然倾向打造难以与外部系统交互数据的封闭系统,而众多中小企业数字化转型的动力和能力严重不足;国外厂商的设备在我国具有垄断地位,这些企业纷纷推出相应的工业互联网平台,抢占工业领域的大数据基础服务市场。05若干思考和建议 最后,我想基于自己在大数据领域的研究实践,汇报若干思考和建议。一家之见,仅供参考。一、大力发展行业大数据应用当前,我国互联网领域的大数据应用市场化程度高、发展较好,但行业应用广度和深度明显不足,生态系统亟待形成和发展。事实上,与实体经济紧密结合的行业大数据应用蕴含了更加巨大的发展潜力和价值。以制造业为例,麦肯锡研究报告称:制造企业在利用大数据技术后,其生产成本能够降低10%—15%。而大数据技术对制造业的影响远非成本这一个方面。利用源于产品生命周期中市场、设计、制造、服务、再利用等各个环节数据,制造业企业可以更加精细、个性化地了解客户需求;建立更加精益化、柔性化、智能化的生产系统;创造包括销售产品、服务、价值等多样的商业模式;并实现从应激式到预防式的工业系统运转管理模式的转变。制造业是国民经济不可或缺的一环,也是一个国家竞争力背后的强大力量支撑。我国制造业位居世界第一,却大而不强。企业创新能力不足,高端和高价值产品欠缺,在国际产业分工中处于中低端,大力推动制造业大数据应用的发展,对产业升级转型至关重要。当前,我国不同行业领域正在积极推进数字化转型、网络化重构、智能化提升,推动行业大数据应用,也是推进数字中国建设的重要途径和基础。二、建立系统全面的大数据治理体系大数据是数字经济的关键要素,强大的信息技术产业和全面深度信息化赋能的传统行业无疑是数字经济的基础!大数据治理须从营造大数据产业发展环境的视角予以全面、系统化考虑!我以为,在一国之范围内,大数据治理体系建设涉及国家、行业和组织三个层次,至少包含数据的资产地位确立、管理体制机制、共享与开放、安全与隐私保护等四方面内容,需要从制度法规、标准规范、应用实践和支撑技术等视角多管齐下,提供支撑。在国家层次,重点是要在法律法规层面明确数据的资产地位,奠定数据确权、流通、交易和保护的基础,制定促进数据共享开放的政策法规和标准规范,促进政务数据和行业数据的融合应用,并且出台数据安全与隐私保护的法律法规,保障国家、组织和个人的数据安全。在行业层次,重点是要在国家相关法律法规框架下,充分考虑本行业中企业的共同利益与长效发展,建立规范行业数据管理的组织机构和数据管控制度,制定行业内数据共享与开放的规则和技术规范,促进行业内数据的共享交换和融合应用。在组织层次,重点是要提升企业对数据全生命期的管理能力,促进企业内部和企业间的数据流通,提升数据变现能力,保障企业自身的数据安全及客户的数据安全和隐私信息。在数据治理体系建设中,数据共享开放是大数据资源建设的前提,在现阶段重要性尤其突出。在平衡数据共享开放和隐私保护、数据安全的关系时,我以为,还是需要强调应用先行、安全并重的原则。数据共享开放不应被孤立看待,可能需要综合考虑数据的使用场合及数据主体的权益。如,数据集中管理可能带来保管上的安全问题,然而数据融合才能产生价值,一定程度的集中是趋势所在,也更利于建立更强大可靠的保护机制;多源数据的融合可能导致信息泄露,然而在确知风险前,是否需要因其“可能性”而拒绝技术的应用?数据脱敏仍然可能存在隐私泄露的风险,是否允许个体在知情前提下“用隐私换方便”、“用隐私换治疗换健康”?是否允许使用符合当前“标准”、但无法确保未来一定不出现信息泄露的脱敏方法,并对相关应用予以免责?当然,加强兼顾隐私保护、数据安全和数据流动利用的新技术研发,也非常必要。当前,如安全多方计算、同态加密、联邦学习等技术研发,希望允许拥有数据的各方在不向其他组织或个人公开数据中所含敏感信息的情况下,实现数据的融合利用。虽然这些技术尚处于发展的初级阶段,但因其广阔的应用前景而受到普遍关注。另外,打破信息孤岛、盘活数据存量是当前一项紧迫的任务,而在此过程中,不宜过分强调物理集中,而应将逻辑互联作为打通信息“孤岛”的手段,逻辑互联先行,物理集中跟进。在数据共享体系建设中,需要在一定层级上构建物理分散、逻辑统一、管控可信、标准一致的政务信息资源共享交换体系,在不改变现有信息系统与数据资源的所有权及管理格局的前提下,明晰责权利,即:数据应用部门提需求、数据拥有部门做响应、交换平台管理部门保流转。同时,集约化的政务云建设正成为政府、企业建设新的信息系统的首选方案,如何在新一轮建设热潮中,从规划、立项审批、建设、审计等环节以及方案指导、标准规范和技术支持等方面给予全方位保障,尽可能避免新“孤岛”的产生,也是一项重大挑战。三、以开源为基础构建自主可控的大数据产业生态在大数据时代,软件开源和硬件开放已成为不可逆的趋势,掌控开源生态,已成为国际产业竞争的焦点。建议采用“参与融入、蓄势引领”的开源推进策略,一方面鼓励我国企业积极“参与融入”国际成熟的开源社区,争取话语权;另一方面,也要在建设基于中文的开源社区方面加大投入,汇聚国内软硬件资源和开源人才,打造自主可控开源生态,在学习实践中逐渐成长壮大,伺机实现引领发展。中文开源社区的建设,需要国家在开源相关政策法规和开源基金会制度建立方面给予支持。此外,在开源背景下,对“自主可控”的内涵定义也有待更新,不一定强调硬件设计和软件代码的所有权,更多应体现在对硬件设计方案和软件代码的理解、掌握、改进及应用能力。四、积极推动国际合作并筹划布局跨国数据共享机制2018年11月17日,习近平总书记在APEC工商领导人峰会上发表主旨演讲指出“经济全球化是人类社会发展必经之路”,“各国都是全球合作链条中的一环”。在数字经济快速发展的时代背景下,我国应该积极推动在大数据技术和应用方面的国际合作,建立跨国数据共享机制,与其他国家一起分享数字经济的红利,同时也使我国获得更多发展机遇和更大发展空间,积极促进数字经济下人类利益共同体和命运共同体的构建。当前,我国正在积极推动“一带一路”合作发展。各国在合作的各个领域都将产生大量的数据。建议积极推进跨国的大数据治理合作,在保障数据安全的前提下,促进数据跨境流动,从而形成围绕国家合作各个领域的大数据资源,为数字经济领域的国际合作奠定坚实的基础。“一带一路”沿线大都属发展中国家,无论技术还是经济水平较之发达国家都有明显差距。而数字经济这一新经济形态的成型发展将带给包括中国在内的各发展中国家经济转型发展的历史性机遇期。经济后发国家有机会在新经济的全球垄断性格局形成之前,与发达国家站在同一起跑线上,并且由于没有“路径依赖”所带来的历史包袱,也有可能在新一轮的竞争中占有优势。五、未雨绸缪,防范大数据发展可能带来的新风险大数据发展可能导致一系列新的风险。例如,数据垄断可能导致数据“黑洞”现象。一些企业凭借先发展起来的行业优势,不断获取行业数据,但却“有收无放”,呈现出数据垄断的趋势。这种数据垄断不仅不利于行业的健康发展,而且有可能对国家安全带来冲击和影响。又如,数据和算法可能导致人们对其过分“依赖”及社会“被割裂”等伦理问题。大数据分析算法根据各种数据推测用户的偏好并推荐内容,在带来便利的同时,也导致人们只看到自己“希望看到的”信息,从而使人群被割裂为多个相互之间难以沟通、理解的群体,其可能引发的社会问题将是难以“亡羊补牢”的。需要看到,以互联网为代表的新一代信息技术所带来的这场社会经济“革命”,在广度、深度和速度上都将是空前的,也会是远远超出我们从工业社会获得的常识和认知、远远超出我们的预期的,适应信息社会的个体素质的养成、满足未来各种新兴业态就业需求的合格劳动者的培养,将是我们面临的巨大挑战!唯有全民提升对大数据的正确认知,具备用大数据思维认识和解决问题的基本素质和能力,才有可能积极防范大数据带来的新风险;唯有加快培养适应未来需求的合格人才,才有可能在数字经济时代形成国家的综合竞争力!主讲人:梅宏,中国科学院院士、中国人民解放军军事科学院副院长本文相关名词解释API:应用编程接口(Application Programming Interface)的首字母缩写,是指某软件系统或平台为其他应用软件系统提供的一组函数,通过调用这些函数,其他应用软件系统可以使用此软件系统或平台的部分功能或访问某些数据。开源平台:“开源”是开放源代码的简称,开源平台是指支持开源社区活动,管理开放源代码,向所有开源社区参与者提供相关服务的软件平台(平台基于互联网构建并通过互联网通过服务)。任何人都可以获得开源软件的源代码并加以修改,并在某个预先约定的开源协议限制范围内发布修改后的新版本。结合上下文,这里的开源平台是指提供大数据管理、处理、分析等方面能力的开源软件的软件平台。可伸缩的计算体系结构:可伸缩英文为scalable,指一个计算系统的能力和性能随应用负载的增加,通过极少的改动或配置甚至只是简单的硬件资源增加,而保持线性增长的能力,是表征计算系统处理能力的一个重要的设计指标。可伸缩的计算体系结构是计算系统体系结构设计追求的重要指标,软件定义、虚拟化、资源池化等方法和技术常用于可伸缩性的实现。鲁棒性:鲁棒是英文Robust的音译,也就是健壮的意思,因此鲁棒性也被翻译为健壮性。鲁棒性一般用于描述一个系统在异常或极端情况下仍然可以工作的能力。结合上下文,这里谈及的大数据分析模型的鲁棒性是指在数据存在错误、噪音、缺失,甚至在恶意数据攻击等异常情况下,模型仍然能得到较为准确结论的能力。数据互操作:数据互操作是指不同信息系统之间可以通过网络连接对彼此的数据进行访问,包括对其他系统数据的读取与写入。数据互操作是实现数据共享的基础。“全数据”:“全数据”也称“全量数据”,是与“采样数据”相对的概念。传统的数据分析受限于数据采集、存储、处理的成本,一般都仅对问题相关的所有数据进行局部采样,并基于采样获得的部分数据进行分析,得出结论,结论的准确性与采样方法以及对被采样数据的统计假设密切相关。而大数据时代,人们开始提出“全数据”的概念,即,并不采样,而是将与问题相关的所有数据全部输入到分析模型中分析。这种方法避免了因采样而可能带来的误差,但是也增加了计算成本。云边端融合:云是指云计算中心,边是指边缘计算设备,端是指终端设备。以智能家居为例,智能电视、冰箱、空调等直接与用户交互的设备是“端”,通过互联网连接的异地的云计算平台是“云”,而安装在每个家庭的智能家居中控服务器是“边”。云计算中心具有强大的计算存储能力,一般用于复杂的数据计算处理;终端设备距离最终用户较近,对用户的操作响应快,一般负责与用户进行交互;边缘计算设备介于“云”和“端”之间,负责对端所采集的数据做本地化处理,同时将需要更强大计算能力支持的任务和数据发往云计算中心处理,并将“云”返回的结果提供给端设备。云边端融合是一种“云”、“边”、“端”不同计算设备各司其职,密切协同且优势互补的新型计算模式。宽带、移动、泛在的网络通信:“宽带”是指通信速率高,海量大数据的高速传输需求推动骨干网络向Pb/s发展;“移动”是指移动通信;“泛在”是指无所不在。宽带、移动、泛在通信是指:未来大量移动终端和物联网设备通过无所不在的接入网络接入主干网并通过高速主干网络进行通信。安全多方计算:安全多方计算是为解决在保护隐私信息以及没有可信第三方的前提下,一组互不信任的参与方之间的协同计算问题而提出的理论框架。安全多方计算能够同时确保输入的隐私性和计算的正确性,在无可信第三方的前提下通过数学理论保证参与计算的各方成员输入信息不暴露,且同时能够获得准确的运算结果。此项技术的研究尚处于初级阶段。同态加密:同态加密是一种密码学技术,其核心在于保证:对经过同态加密的数据进行处理(如:运行某种数据分析算法)后得到输出,将这一输出进行解密,其结果与用同一方法(即上述数据分析算法)处理未加密的原始数据得到的输出结果一致。同态加密技术使得数据拥有者可以将数据加密后交给第三方处理,从第三方获得处理结果后,对此结果进行解密便可获得所期望的结果。如此一来,数据拥有者就不必担心因将原始数据交给第三方而存在的隐私泄露风险,同时又能获得第三方提供的数据分析服务。此项技术的研究尚处于初级阶段。联邦学习:联邦机器学习是一个多组织协同的机器学习框架,使得一个组织在不共享原始数据的情况下,可以利用其他组织数据中所蕴含的信息和知识,建立协同的机器学习模型。此模型比各组织仅利用本组织内部数据而训练的机器学习模型有更高的性能。此项技术的研究尚处于初级阶段。ZB、EB、Pb/s、Gb/s:在计算机领域,一个二进制位称为一个比特,一般用小写b表示;而8个二进制位称一个字节,用大写B表示。简言之:1B=8b。计算数据量或数据所需存储空间大小时,习惯用字节为单位(用B表示)。1KB=1024B,1MB=1024KB,1GB=1024MB(通常简记为109),1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB。1EB约等于10亿GB,而1ZB约等于1万亿GB。假设一首长为3分钟的歌曲录制成MP3文件(44K/320kbps音质),大小约为8MB,那么1ZB的数据存储空间可存储MP3格式歌曲140万亿多首,如果全部听一遍,需要8亿多年。计算网络传输速率时习惯上用比特每秒为单位(用b/s表示)。1Pb/S和1Gb/S分别代表1秒钟传输的数据是1P(1000万亿)个比特和1G(10亿)个比特。网络速率1Gb/S(此处是小写b)的情况下,下载一个2GB(此处是大写B)的电影,需要16秒;而网络速率1Pb/S的情况下,仅需要0.016毫秒。
中国行业大数据高速发展近年来,全球正大步迈向大数据新时代,数据的高效存储、处理和分析等需求也越来越旺盛。在此背景下,行业大数据得以高速发展,应用于各个领域,根据IDC发布的有关数据预测,2025年市场规模将达到19508亿元的高点。1、全球大数据储量呈爆发式增长随着信息通信技术的发展,各行各业信息系统采集、处理和积累的数据量越来越多,全球大数据储量呈爆炸式增长。根据国际数据公司(IDC)的监测数据显示,2013年全球大数据储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘),2014年和2015年全球大数据储量分别为6.6ZB和8.6ZB。近几年全球大数据储量的增速每年都保持在40%,2016年甚至达到了87.21%的增长率。2016年和2017年全球大数据储量分别为16.1ZB和21.6ZB,2018年全球大数据储量达到33.0ZB,2019年全球大数据储量达到41ZB。注:2015年储量增速为30.3%。2、中国数据产生量占全球数据产生量的23%根据IDC最新发布的统计数据,中国的数据产生量约占全球数据产生量的23%,美国的数据产生量占比约为21%,EMEA(欧洲、中东、非洲)的数据产生量占比约为30%,APJxC(日本和亚太)数据产生量占比约为18%,全球其他地区数据产生量占比约为8%。3、2019年中国行业大数据市场规模突破5000亿元随着互联网技术的快速发展,我国大数据产业也发展迅速。中国信息通信研究院结合对大数据相关企业的调研测算,发现我国大数据产业规模稳步增长。2016-2019年,短短四年时间,我国大数据产业市场规模由2840.8亿元增长到5386.2亿元,增速连续四年保持在20%以上。4、应用层规模将逐步增长随着大数据相关产品及应用的不断普及,未来五年,应用层规模将逐步增长。在技术层、数据源层以及衍生层的共同支撑下,应用市场规模份额将达到40%。其中,交易市场规模虽然占比最少,但是正是由于他的存在,使得数据的交易从法律上实现数据的合法化问题,以及实现了数据价值兑现。5、2025年中国大数据产业规模或将近2万亿元当前,我国正在加速从数据大国向着数据强国迈进。随着中国物联网等新技术的持续推进,到2025年,其产生的数据将超过美国。数据的快速产生和各项配套政策的落实推动我国大数据行业高速发展,预计未来我国行业大数据市场规模增速将维持在15%-25%之间,到2025年中国大数据产业规模将达19508亿元的高点。(文章来源:前瞻产业研究院)
2020年,我国大数据产业迎来新的发展机遇期,产业规模稳步增长。目前行业竞争格局从规模上看,以小型企业为主导;从地域分布上看,以北上广等一线城市为主;从行业应用方面看,以金融、医疗健康、政务等为主要类型;从投融资角度看,企业服务、医疗健康、金融等垂直细分领域是融资热点。大数据行业市场规模保持高速增长随着互联网技术的快速发展,我国大数据产业也发展迅速。根据中国信息通信研究院对大数据相关企业的调研数据,近年来我国大数据产业规模稳步增长。2016-2019年,短短四年时间,我国大数据产业市场规模由2841亿元增长到5386亿元,增速连续四年保持在20%以上。根据近年来大数据行业市场规模增长态势,2020年大数据行业规模约为6670亿元。10-100人的小型企业占主导我国目前大数据领域的企业超3000余家,而超70%的大数据企业为10人至100人规模的小型企业,中小企业在产业蓬勃发展过程中发挥着重要作用。随着全球经济形势的变化和行业政策的实施,大数据中小企业面临的外部市场环境和依托的基础设施也发生重大变化从而影响企业规模分布。地域上以北上广为主根据信通院统计,我国大数据企业主要分布在北京、广东、上海、浙江等经济发达省份。受政策环境,人才创新,资金资源等因素影响,北京大数据产业实力雄厚,大数据企业数量约占全国总数的35%。广东和上海市场环境开放,产业布局上以科技创新为重点,大数据相关企业布局较多,广东省大数据企业数量占比为18%,上海市占比为16%。行业应用领域丰富根据信通院对行业大数据应用相关企业统计整理。下图显示出行业大数据应用企业涉及的行业分布。从图中可以看出,金融、医疗健康、政务是大数据行业应用的最主要类型。除此之外依次是互联网、教育、交通运输、电子商务、供应链与物流、农业、工业与制造业、体育文化、环境气象、能源行业。企业服务为主要融资领域从融资细分领域分布来看,大数据行业融资企业分布在近20个领域,大数据行业迎来历史新机遇,在企业服务、医疗健康、金融等垂直细分领域的大数据应用展现出巨大潜力。大数据产业增量蓝海市场正在逐步打开,截止到2019年,企业服务领域的企业获投占比最高62%,金融行业次之为13%,健康医疗为8%。随着互联网与移动互联网的进一步普及渗透,以及IT基础设施的逐步完善,企业服务市场仍将继续扩大。(文章来源:前瞻产业研究院)
新冠肺炎疫情促使大数据发展走上了快车道。经过这轮急速发展后,大数据呈现怎样的成长状态?未来之路在哪里?《全球大数据发展分析报告(2020)》尝试回答这些问题。4月9日,“第二届天府大数据与新经济发展论坛”在成都召开。《全球大数据发展分析报告(2020)》(以下简称报告)作为论坛的重要报告成果,于论坛当日正式发布。报告显示,新冠肺炎疫情大流行正加速全球数字化进程,加速全球大数据与数字经济的竞争发展。由于隔离措施使得远程办公、在线教育等需求增长,导致全球对宽带通信服务的需求猛增,同时基于短视频、直播等内容消费激增,使得全球创建和捕获的数量及信息量飞速增长。预计到2025年,全球数据量将增长到175ZB。数字经济正在成为当今最活跃的经济形态,数字化转型与发展的同时更需要负责任的商业行为,随着数字技术与实体经济的加速渗透与融合,数字经济将在相关国际标准和规则倡议下弹性发展。报告呼吁开展跨国大数据合作,推动全球可持续发展;建立大数据文化,提升全民数字技能,缩小数字鸿沟;研究构建开放数据评价体系,全面衡量开放数据经济价值与社会价值。机遇伴随着挑战。报告认为,如何定义与衡量数字经济是世界各国共同面临的巨大挑战。首先,数字经济没有被广泛接受的定义。其次,缺乏关于其关键组成部分和层面的可靠统计数据,特别是在发展中国家。从全球范围看,政府开放数据行动已经走过了十年。报告通过对世界主要国家开放数据相关计划、国家级开放数据平台展示的开放数据集数量及类别、格式及应用情况等进行比较分析,结果显示,目前世界主要国家政府数据开放建设情况,其中澳大利亚、韩国、印度、加拿大、美国、英国、日本、法国、新加坡、新西兰、德国处于领先地位,俄罗斯、意大利、瑞士、巴西、乌拉圭、西班牙、智利、印度尼西亚处于竞争者地位。相比2018年,澳大利亚的政府数据开放建设程度进步较大,加拿大、韩国稳步发展,而美国在数据集开放质量和应用等方面均所有退步。目前,中国政府数据开放正处于加快规范发展的关键阶段,中国政府开放数据实施路径是由地方政府数据开放为点,逐渐形成国家层面的数据开放,国家政府数据统一开放平台正在积极建设过程中。在此次新冠肺炎爆发期间,中国运用大数据等技术手段,加强疫情溯源和监测,取得了举世瞩目的防控成效。中国的在线消费、在线医疗、无人配送、智能制造等新兴产业对防控疫情和复工复产发挥了重要作用,同时展现了强大的增长潜力。面对当前复杂的经济形势,中国主张危中寻机、化危为机,全力抢抓产业数字化、数字产业化赋予的机遇,加快5G网络、数据中心等新型基础设施建设,抓紧布局数字经济、生命健康、新材料等战略性新兴产业、未来产业,大力推进科技创新,着力壮大新增长点、形成发展新动能。据悉,该报告是由天府大数据国际战略与技术研究院联合中国科学院虚拟经济与数据科学研究中心、中国科学院大数据挖掘与知识管理重点实验室、四川省大数据中心数据资源管理处、成都市大数据协会联合发布。(文章来源:封面新闻)
4月9日,“第二届天府大数据与新经济发展论坛”在成都召开。《全球大数据发展分析报告(2020)》作为论坛的重要报告成果,于论坛当日正式发布。据悉,《全球大数据发展分析报告(2020)》是由天府大数据国际战略与技术研究院联合中国科学院虚拟经济与数据科学研究中心、中国科学院大数据挖掘与知识管理重点实验室、四川省大数据中心数据资源管理处、成都市大数据协会,以政府数据开放为研究主题,对全球主要国家大数据与数字经济发展情况、主要国家政府数据开放现状与趋势、四川省大数据发展经典案例进行的深度分析。报告显示,新冠肺炎疫情大流行正加速全球数字化进程,加速全球大数据与数字经济的竞争发展。由于隔离措施使得远程办公、在线教育等需求增长,导致全球对宽带通信服务的需求猛增,同时基于短视频、直播等内容消费激增,使得全球创建和捕获的数量及信息量飞速增长。预计到2025年,全球数据量将增长到175ZB。数字经济正在成为当今最活跃的经济形态,数字化转型与发展的同时更需要负责任的商业行为,随着数字技术与实体经济的加速渗透与融合,数字经济将在相关国际标准和规则倡议下弹性发展。报告呼吁开展跨国大数据合作,推动全球可持续发展;建立大数据文化,提升全民数字技能,缩小数字鸿沟;研究构建开放数据评价体系,全面衡量开放数据经济价值与社会价值。报告显示,实现多领域数据汇聚和安全开放共享,利用数字技术推动经济高质量发展、塑造现代治理体系,已在全球范围内形成广泛共识。从全球范围看,政府开放数据行动已经走过了十年,在不断发展的过程中存在着开放数据总体发展进程缓慢、立法薄弱、政府与民间社会缺乏有效互动、开放数据产生的影响和价值缺乏充分的具有影响力的论证等一系列问题。报告通过对世界主要国家开放数据相关计划、国家级开放数据平台展示的开放数据集数量及类别、格式及应用情况等进行比较分析,结果显示,目前世界主要国家政府数据开放建设情况,其中澳大利亚、韩国、印度、加拿大、美国、英国、日本、法国、新加坡、新西兰、德国处于领先地位,俄罗斯、意大利、瑞士、巴西、乌拉圭、西班牙、智利、印度尼西亚处于竞争者地位。相比2018年,澳大利亚的政府数据开放建设程度进步较大,加拿大、韩国稳步发展,而美国在数据集开放质量和应用等方面均所有退步。目前,中国政府数据开放正处于加快规范发展的关键阶段,中国政府开放数据实施路径是由地方政府数据开放为点,逐渐形成国家层面的数据开放,国家政府数据统一开放平台正在积极建设过程中。报告还对四川省大数据战疫、数字四川创新大赛、成都市大数据产业发展、成都市城市大脑建设进行了四川省大数据发展经典案例剖析。新冠肺炎疫情发生后,四川省充分利用大数据技术实施精准防控,坚持群防群治、线上线下深度融合,充分利用大数据赋能,统筹疫情防控和经济社会发展。2020年举办数字四川创新大赛充分利用首次开放的海量政府数据,激发了大数据创新活力,取得了显著成果。成都市构建了“11637”体系,推动数字政府建设,深入贯彻落实国家大数据战略,按照建设“西部数都”,打造全国大数据产业生态创新示范区、国家大数据产业集聚区和国际化大数据市场集散中心的重要目标,大数据产业全面深入发展。(李婷玉)本文转自:新华网四川
1、什么是大数据?大数据(big data),是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据,其规模往往达到了PB(1024TB)级。不同机构对大数据也有不同的定义。Gartner对大数据的定义:大数据是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡对大数据的定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。移动信息化研究中心对大数据的定义:大数据是帮助企业利用海量数据资产,实时、精确地洞察未知逻辑领域的动态变化,并快速重塑业务流程、组织和行业的新兴数据管理技术。2、大数据产业链简介大数据产业:是指一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动的集合。主要包括大数据硬件、大数据软件和大数据应用三大块。◆ 大数据提供者拥有数据的公司、个人、社会团体以及政府机构等,此类角色属于大数据产业链上的基础环节,包括数据源提供者、数据流通平台提供者和数据API提供者。目前我国大数据提供者包括政府管理部门、企业数据源提供商、互联网数据源提供商、物联网数据源提供商、移动通讯数据源提供商、提供数据流通平台服务和数据API服务的第三方数据服务企业、社会团体或者个人等。◆ 大数据产品提供者提供直接应用于大数据产品的企业,包括提供大数据应用软件、大数据基础软件、大数据相关硬件产品的企业。大数据应用软件产品提供者,包括提供整体解决方案的综合技术服务商,也包括大数据计算基础设施上(与云结合),从简单的文件存储的空间租售模式,逐步扩展到提供数据聚合平台,进而扩展到为客户提供分析业务的服务上。大数据基础软件提供商,此类企业搭建大数据平台、提供相关大数据技术支持、云存储、数据安全等,此类公司在某些垂直行业或者区域掌握大数据入口与出口,并能对一些数据进行采集、整合和汇集。这样的企业包括传统的IT企业、设备商以及新兴的云服务相关企业。大数据相关硬件产品提供商,此类企业提供大数据采集、接入、存储、传输、安全等硬件产品和设备。◆ 大数据服务提供者以大数据为核心资源,以大数据应用为主业开展商业经营的企业。包括大数据应用服务提供者、大数据分析服务提供者、大数据基础设施服务提供者。这类企业挖掘数据价值,处于大数据产业链的下游,它们通过发掘隐藏在大数据中的价值,不断推动大数据产业链中各个环节的发展和成熟。从某种角度上说正是此类公司创造了大数据的真正价值,具体包括:1)应用服务提供者,基于大数据技术,对外提供大数据服务。2)分析服务提供者,提供技术服务支持、技术(方法、商业等)咨询,或者为企业提供类似数据科学家的咨询服务。3)大数据基础设施服务提供者,提供面向大数据技术和服务提供者的培训、咨询、推广等的基础类通用类的服务提供者。3、中国数据爆炸式增长,大数据行业市场规模持续扩大当前网民增长进入了一个相对平稳的阶段,互联网在易转化人群和发达地区居民中的普及率已经达到较高水平,下一阶段中国互联网的普及将转向受教育程度较低的人群以及发展相对落后地区的居民。目前,随着移动互联网的繁荣发展,移动终端设备价格更低廉、接入互联网更方便等特性,为部分落后地区和难转化人群中的互联网推广工作提供了契机。截至2020年12月,我国网民规模达到9.89亿,较2020年3月增长8540万,互联网普及率达70.4%,较2020年3月提升5.9个百分点。其中手机网民规模达9.86亿,较2020年3月增长8885万,网民使用手机上网的比例达99.7%,较2020年3月提升0.4个百分点。注:2008年普及率为22.6%。当前,我国正在加速从数据大国向着数据强国迈进。国际数据公司IDC和数据存储公司希捷的一份报告显示,到2025年,随着中国物联网等新技术的持续推进,其产生的数据将超过美国。我国产生的数据量将从2019年的约9.4ZB增至2025年的48.6ZB,数据交易迎来战略机遇期。1zettabyte大约是1万亿gigabyte,这是当今常用的测量方法。与此同时,美国2019年的数据量约为8.6ZB。到2025年,这个数字预计将达到30.6ZB。在产业层面,我国大数据产业继续保持高速发展,大数据将深入渗透到各行各业。对于我国大数据产业的规模,目前各个研究机构均采取简介方法估算。根据国家工业信息安全发展研究中心通过对全国3000多家大数据相关企业的问卷调查和座谈形成的《2019中国大数据产业发展报告》,截至2019年,中国大数据产业规模超过8000亿元,预计到2020年底将超过万亿。目前,17个省市建立了大数据局,大数据安全维护机制日益完善。283所高校获批数据与大数据技术专业,全国有100多个大数据相关产业联盟成立,对大数据的发展起到推动作用。另外,大数据研发人员2019年超过8万人,研发投入超过550亿人民币。注:此处大数据统计口径:指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动,包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动,以及相关信息技术服务。4、中国大数据应用层将占据市场最大份额大数据产业包括一切与大数据的产生与集聚(数据源)、组织与管理(存储)、分析与发现(技术)、交易、应用与衍生产业相关的所有活动。大数据产业按照数据价值实现流程,包括数据源、大数据硬件支撑层、大数据技术层、大数据交易层、大数据应用层与大数据衍生层等六大层级,每一层都包含相应的IT硬件设施、软件技术与信息服务等。从发展趋势来看,随着大数据相关产品及应用的不断普及,未来应用层规模将逐步增长。在技术层、数据源层以及衍生层的共同支撑下,2020年中国大数据应用市场规模份额将达到40%。其中,交易市场规模虽然占比最少,但是正是由于它的存在,使得数据的交易从法律上实现数据的合法化问题,以及实现了数据价值兑现。5、中国大数据产业园区迅速发展助力数字经济发展国内大数据产业园是集聚大数据产业资源的重要载体。当前,不仅八个国家级大数据综合试验区(贵州、京津冀、辽宁、内蒙古、上海、河南、重庆、珠三角)的大数据产业园/基地快速发展,与这些试验区毗邻的省份,如安徽、湖北、四川、陕西、浙江、山东和江苏,也都加快推进“大数据产业园区/基地”建设,增强数字经济发展实力,加速产业转型升级。多数大数据产业园的发展思路:“基础设施建设-数汇集整合开放共享,企业上云-大数据融合应用-大数据产业链延伸”,即首先聚集数据资源,而后通过落地开放共享,协同效应带动开发,最终实现产业链的拓展和完善。中国的大数据产业园可以分为三类:北京、上海、广州和深圳的大数据产业园多脱胎于原先的各类软件园,具有良好的发展基础和优势;河南、重庆、大连、沈阳、内蒙古、贵州等国家大数据综合试验区,加速推进辖区内大数据产业园建设;部分东南和中部省份,顺应产业发展趋势,也积极布局大数据产业园,力促产业转型升级。6、政策推动产业细化,产业价值链向上下游延伸2015年,国家印发《关于促进大数据发展的行动纲要》,第一次将大数据上升到国家战略高度,提出了我国大数据的顶层设计。此后,随着大数据底层设施逐渐成熟,大数据分析开始结合具体行业,向下游垂直行业应用延伸。大数据开始由主题概念向业绩兑现转换。包括房地产、商贸零售、金融、汽车等传统行业开始深入布局大数据的行业应用。大数据源的战略性资源属性越来越普遍地得到各方认同,拥有数据源的企业在补齐分析和应用的技术,有望凭借数据链上游核心资源迎来快速发展。密集出台的大数据政策表明国家大力推动的意愿,环保部、国务院办公厅、国土资源部、国家林业局、煤工委、交通运输部、农业部的细则侧重指引垂直行业的落地。在政策的推动下,大数据加快了向各行业中的普及,并已全面从理论研究迈向实际应用,通过实际的经济效益实现,带动更多的行业开启大数据应用探索。具体从产业来看,互联网、金融、通信、安防等产业目前与大数据融合情况较好,交通、能源、工业等也在快速应用大数据。以工业为例,工业大数据产业规模到2019年有600多亿,到2020年,复合增长将达到50%以上,研发设计、生产、供应链、销售、运维等领域数据量越来越大。而医疗行业大数据在某些点上用得不错,但是要真正替代人,路径还比较长。7、数据外包将成为产业新机遇点数据外包是指大数据企业将价值链中原本由自身提提供的具有基础性的、共性的、非核心的IT业务和基于IT业务的流程剥离出来后,外包给专业服务提供商来完成,通过重组价值链、优化资源配置,降低成本,增强核心竞争力。数据外包有效地解决了数据孤岛以及清理和标记机器学习培训数据需要花费大量的时间和费用这两个问题,促成了“三赢”8、数据安全防护需求驱动制度和技术变革数据安全防护是通过采用各种技术和管理措施,使与数据采集、存储、分析处理等各类系统正常运行,从而确保各类数据的可用性、完整性和保密性。通过采用全面的数据发现能力、快速的安全事件响应,以及有效地云和大数据安全保护,来为用户提供合规的、弹性的、智能的、一站式数据安全解决方案。数据泄露事件持续不断。根据安全情报供应商Risk Based Security发布数据泄露情况显示,2018年公开披露的数据泄露事件达到6500起,涉及50亿条数据记录。其中三分之二来自商业组织,政府占13.9%,医疗行业占13.4%,教育业占6.5%。2019年全球数据泄露持续增长,超过100亿条,2020年前三季度更是达到360亿条,远超2019年全年。数据泄露给企业和用户等各方造成了高昂的成本,IBM Security 发布《2020年数据泄露成本报告》显示,揭示了数据泄露事件给企业造成的平均成本为386万美元,而其中员工账户遭受攻击是最昂贵的原因。超过5000万条记录被泄露的数据泄露事件的成本,从2019年的3.88亿美元跃升至3.92亿美元。泄露记录条数从40到5000万条不等的数据泄露事件的平均成本达到3.64亿美元,与2019年相比,该项成本增加了1900万美元。国内数据泄露方面,2020上半年重大数据泄露事件有:5亿新浪微博用户数据遭泄露、青岛市胶州中心医院6000余人个人信息被泄露、江苏南通5000多万条个人信息在“暗网”倒卖、建设银行员工贩卖5万多条客户信息等,具体如下:目前国内的数据安全市场也正处于成长期,随着数据泄露事件数量激增、性质不断恶化,以及企业数字化转型加速、业务上云,物联网、区块链等新技术的落地,国内对于数据安全相关领域和应用的重视程度正在不断增加。9、线下场景营销成为大数据应用新机遇随着“互联网流量红利”达到饱和,线上营销服务逐步由增量竞争转变为存量竞争。在此背景下,以新零售为代表的“线下场景营销”成为破局关键。根据新零售理论,线上销售将会与线下销售结合,同时会结合现代物流、大数据、云计算等技术。未来可能会有60%-80%的零售属于新零售。数据驱动是新零售的内核之一。数字营销供应商,通过收集线下场景数据,制作“人物画像”,精准刻画线下客户群体。进一步,通过与各类“广告主”合作,协助其将品牌精准推送给目标客户。(文章来源:前瞻产业研究院)
随着社会的进步和信息通信技术的发展,大数据被广泛应用在各行业、各领域。大数据的广泛应用也意味着数据存储量越来越大,因而,近年来全球数据存储量呈爆发式增长。在大数据行业的快速增长过程中,中美两国以先进的技术优势占据行业重要地位。未来大数据行业在经历爆发式增长后,增速将逐渐放缓。全球大数据行业正处在高速增长阶段,不论是数据存储规模还是整个行业的市场规模都在迅速成长,行业发展潜力巨大。大数据储量爆发式增长近两年来,大数据发展浪潮席卷全球。根据国际数据公司 ( IDC ) 的监测数据显示,2013 年全球大数据储量为 4.3ZB ( 相当于 47.24 亿个 1TB 容量的移动硬盘 ) ,2014 年和 2015 年全球大数据储量分别为 6.6ZB 和 8.6ZB。近几年全球大数据储量的增速每年都保持在 40%,2016 年甚至达到了 87.21% 的增长率。2016 年和 2017 年全球大数据储量分别为 16.1ZB 和 21.6ZB,2018 年全球大数据储量达到 33.0ZB,2019 年全球大数据储量达到 41ZB。2019 年全球大数据整体市场规模达 500 亿美元从市场规模来看,根据 Wikibon 发布的大数据市场报告数据显示。2014 年以来,全球大数据硬件、软件和服务整体市场规模稳步提升。2019 年全球大数据硬件、软件和服务整体市场规模达 500 亿美元。中美两国在大数据储量方面占据重要地位根据 IDC 最新发布的统计数据,中国的数据产生量约占全球数据产生量的 23%,美国的数据产生量占比约为 21%,EMEA ( 欧洲、中东、非洲 ) 的数据产生量占比约为 30%,APJxC ( 日本和亚太 ) 数据产生量占比约为 18%,全球其他地区数据产生量占比约为 8%。大数据企业是资本追逐的热点2019 年,很多处于成长阶段的大数据初创企业拿到了不少的可观融资,其中包括:Databricks ( 4 亿美元 F 轮 ) ,Celonis ( 2.9 亿美元 C 轮 ) ,Peernova ( 7400 万美元战略融资 ) ,Orbital Insight ( 5000 万美元 D 轮 ) 等。2025 年大数据市场规模将达 920 亿美元虽然全球经济预期下行,但不论是企业还是政府对大数据的需求依然旺盛。据 Wikibon 预计,2020 至 2025 年,大数据增长率将出现较小幅度的放缓,维持在 10%-15% 之间,据此推测,2025 年全球大数据硬件、软件和服务整体市场规模将达到 920 亿美元。更多本行业研究分析详见前瞻产业研究院《中国行业大数据市场发展前景预测与投资战略规划分析报告》,同时前瞻产业研究院提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资、IPO 募投可研等解决方案。来源:前瞻网
2021年4月9日,“第二届天府大数据与新经济发展论坛”在成都召开。《全球大数据发展分析报告(2020)》作为论坛的重要报告成果,于论坛当日正式发布。《全球大数据发展分析报告(2020)》是由天府大数据国际战略与技术研究院联合中国科学院虚拟经济与数据科学研究中心、中国科学院大数据挖掘与知识管理重点实验室、四川省大数据中心数据资源管理处、成都市大数据协会,以政府数据开放为研究主题,对全球主要国家大数据与数字经济发展情况、主要国家政府数据开放现状与趋势、四川省大数据发展经典案例进行的深度分析。报告显示,新冠肺炎疫情大流行正加速全球数字化进程,加速全球大数据与数字经济的竞争发展。由于隔离措施使得远程办公、在线教育等需求增长,导致全球对宽带通信服务的需求猛增,同时基于短视频、直播等内容消费激增,使得全球创建和捕获的数量及信息量飞速增长。预计到2025年,全球数据量将增长到175ZB。数字经济正在成为当今最活跃的经济形态,数字化转型与发展的同时更需要负责任的商业行为,随着数字技术与实体经济的加速渗透与融合,数字经济将在相关国际标准和规则倡议下弹性发展。报告呼吁开展跨国大数据合作,推动全球可持续发展;建立大数据文化,提升全民数字技能,缩小数字鸿沟;研究构建开放数据评价体系,全面衡量开放数据经济价值与社会价值。《全球大数据发展分析报告(2020)》实现多领域数据汇聚和安全开放共享,利用数字技术推动经济高质量发展、塑造现代治理体系,已在全球范围内形成广泛共识。报告研究显示,从全球范围看,政府开放数据行动已经走过了十年,在不断发展的过程中存在着开放数据总体发展进程缓慢、立法薄弱、政府与民间社会缺乏有效互动、开放数据产生的影响和价值缺乏充分的具有影响力的论证等一系列问题。《全球大数据发展分析报告(2020)》报告通过对世界主要国家开放数据相关计划、国家级开放数据平台展示的开放数据集数量及类别、格式及应用情况等进行比较分析,结果显示,目前世界主要国家政府数据开放建设情况,其中澳大利亚、韩国、印度、加拿大、美国、英国、日本、法国、新加坡、新西兰、德国处于领先地位,俄罗斯、意大利、瑞士、巴西、乌拉圭、西班牙、智利、印度尼西亚处于竞争者地位。相比2018年,澳大利亚的政府数据开放建设程度进步较大,加拿大、韩国稳步发展,而美国在数据集开放质量和应用等方面均所有退步。目前,中国政府数据开放正处于加快规范发展的关键阶段,中国政府开放数据实施路径是由地方政府数据开放为点,逐渐形成国家层面的数据开放,国家政府数据统一开放平台正在积极建设过程中。《全球大数据发展分析报告(2020)》报告还对四川省大数据战疫、数字四川创新大赛、成都市大数据产业发展、成都市城市大脑建设进行了四川省大数据发展经典案例剖析。新冠肺炎疫情发生后,四川省充分利用大数据技术实施精准防控,坚持群防群治、线上线下深度融合,充分利用大数据赋能,统筹疫情防控和经济社会发展。2020年举办数字四川创新大赛充分利用首次开放的海量政府数据,激发了大数据创新活力,取得了显著成果。成都市构建了“11637”体系,推动数字政府建设,深入贯彻落实国家大数据战略,按照建设“西部数都”,打造全国大数据产业生态创新示范区、国家大数据产业集聚区和国际化大数据市场集散中心的重要目标,大数据产业全面深入发展。《全球大数据发展分析报告(2020)》
内容提要展望2021年,我国大数据产业围绕关键核心技术的研发投入将持续加大,工业企业将更加注重数据资源管理能力提升,多元主体差异化竞争格局将进一步明晰,大数据与区域经济协同发展持续深入,数据资产有效运营和价值转化将成为各类主体发展的重要命题。同时,产业发展也面临数据量激增等带来的技术产品供给能力不足,数据中心区域布局有待统筹和优化调整,大数据融合应用不充分等问题。为此,赛迪研究院建议应从加强顶层规划、推动技术突破、深化重点行业应用创新、促进数据流通等四个方面入手,助力打造产业核心优势,突破技术创新瓶颈,培育行业应用生态体系,促进数据要素价值释放。一对2021年形势的基本判断(一)从应用突破到底层自研,大数据技术步入创新突围期2020年,受新冠肺炎疫情倒逼,大数据技术、产品和解决方案被广泛应用于联防联控、产业监测、资源调配、行程跟踪等新兴领域。百度、众云利用大数据平台优势打造"疫情地图",实现疫情数据实时更新,以及潜在疫情动态监测。电商平台发挥"大数据+供应链"优势,通过智能调度进行供应链柔性配置,最大程度满足疫区医疗防护物质需求。随着各行业领域大数据应用主体持续增加、应用需求大量激发,国外先进、通用的技术路线越来越无法适应庞大、多元、复杂的融合诉求,与业务特点相匹配的个性化、定制化大数据解决方案日益受到青睐。展望2021年,以大数据为代表的新一代信息技术主导权竞争日益激烈,我国拥有技术能力的企业在大量创造数据应用新场景和新服务的同时,将更加注重基础平台、数据存储、数据分析等产业链关键环节的自主研发,并有望在混合计算、基于AI的边缘计算、大规模数据处理等领域实现率先突破,在数据库、大数据平台等领域逐步推进自主能力建设。(二)从实践探索到理念变革,工业大数据应用创新走向纵深2020年,在政策和市场的共同作用下,工业企业日益注重大数据在制造全过程、全产业链、产品全生命周期的应用创新。在政策层面,工信部先后发布《工业数据分类分级指南(试行)》、《关于推动工业互联网加快发展的通知》、《关于工业大数据发展的指导意见》,利用多种手段引导各方协同发掘工业数据应用价值。在企业实践层面,中策橡胶借助阿里云ET工业大脑,对橡胶密封数据分析优化,实现密炼时长减少10%、密炼温度降低10℃;富士康基于BEACON工业互联网平台实时采集精密刀具状态数据,实现刀具自诊断自优化,使刀具寿命延长15%,坏刃预测准确率达93%,产品良率提升超过90%。展望2021年,大数据在工业领域的应用将从产品级、设备级向产业链级深入拓展,通过工业知识、业务、流程的数据化、算法化、模型化,为整个制造体系装上"智脑"系统,形成动态感知、敏捷分析、全局优化、智能决策的强大能力。这一过程,也是工业企业数据管理意识树立、数据管理能力加快构建的过程,企业将更加重视数据战略与未来发展战略的统筹规划,设立专职数据管理机构,围绕数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生存周期等循序建设,筑牢工业数据创新应用根基。(三)从单一技术主体成长到多主体融入,大数据企业创新创业势能趋强2020年,大数据领域企业整体呈现多元差异化发展态势。阿里、百度等龙头企业持续深化大数据布局和应用创新,如阿里云分布式数据库PolarDB首次进入Gartner全球数据库领导者象限,市场份额位居全球云数据库第三位以及中国市场第一位;百度地图时空大数据为成都等地的国土空间规划提供了重要支撑。浪潮、中科曙光、美林数据等基础技术型企业向医疗、电力、能源等领域进一步下沉专业化服务,浪潮集团"基于健康医疗大数据的医养健康创新应用"、中科曙光"面向智慧电力的大数据智能分析平台"、美林数据"基于知识图谱技术的能源企业数据资产管理应用"均入选工信部2020年大数据产业发展试点示范项目。字节跳动、滴滴出行等行业融合型企业加快大数据技术能力建设,深耕传媒、交通等传统领域新型数字业务,加速行业数字化变革。大数据独角兽企业增长势头强劲,2020年《互联网周刊》评选的大数据独角兽企业已达50家,实现连续三年增长。展望2021年,在海量数据供给、活跃创新生态和巨大市场需求的多重推动下,以龙头企业为引领、专业化服务企业和融合性应用企业联动、独角兽企业兴起的大数据行业竞争格局将进一步明晰,大数据企业创新创业势能将持续增强。(四)从统筹发展到特色聚焦,大数据与区域经济协同发展向"深"而行2020年,以8个国家大数据综合试验区为引领,京津冀、长三角、珠三角和中西部地区为支撑的大数据区域集聚发展示范效应进一步突显。《中国大数据发展水平评估(2020)》显示,8个国家大数据综合试验区在全国大数据发展总指数中总体占比达39%,除内蒙古外,区内各省(市)均位列综合排名前20,在政策机制、数据资源体系建设、主体培育、产业集聚等方面积累了丰富的实践经验。展望2021年,受益于国家重大区域战略、数字经济创新发展、服务贸易扩大试点等政策叠加效应,京津冀、长三角、珠三角、中西部等地区大数据与区域经济协同发展、融合发展日益深化,将持续引领全国大数据发展。未来,6个数字经济创新发展试验区、28个服务贸易扩大试点省市(区域)将围绕数据要素价值释放,在新基建、数字政府、新型智慧城市、大数据与实体经济融合、数字货币、数字贸易、区域一体化等方面推动特色发展。(五)从资源观到资产观,数据要素价值创造成为新蓝海2020年,随着网络全面普及、计算无处不在、要素广泛连接,数据日益成为经济社会全要素生产率提升的新动力源,数据资源掌握的多寡成为衡量各个主体软实力和竞争力水平的重要标志。4月,中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》,明确提出"加快培育数据要素市场",进一步强化了数据作为生产要素的重要性。在政策引领下,企业、高校等多类主体围绕数据资源定价、交易等加强研究和探索力度。展望2021年,随着数据要素可参与分配的政策红利效应释放,政府、企业、社会组织将纷纷参与数据要素市场建设,积极探索数据资产有效运营和价值转化的可行途径。电信、金融等数据治理模式较成熟的行业加速数据运营和服务创新;交通、旅游、医疗、制造业等拥有丰富数据资源的行业深入探索基于大数据的业务变革;政府、民生等领域更加重视大数据平台建设,推动大数据应用成果融入决策、服务于民。数据要素市场机制建设将成为地方改革重点,为数据在各行业、各业态、各模式中的融通应用和价值释放铺平道路。二需要关注的几个问题(一)技术产品供给能力不足成为制约产业发展的关键因素当前,数据资源呈现爆炸式增长,规模体量日益庞大、类型显著增多、需求趋于复杂,现行的大数据技术产品在存、算、管等方面的能力已无法满足应用需求。同时,我国在多样性数据采集、多模态数据管理、强关联数据集成、数据建模分析、数据共享流通及安全治理等大数据技术方面与国外差距较大,一些关键产品对外依存度较高,意味着在数据大规模应用发展的同时,其基础和底座仍不牢固。(二)数据中心区域布局有待统筹和优化调整当前,我国数据中心结构性过剩问题突出。据统计,北上广深等一线城市数据中心利用率已经处于饱和状态,但西部地区很多省份数据中心上架率还在15%-30%之间,提升空间巨大。同时,在推动算力资源"西向转移"过程中,由于长期受到托管地域较远、网络稳定性缺乏保障、数据安全性面临威胁等因素的制约,"东数西算"的理想分流效果尚未实现,算力资源的合理调度和有效应用亟待整体统筹。(三)大数据融合应用创新亟待进一步深化当前,大数据应用的广度和深度仍然不足,"三多三少"特点明显,包括∶ 可视化、统计分析等基础描述性应用多,基于数据的指导性、决策性应用少;预测性维护、质量分析、能源管控等管理服务应用多,基于数字孪生体的制造执行类应用少;企业内单环节、单部门应用多,跨系统、跨产业链的综合性应用少。由于很多行业企业缺乏大数据技术应用经验,数据服务商又对行业的业务、流程、组织等认知不足,无法提供满足实际需求的定制化产品和解决方案,难以支持高层次、高水平应用。三应采取的对策建议(一)研究制定新时期大数据产业发展的顶层规划"十四五"时期,大数据产业对经济社会高质量发展的赋能作用更加突显,打造大数据产业核心优势、支撑构建以数据为关键要素的新发展模式已成为各方共识。要从全国统筹发展角度,对新时期大数据产业发展进行前瞻部署,明确数据资源管理、数据技术产品协同攻关、数据融合应用、大数据企业主体培育、区域集聚发展、产业生态建设等重点任务和实施路径,创新发展手段,落实任务责任主体和关键举措,充分引导产业供给能力提升,释放产业价值,赋能经济社会发展。(二)强化大数据核心技术创新突破推动大数据技术"固根基、扬优势、补短板、强弱项"。一是优势领域做大做强,提升现有大数据应用分析等技术优势,实现从被动跟随到技术引领的转变。二是前沿领域加强技术融合,进一步加强前瞻布局,推动数字孪生、人机协同、边缘计算、区块链等与大数据技术有效融合,抢抓新兴技术发展先导权。三是补齐关键技术短板,构建产学研协同的创新生态布局,加强大数据计算框架、分布式数据库、图计算引擎等底层技术攻关。(三)进一步加强工业大数据应用发展指导一是分行业梳理工业大数据应用路径、方法模式和发展重点,编制工业大数据应用指南,引导企业的工业大数据应用方向。二是加快研究制定科学有效的工业大数据应用水平评估标准,对我国、各地及企业工业大数据应用现状、应用水平进行监测、分析和评估,引导地方、企业依据评估标准和结果,循序渐进提升应用水平。三是加快推进工业企业 DCMM贯标,推动构建以企业为主体的工业数据分类分级管理体系,促进工业数据应用价值有效释放。(四)破解数据流通机制壁垒一是进一步加强国家数据共享交换平台、全国一体化在线政务服务平│台和国家电子政务云数据中心等综合性政务数据交换体系建设,引入联邦学习、隐私计算、数据标签等技术,促进政务数据的跨域共享开放。二是探索数据中介、数据代理、数据加工等多样化数据流通服务模式,支撑数据资源汇聚、数据资产管理、数据价值流转、数据产品交易等更多平台服务能力建设,优化数据流通服务生态。三是推进数据的权属、流通、交易、保护等方面的标准和规则制定,建立数据流通交易负面清单,营造可信数据交换空间,保障数据流通的合规性和安全性。更多内容,请关注公众号“ccid-2014”
2021年大数据行业发展前景及岗位方向如何?中国大数据行业的发展依然呈稳步上升趋势,大数据总体发展水平较好在各行业都有应用,其中金融大数据、政务大数据的应用水平高,同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。接下来我们具体看下大数据行业发展前景:一、就业机会好岗位多如今各个行业都已经在大数据化、互联网化以及信息化,这些发展的到来便意味着如果掌握了大数据技术,你的就业范围当然不再是单调的某一个行业。从现目前来看只要是稍有规模一点的企业都会有自己的单独大数据部门,可能还不够系统,但数据分析师等这些职业从以前未听说未出现到现在已经日益成为了招聘网站中出现率极高的词语了。在有些企业里信息量很大就势必需要数据库的管理以及企业信息化管理,在这些比较有规模的企业去担任重要职责。除此之外,大数据行业的岗位每年在以超过20%的速度递增着,会产生大量的岗位机会,随着行业快速发展岗位也随着企业的业务增长不断增多。二、大数据年平均工资高大数据行业的薪资福利待遇是很多其他行业可望不可及的,平均工资水平自2016年超过金融业后,连续4年位居第一名。对于大数据行业来讲,行业薪资高主要的原因是这个行业发展过快,从互联网行业来看每年增长100%一点也不稀奇。这也是为什么很多人通过从事大数据行业能够成功的原因,除了一个人自身的能力以外还因互联网发展的大背景好!三、大数据行业学习机会多对于大数据行业来讲需要不断学习,行业发展非常迅速人才是层出不跌,在这个行业从业的人需要不断地让自己接触到最新资讯,从而去了解到最新技术,不断地学习为自己充电,从而跟上时代的发展。大数据行业在你辛苦的完成项目后你可以获得丰富的报酬,当你的成果推向市场之后被得到认可会觉得非常自豪,拥有极大的成就感满足感。哪怕这个项目并不是你所负责主要项目,但是只要是自己有参与其中依旧会有成就感。全球大数据储量呈现爆炸式增长,其中中国数据产生量增长最为迅速,平均每年增长速度比全球快3%,预计到2025年中国将成为全球最大的数据圈。如果自身条件比较好选择加入大数据行业是个不错的选择。