大数据研究

封面新闻记者 刘秋凤新冠肺炎疫情促使大数据发展走上了快车道。经过这轮急速发展后，大数据呈现怎样的成长状态？未来之路在哪里？《全球大数据发展分析报告（2020）》尝试回答这些问题。4月9日，“第二届天府大数据与新经济发展论坛”在成都召开。《全球大数据发展分析报告（2020）》（以下简称报告）作为论坛的重要报告成果，于论坛当日正式发布。报告显示，新冠肺炎疫情大流行正加速全球数字化进程，加速全球大数据与数字经济的竞争发展。由于隔离措施使得远程办公、在线教育等需求增长，导致全球对宽带通信服务的需求猛增，同时基于短视频、直播等内容消费激增，使得全球创建和捕获的数量及信息量飞速增长。预计到2025年，全球数据量将增长到175ZB。数字经济正在成为当今最活跃的经济形态，数字化转型与发展的同时更需要负责任的商业行为，随着数字技术与实体经济的加速渗透与融合，数字经济将在相关国际标准和规则倡议下弹性发展。报告呼吁开展跨国大数据合作，推动全球可持续发展；建立大数据文化，提升全民数字技能，缩小数字鸿沟；研究构建开放数据评价体系，全面衡量开放数据经济价值与社会价值。机遇伴随着挑战。报告认为，如何定义与衡量数字经济是世界各国共同面临的巨大挑战。首先，数字经济没有被广泛接受的定义。其次，缺乏关于其关键组成部分和层面的可靠统计数据，特别是在发展中国家。从全球范围看，政府开放数据行动已经走过了十年。报告通过对世界主要国家开放数据相关计划、国家级开放数据平台展示的开放数据集数量及类别、格式及应用情况等进行比较分析，结果显示,目前世界主要国家政府数据开放建设情况，其中澳大利亚、韩国、印度、加拿大、美国、英国、日本、法国、新加坡、新西兰、德国处于领先地位，俄罗斯、意大利、瑞士、巴西、乌拉圭、西班牙、智利、印度尼西亚处于竞争者地位。相比2018年，澳大利亚的政府数据开放建设程度进步较大，加拿大、韩国稳步发展，而美国在数据集开放质量和应用等方面均所有退步。目前，中国政府数据开放正处于加快规范发展的关键阶段，中国政府开放数据实施路径是由地方政府数据开放为点，逐渐形成国家层面的数据开放，国家政府数据统一开放平台正在积极建设过程中。在此次新冠肺炎爆发期间，中国运用大数据等技术手段，加强疫情溯源和监测，取得了举世瞩目的防控成效。中国的在线消费、在线医疗、无人配送、智能制造等新兴产业对防控疫情和复工复产发挥了重要作用，同时展现了强大的增长潜力。面对当前复杂的经济形势，中国主张危中寻机、化危为机，全力抢抓产业数字化、数字产业化赋予的机遇，加快5G网络、数据中心等新型基础设施建设，抓紧布局数字经济、生命健康、新材料等战略性新兴产业、未来产业，大力推进科技创新，着力壮大新增长点、形成发展新动能。据悉，该报告是由天府大数据国际战略与技术研究院联合中国科学院虚拟经济与数据科学研究中心、中国科学院大数据挖掘与知识管理重点实验室、四川省大数据中心数据资源管理处、成都市大数据协会联合发布。

4月20日，由中国科学院深圳先进技术研究院（简称深圳先进院）、中国科学院深圳理工大学（筹，简称中科院深理工）、《大数据挖掘与分析（英文）》编委会联合举办“大数据高端论坛”，这也是中科院深理工计算机科学与控制工程学院自筹建以来的首次大型交流活动。本次论坛以大数据为核心展开讨论，与会专家学者围绕大数据、人工智能、网络安全、分布式系统等内容展开探讨与交流。会议开始，中科院深理工筹备办主任、深圳先进院院长樊建平致欢迎词，对计算机科学与控制工程学院发展及“大数据高端论坛”的成功举办给予期望，并表示中科院深理工由中科院与深圳市在建设粤港澳大湾区和中国特色社会主义先行示范区的背景下共同举办，将充分结合并发挥双方优势，强强联合，打造成为具有特区精神的国际一流研究型大学。会议环节由计算机科学与控制工程学院院长潘毅教授以及李建中教授主持。中国工程院郑纬民院士以“AIPerf和MadFS”为题，论述了目前计算特征的演进，即从传统的数值超算逐渐向融合智能计算转变的趋势。在此基础上，郑纬民院士提出，“我们需要一个人工智能算力基准测试程序，一是给公众一个简单的标准来回答哪套系统更为强劲，二是说明了用于传统高性能计算机的测试结果与人工智能需要的性能不完全一致”。郑纬民院士强调，目前使用的文件系统不能满足新一代的人工智能、大数据、机器学习等应用，因强化对新的存储系统结构的重视程度。原华中科技大学计算机学院院长金海教授针对“区块链系统的技术挑战：分布式系统观”的主题，概述了区块链基本特点以及分布式系统技术的发展路线、面临的核心技术瓶颈及对区块链技术未来发展的看法和展望。目前，区块链技术在共识协议、数据存储、网络通信方面仍然面临挑战，且大部分区块链应用仍然处在未成熟阶段。金海教授指出，未来区块链将数据模型将从链式区块链到图式区块链的转变，实现底层数据存储的融合、区块链网络加速、健壮的网络监管机制等。欧洲科学院院士，原上海交通大学电子信息与电气工程学院计算机系主任过敏意教授则主要就“面向人工智能新特性的计算架构设计”进行分享。过敏意教授认为，以CPU为代表的传统计算系统已经进入算力瓶颈，因此需要人工智能专用芯片架构来满足人工智能发展的算力需求。目前市场上已有一些成熟的芯片，但人工智能新的计算特性也会带来一系列的挑战，包括算法迭代更新、模型黑盒特性、模型稀疏特性等，可以通过新型的专用与通用架构的平衡设计并借鉴程序分析方法来解决上述问题。原东华大学校长、原同济大学副校长蒋昌俊教授作了题为“网络交易风险防控”的报告。蒋昌俊教授强调了网络交易的风险以及对于风险防控的重要性，阐述了其团队研究的成果以及贡献，即建立了并发系统行为能级体系与流量计算方法、提出了网络资源管理与优化的虚拟调度技术和实现网络交易风险防控的行为认证技术。随后湖南大学计算机学院院长李肯立教授以及中南大学计算机学院院长王建新教授，分别主持了“大数据理论研究”以及“大数据应用”两个会谈。参会嘉宾有中科院深理工学术委员会主任委员赵伟，深圳先进院数字所所长乔宇，电子科技大学研究生院院长罗光春，原东南大学软件学院、计算机科学与工程学院院长罗军舟，四川大学计算机学院（软件学院）院长吕建成，英国莱斯特大学信息学院院长刘路，深圳大学大数据技术与应用研究所所长黄哲学，西南交通大学信息科学与技术学院副院长杨燕，北京航空航天大学计算机学院科研处副处长李建欣，浙江工业大学计算机院党委书记范菁，中南大学计算机学院副院长李敏以及中科院深理工计算机科学与控制工程学院院长潘毅、系主任唐金陵、讲席教授李建中。嘉宾在会谈中积极发言，不仅分享了各自的学术成果，更针对大数据这个话题，提出了自己的见解，座谈氛围热烈。论坛最后，潘毅对本次“大数据高端论坛”进行了总结性发言，并对出席嘉宾表以谢意。潘毅表示，期待通过科教融合与产教融合，建设好中科院深理工计算机科学与控制工程学院，解答好“我们为什么要用大数据”“通过大数据能够实现哪些突破”以及“培养什么样的新时代大数据人才”之问。

4月20日，由中国科学院深圳先进技术研究院（简称深圳先进院）、中国科学院深圳理工大学（筹，简称中科院深理工）、《大数据挖掘与分析（英文）》编委会联合举办“大数据高端论坛”，这也是中科院深理工计算机科学与控制工程学院自筹建以来的首次大型交流活动。本次论坛以大数据为核心展开讨论，与会专家学者围绕大数据、人工智能、网络安全、分布式系统等内容展开探讨与交流。会议开始，中科院深理工筹备办主任、深圳先进院院长樊建平致欢迎词，对计算机科学与控制工程学院发展及“大数据高端论坛”的成功举办给予期望，并表示中科院深理工由中科院与深圳市在建设粤港澳大湾区和中国特色社会主义先行示范区的背景下共同举办，将充分结合并发挥双方优势，强强联合，打造成为具有特区精神的国际一流研究型大学。会议环节由计算机科学与控制工程学院院长潘毅教授以及李建中教授主持。中国工程院郑纬民院士以“AIPerf和MadFS”为题，论述了目前计算特征的演进，即从传统的数值超算逐渐向融合智能计算转变的趋势。在此基础上，郑纬民院士提出，“我们需要一个人工智能算力基准测试程序，一是给公众一个简单的标准来回答哪套系统更为强劲，二是说明了用于传统高性能计算机的测试结果与人工智能需要的性能不完全一致”。郑纬民院士强调，目前使用的文件系统不能满足新一代的人工智能、大数据、机器学习等应用，因强化对新的存储系统结构的重视程度。原华中科技大学计算机学院院长金海教授针对“区块链系统的技术挑战：分布式系统观”的主题，概述了区块链基本特点以及分布式系统技术的发展路线、面临的核心技术瓶颈及对区块链技术未来发展的看法和展望。目前，区块链技术在共识协议、数据存储、网络通信方面仍然面临挑战，且大部分区块链应用仍然处在未成熟阶段。金海教授指出，未来区块链将数据模型将从链式区块链到图式区块链的转变，实现底层数据存储的融合、区块链网络加速、健壮的网络监管机制等。欧洲科学院院士，原上海交通大学电子信息与电气工程学院计算机系主任过敏意教授则主要就“面向人工智能新特性的计算架构设计”进行分享。过敏意教授认为，以CPU为代表的传统计算系统已经进入算力瓶颈，因此需要人工智能专用芯片架构来满足人工智能发展的算力需求。目前市场上已有一些成熟的芯片，但人工智能新的计算特性也会带来一系列的挑战，包括算法迭代更新、模型黑盒特性、模型稀疏特性等，可以通过新型的专用与通用架构的平衡设计并借鉴程序分析方法来解决上述问题。原东华大学校长、原同济大学副校长蒋昌俊教授作了题为“网络交易风险防控”的报告。蒋昌俊教授强调了网络交易的风险以及对于风险防控的重要性，阐述了其团队研究的成果以及贡献，即建立了并发系统行为能级体系与流量计算方法、提出了网络资源管理与优化的虚拟调度技术和实现网络交易风险防控的行为认证技术。随后湖南大学计算机学院院长李肯立教授以及中南大学计算机学院院长王建新教授，分别主持了“大数据理论研究”以及“大数据应用”两个会谈。参会嘉宾有中科院深理工学术委员会主任委员赵伟，深圳先进院数字所所长乔宇，电子科技大学研究生院院长罗光春，原东南大学软件学院、计算机科学与工程学院院长罗军舟，四川大学计算机学院（软件学院）院长吕建成，英国莱斯特大学信息学院院长刘路，深圳大学大数据技术与应用研究所所长黄哲学，西南交通大学信息科学与技术学院副院长杨燕，北京航空航天大学计算机学院科研处副处长李建欣，浙江工业大学计算机院党委书记范菁，中南大学计算机学院副院长李敏以及中科院深理工计算机科学与控制工程学院院长潘毅、系主任唐金陵、讲席教授李建中。嘉宾在会谈中积极发言，不仅分享了各自的学术成果，更针对大数据这个话题，提出了自己的见解，座谈氛围热烈。论坛最后，潘毅对本次“大数据高端论坛”进行了总结性发言，并对出席嘉宾表以谢意。潘毅表示，期待通过科教融合与产教融合，建设好中科院深理工计算机科学与控制工程学院，解答好“我们为什么要用大数据”“通过大数据能够实现哪些突破”以及“培养什么样的新时代大数据人才”之问。文/广州日报·新花城记者 王纳图/广州日报·新花城记者 王纳广州日报·新花城编辑：刘影

（报告出品方/作者：国泰君安证券，李博伦）1. 分布式系统，一场破坏性的技术革新分布式系统的核心思想是分而治之，用一组计算机集群通过计算机网络 协作，共同完成任务。根据传统思路，处理复杂问题的方式是不断提升 计算机性能，研发一代更比一代强的“超级计算机”。而分布式系统则另 辟蹊径，解决问题的方式从“一夫当关、万夫莫开”演变为“人海战术”， 用一组计算机集群替换大型机，集群中的每台机器处理原问题的一个子 集，通过成百上千普通计算机协作，实现与大型机相同甚至更佳的效果。分布式系统是对传统单机思路的颠覆。过去十几年中，IT 性能界的技术 进步集中于延续性技术的发展，即遵照市场上主流消费者的诉求，不断 提升单机的计算及存储性能。而分布式系统的出现则是反其道而行之， 它抛却了传统采取冯·诺伊曼机进行串行顺序处理的工作机制，通过改 变计算机设计概念结构，在整个计算机集群上组织计算。分布式系统有望重塑行业格局。在历史经验看，破坏性技术往往会重新 塑造产业价值链和行业竞争格局，孵化出新的独角兽企业。例如线上零 售相对于线下零售是破坏性技术，淘宝、京东相继诞生；个人计算机相 对于大型计算机是破坏性技术，苹果、IBM 把握住了机会。分布式系统 的作为一项类破坏性技术，也有望重塑当前 IT 市场的竞争格局，在多个 细分领域孵化出新的行业龙头。2. 分布式改造已迫在眉睫2.1. 数据量爆炸增长，集中式系统矛盾凸显数据量爆炸性变大，大量非结构化数据产生。移动互联网的普及带来了 全球数据量爆炸性增长的时代。根据 Statista 的统计和预测，2020 年全 球数据产生量高达 47 ZB，预计而到 2035 年，年数据产生量将达到 2142 ZB。此外，采集到的数据中，图片、音频、视频等半结构化、非结构化 的数据占比高达 85%，传统关系型数据库无法胜任此类数据的处理，整 个 IT 系统亟须革命性重构，以适应大数据时代的发展。集中式系统的提升是非线性的，不可能无限优化。在传统冯·诺伊曼模 型中，人们通过芯片制程工艺+处理器微架构设计+服务器平台技术提升 CPU 计算性能，但目前芯片集成度已进入极小尺度级别，各类复杂的微 体系结构技术都已得到研究应用，未来集中式系统的升级将变得尤为艰 难。集中性系统技术瓶颈与大数据需求之间的矛盾不断凸显。随着 5G、物联 网时代的到来，数据量爆炸性增长，而传统集中式数据库容量有限，存 储性能提升越来越昂贵；计算复杂度提升迅速，而集中式系统性能提升 却逐步趋缓。集中式技术进步跟不上时代发展的矛盾不断凸显，人们转 而突破冯·诺伊曼体系的束缚，设计能适应大规模数据、大批量计算场 景的分布式系统。2.2. 分布式是突破瓶颈，解决问题的最佳手段大数据使得高可拓展性成为信息系统最本质的需求。可拓展性是指，若 集群中计算机数量增加一倍，则解决问题的速度加快一倍或可处理规模 扩大一倍。在可拓展性极高的情况下，只要增加系统中的计算机数量，就能满足日益扩大的业务量需求，处理日益增长的数据规模。在移动互 联走向万物互联的今天，可拓展性无疑会越来越重要。分布式向“外”横向扩展，而非向“上”纵向扩展，可拓展性降维打击。分布式系统在可拓展这一性能上可以降维打击集中式系统，并行化框架 允许方便的增加节点扩充系统，但系统节点的增加并不影响程序的编写， 并且能够保证增加后系统性能有线性的提升，也就是说，无论用户访问 数量增长到多大规模，都只需不断购置新的计算机，无需对系统和算法 进行修改即可满足需求。2.3. 国产替代政策加速分布式技术推广国产化政策使得各个企业已建成的 IT 系统面临从上到下的整体替换。随着国际形势日益紧张，为了避免“卡脖子”问题，各个企业将 IT 系统 替换为国产化设备的需求越来越强烈。若要完全避免卡脖子问题，实现 真正的 IT 自主，就意味着 IT 系统要进行从软件到硬件的整体替换。分布式系统是国产替代环境下更新换代的最佳选择。一方面，既然要整 体更新换代，就要换为符合未来需求的，最适应新时代的技术。而今集 中式的大型机瓶颈已现，无法跟上未来数据量爆炸性增长的节奏，分布 式拥有极强的拓展性，是解决未来几十年大数据时代需求的最佳方案。 另一方面，分布式作为一个新兴的技术，刚刚发展起来，国内厂商在商 业化发展程度上与国外厂商的解决方案无太大差距。3. 主流分布式系统是架构上的全面升级3.1. 开源 Hadoop 系统是大数据处理的工业标准开源的 Apache Hadoop 是最主流的大数据处理平台，成为了事实上的 大数据处理工业标准。在大数据处理的众多技术和系统中，起到开创性 作用、最为主流的当数 Google 公司在 2003 年发明的 MapRece 技术以 及随后在 2007 年由开源组织 Apache 推出的开源的 Hadoop MapRece 技术和系统。目前，Hadoop 已经成为全世界最为成功和最广为接受使用 的主流大数据处理技术平台，成为了事实上的大数据处理工业标准。近 年来出现了以内存计算为基础，能够提供多种流计算、图计算等多种大 数据计算模式的 Spark 系统。大部分分布式系统由 Hadoop 开源产品二次开发而来。在开源 Hadoop 系统发展的同时，工业界也有不少公司基于开源的 Hadoop 进行一系列 商业化版本开发。他们针对开源系统在系统性能优化、系统可用性和可 靠性以及系统功能增强方面进行大量研究和产品开发工作，形成商业化 的发行版。如 Intel 发行版、Cloudera 发行版(CDH)、Hortonworks 发行版 （HDP）、MapR 等，所有这些发行版均是基于 Apache Hadoop 衍生出来 的，在中国诸多大型应用行业得到了推广应用。3.2. 主流分布式系统由四个层级组成主流的 Hadoop 分布式系统由硬件、存储管理、并行计算框架、应用层 四个层级组成。主流分布式系统 Hadoop 是围绕数据存储、处理计算的 基础技术，同配套的数据治理、数据分析应用、数据安全流通等助力数 据价值释放的周边技术组合起来形成整套技术生态，具体可以分为：硬 件层、存储管理层、并行计算框架、应用层四个部分。硬件层：数量换质量。分布式系统选用市场上现成的普通 PC 或性能较 高的刀架或机架式服务器作为基础设施，构成一个包含数千节点的分布 式并行计算集群；据 PASA 实验室研究，普通低端的计算机由于规模效 应和激烈竞争价格较低，PC 服务器集群比高端计算机性价比高 4 倍，以 性价比作为第一要务的分布式系统一般建立在普通低端的计算机集群 中。存储管理层：去中心化存储。分布式存储系统是一套逻辑上的文件系统， 它将数据存储在物理上分布的每个节点上，但通过分布式文件存储系统 将整个数据形成一个完整的文件。系统中包含一个元数据表（META DATA) ，保存所有数据表的位置，承担目录的作用，查询数据时先访问 到元数据表，获取数据所在服务器，再访问到具体数据。并行化计算框架：封装细节，成为所有应用的入口。为了进一步提升并 行计算程序的自动化并行处理能力，编程时应该尽量减少程序员对很多 系统底层技术细节的考虑，使得编程人员更专注于应用问题本身的计算 和算法实现，并行计算框架诞生。并行化计算框架能够自动完成计算任 务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分 配和执行子任务以及收集计算结果，将数据分发、任务分配、数据通信 和同步，容错处理等并行计算中的复杂细节交给计算机处理，减轻了编 程人员的负担。3.3. 分布式系统解决所有领域中数据量大、计算复杂的问题分布式技术可应用于几乎所有行业，用以解决计算密集型、数据密集型 两大类问题。分布式系统解决的问题可以分为两类，第一是计算密集型 问题，第二是数据密集型问题。计算密集型问题：指计算复杂度极高，涉及数据量较少的问题，诸如 3D 建模和渲染、物理实验中的高性能计算、比特币挖矿等。对于计算密集 型的问题，由于涉及到的数据量较少，往往只需要部署分布式计算集群， 做好集群之间计算任务的分工协作，无需分布式存储系统。数据密集型问题：指涉及到大量数据量的问题，诸如淘宝要分析的每位 用户产生的日浏览数据，大量数据训练机器学习模型等。对于数据密集 型问题，数据迁移是信息系统中最大的开销，故往往需要分布式存储系 统作为基础，再进行分布式计算。数据密集型问题由于与数据交互的方式不同，需采用不同的分布式存储 技术：1. 频繁读写、修改数据。此种情形常用于日常事务性操作，如银行、券 商对核心数据库的日常操作，需使用关系型数据库作为存储系统。2. 一次写、多次读，已写入数据不能更新。此种情形常用于大数据分析 挖掘，可使用 NoSQL 等数据存储无固定格式的数据库。3. 一边写一边读，流式计算。用于数据时效价值极高的场景，例如高频 股票交易，对用户进行商品实时推荐等。4. 国产分布式的发展现状4.1. IT 巨头研发通用底层平台，行业 ISV 构建生态未来或将呈现 IT 巨头研发分布式通用底层平台，ISV 开发满足细分需 求的分布式应用的局面。目前几家华为、阿里、腾讯、百度等 IT 巨头大 数据技术实力较强，均基于 Hadoop 开源平台开发出了商业化版本的分 布式平台产品。但各细分行业仍有具体的分布式应用需深耕该细分行业 的 ISV 在底层平台的基础上完成开发，共同构建起丰富的大数据技术生 态。目前华为、阿里、腾讯、百度等 IT 巨头均有基于 Hadoop 开发的大数据 平台产品。Apache Hadoop 的开源协议允许任何人对其进行修改并作为 开源或者商业产品发布，国内研发实力领先的各 IT 巨头均早早开启了 分布式领域的布局，目前已经形成了涵盖数据仓库、实时流式数据处理、 数据挖掘、图计算、分布式数据库等在内，涵盖多行业领域的完善技术 体系。源于开源、高于开源。为保证良好的兼容性和开放性，以及最重要的稳 定性。各家的大数据平台均基于开源 Hadoop 平台商业化改版而来，并 在开源版本的基础上自研安全加固、可靠性增强、存储计算优化等核心 技术竞争力。各家产品均有了横跨多个行业领域的实践应用案例。4.2. 金融为目前分布式系统的主要应用领域分布式系统在各行各业中普及，金融行业分布式应用占比最高。据信通 院对 1404 家涉及行业大数据应用的企业的统计，金融、医疗健康、政务 是大数据行业应用的最主要类型，分别占比 30%、14%、13%。除此之 外是互联网、教育、交通运输、电子商务等行业。金融机构客户对分布式的接受程度不断提高，分布式技术正在从边缘系 统向核心系统演进。随着对分布式的探索越来越多，问题的不断被解决， 分布式使用场景越来越多，金融行业客户对分布式的接受程度正在提高， 分布式系统从边缘应用逐步向核心应用演进。2020 年邮储银行的分布式核心项目标志着国有大行正式进入了核心系统分布式更新换代的周期。4.3. 金融 IT 主要厂商纷纷布局分布式长亮科技在布局银行 IT 领域的分布式系统研发。近两年国有大行、股 份制银行纷纷开启新一代核心系统建设及统一技术平台建设，而基于单 元化分布式、微服务等构建的企业级 IT 架构和技术平台是其中最为经 典的建设思路。长亮科技在此过程中先后创造了国内首个分布式核心系 统、首个“微服务+单元化”架构分布式核心系统，并凭借着企业级架构 核心及技术平台的领先优势，先后中标了多家国有大行信创项目：中标邮储银行新核心技术平台及银行汇款组件；中标交通银行信用卡核心系统及技术平台；中标中国银行技术平台-单元化部署组件；恒生电子在布局证券 IT 领域的分布式系统研发。中国证券行业交易面 临基础技术升级、市场逐步完善、交易程序化、差异化竞争等几大趋势, 交易技术设施性能的提升迫在眉睫。这意味着对系统而言,低延时、高可 用、易开发，具有高度可定制性，缺一不可。而恒生电子于 2021 年 3 月 10 日公布的恒生 Light 平台中十大技术栈之一的 Light-LDP 正是低时延 分布式开发平台。Light-LDP 通过分布式构架助力金融机构构建核心极 速业务系统，进而完成差异化，并适应各类金融行业应用场景。平安云在布局企业级核心业务 IT 领域的分布式系统研发。平安分布式 关系型数据库服务（Distributed Relational Database Service，简称 DRDS） 是平安云为解决单机数据库服务瓶颈问题而研发的分布式数据库。可部 署主备架构，提供容灾、监控等方面的全套解决方案，为客户提供一站 式数据库解决方案，助力各行业企业客户尤其是金融行业客户主机下移， 以适应数据量爆炸的大数据时代。详见报告原文。（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）精选报告来源：【未来智库官网】。

如今大数据时代，投资股票当然也要研究大数据，盲目投资是很难持久获胜的。本周，基金年报已经披露结束，其中的数据就值得研究。还有，目前上市公司正在发布年报，即将发布今年一季报，这些数据都是需要研究的。本周大盘反弹，3月A股收阴后，迎来4月开门红，周K线也收出春节后最大涨幅的红盘，显示一轮反弹正在持续展开。一些表现较好的股票，就与基金数据有关，很有必要研究这些大数据。一季度大盘调整很正常先来看看大盘，本周正好3月份结束，进入4月份，3月份的月K线和一季度的季度K线全部收阴。从月K线看，上证指数3月份下跌1.91%，终结此前的月K线4连阳。深市三大指数跌幅更大，深证成指3月份跌幅为5.02%；中小板指数3月份跌幅高达8.41%，创出一年来最大月跌幅；创业板指数3月份跌幅为5.34%。从季度K线看，各指数也全部收阴，终结此前的3连阳，其中创业板指数结束之前的季度K线6连阳。上证指数一季度下跌0.9%，深证成指一季度跌幅为4.78%，中小板指数一季度下跌6.86%，创业板指数一季度跌幅达7%。值得一提的是，一季度各指数冲高回落震荡幅度非常大，振幅均超过20%。一季度收阴其实很正常，因为从去年4月份开始的这波行情持续上涨了10个月，各指数涨幅均不小，可以说是2015年之后涨幅最大的一波行情。更为重要的因素是，推动这波行情主要是大市值的机构核心资产股票，这些股票大幅上涨之后估值明显偏高，出现蓝筹泡沫，最终在春节后一路下跌，导致指数下跌。无论从上涨时间还是上涨空间看，这轮调整都是正常而必须的。4月迎来开门红反弹持续从周四开始，进入了4月份，4月A股迎来开门红，连续2天上涨，这样，本周的周K线均收出阳线。上证指数4月2日报收3484.39点，本周上涨1.93%；深证成指报收14122.61点，本周涨幅2.56%；中小板指数报收9114.22点，本周涨幅1.82%；创业板指数报收2852.23点，本周涨幅3.89%。上证指数周K线图深证成指周K线图中小板指数周K线图创业板指数周K线图沪深300指数周K线图本周各指数创出近3周高点，也是春节之后最大周涨幅。之所以出现强劲反弹，主要是抱团股卷土重来，大市值蓝筹股表现不错，如贵州茅台周五大涨5.75%。市值前50大股票中，本周上涨股票比例高达90%。这些机构抱团股春节后大幅下跌，普遍跌幅超过20%，经过约三周的底部盘整，终于开始反弹，并推动大盘上涨。不过，目前这些股票涨幅并不是很大，市值前50只股票，本周只有海天味业、泸州老窖、隆基股份、长城汽车等4只股票涨幅超过10%。这些股票离2月份创下的高点还差不少，大盘能不能继续反弹，实际上取决于这些抱团股的反弹力度。部分基金增仓股表现强劲不过，有一批股票在这轮下跌中表现强劲，甚至创出新高。其中，一些股票都是基金在去年下半年大幅加仓的股票。基金2020年年报本周披露结束，基金每个季度都要披露季报，年报和季报最大的区别在于，季报只公布基金持仓的前十大股票，年报则要公布基金所有持股，这个数据就非常重要，值得重点研究，因为基金加仓或减仓对股票走势会产生较大影响。研究基金去年下半年大幅加仓的股票，发现有些股票走势的确非常强。比如，太平鸟本周上涨23%，股价创出历史新高，今年以来，该股已经大涨72%。从基金年报数据看，去年底81家基金持有太平鸟1970万股，占流通股4%，其中，下半年买入1866万股，环比增加18倍，就是说，基金基本上是下半年买入太平鸟的。爱美客本周上涨21%，该股是去年下半年上市的，2245家基金买入786万股，占流通股比例达30%，持股市值高达51亿元。正是大量基金买入，使得该股走势较强。国际医学本周创出历史新高，去年底103家基金持股2.44亿股，占流通股比例12.68%，持股市值30亿元。其中下半年大部分都是下半年买入的，环比增加30倍。一心堂也在本周创出历史新高，该股去年下半年基金持股增加37%，去年底192家基金持股1.24亿股，占流通股比例达32%，基金持股市值41亿元。另外，今年以来表现较强的美迪西、北摩高科、山东威达、华贸物流、宏达电子、神火股份、杭叉集团、久立特材、宏远电子等等股票，都是基金在去年下半年大幅增仓。可见，基金增仓股值得重视。当然，也不是基金大幅增仓的股票一定就上涨，还要结合上市公司年报特别是今年一季度业绩综合考虑，可以从中寻找基金增仓的理由。值得一提的是，基金年报数据值得研究，但是，毕竟隔了时间较长，今年第一季度已经过去，基金即将公布今年一季报，这又是一个值得研究的数据，从中了解基金进行哪些调仓。总体来说，研究基金持股等大数据，是非常重要的功课。金海岸工作室作 者 | 连建明编 辑 | 陆佳慧

天天准时起床、准时睡觉，真的那末紧张吗？事实上，能够真的很紧张。大数据研讨：生涯越纪律，均匀而言门生进修成就越好电子科技大学大数据研讨中心科研团队一份研讨注解，门生校园生涯的纪律性和成就明显相干。该项研讨初次提醒校园生涯的纪律性和门生成就的明显联系关系，其相干论文《生涯纪律性猜测学业表示：校园生涯的行动阐发》已于9月19日在英国皇家学会会刊颁发。26日，成都商报记者接洽到该论文通信作者、电子科技大学大数据研讨中心周涛传授，为咱们解读了这份研讨数据。生涯越纪律 均匀而言成就越好？电子科技大学大数据研讨中心科研团队一份研讨注解，门生校园生涯的纪律性和成就明显相干，生涯越纪律，均匀而言，门生的进修成就越好。电子科技大学大数据研讨中心的科研团队网络和阐发了近2万名大门生的食堂用饭、宿舍沐浴、教学楼取水和收支藏书楼4种行动，约3000万条刷卡记载，将教学楼取水和收支藏书楼的数据生成为了门生的进修尽力水平指数，食堂用饭、宿舍沐浴的数据构成为了生涯纪律指数，再将这两个指数与门生的进修成就停止比拟，得出了门生进修尽力水平指数与进修成就呈正相干的论断，更风趣的是，门生校园生涯的纪律性，也和成就呈正向干系。从研讨论文的沐浴和用饭纪律性表示图上可以或许看到，开端沐浴的光阴在一天24小时中的散布，某位有纪律的同窗主要在21点阁下沐浴，而没有纪律的某位同窗除清晨02：30到05：30，随时都可以或许去沐浴。而在生涯纪律性和学业成就正相干的表示图上，可以或许看到，不论是用饭照样沐浴，生涯越纪律，均匀而言成就越好。研讨数据还进一步发明，校园生涯的纪律性和进修勤恳水平二者是不相干的。研讨团队进一步将校园生涯纪律水平作为一组紧张的行动特征来练习机械进修模子，以进步人工智能对门生成就的猜测才能。“即使在斟酌勤恳水平的情况下，校园生涯纪律水平的引入，对门生成就的猜测精度仍旧有明显晋升感化。这阐明校园生涯纪律水平对付进修成就的影响是独立于勤恳水平的。”抉择18960名门生有用行动数据构成研讨论断周涛传授先容说，门生校园卡周全地记载了在校门生的进修生涯行动，是比拟少见的、险些可以或许周全笼罩门生进修和生涯行动的数据网络利器。那末，在浩繁数据中，为何单单抉择了沐浴、用饭、取水、收支藏书楼这4类行动？周涛先容说，在拔取行动数据时，必需满意行动产生频次高的、累计记载多的，如许才便于停止可托的统计阐发，确保论断的科学性。别的，这些行动最佳都是自觉行动，不易遭到外界身分滋扰，在网络时也不会影响到门生的正常生涯进修，不需要扣问门生。藏书楼是黉舍门生上自习最多的处所，而在教学楼自习光阴较长，就会有取水等行动，以是可以或许用来评价门生的进修勤恳水平。假如一个门生一个月在教学楼取水80次，然则近来一个月只要一两次，也能够或许观测出这个门生的行动非常，而不管门生课程表和课外活动若何支配，必然会留有用饭和沐浴的光阴，这些行动与其余身分没有太大干系，可以或许用来描绘生涯纪律性。周涛先容说，在研讨过程当中，网络的行动数据笼罩光阴段是从2009年9月到2015年7月，先后约6年光阴，剔除行动数据中止、数据量太少等样本，终极抉择了18960名门生的有用行动数据，约莫3000多万条校园卡刷卡记载，终极构成为了这一研讨论断。可监测门生非常行动从而停止提早干涉周涛觉得，只管今朝的论断是应用匿名数据得出的，但对付黉舍教学管理，尤其是定量化、个性化、前置化和动态化的教学管理，有很大意义。“这类行动数据作为一个前置性、领导性的目标，可以或许让黉舍管理者认识到门生的行动数据和学业成长之间的干系。”周涛说，不仅在大黉舍园，在中学、小学，乃至是幼儿园，都可以或许用类似的技巧去察看门生能否在会合注意力听课，门生的状况能否阳光豁达，是不是有孤介自闭行动。“比方，网络游戏成瘾的门生表示出极不纪律的生涯作息，烦闷和孤介的门生更倾向于独来独往。行动数据阐发办法有助于实时觉察门生的非常行动和生理成绩，采用干涉和赞助步伐，更好地领导门生的校园生涯。”研讨团队也盼望寻找到一部分志愿者，在他们的同意下，得到与实在身份可对应的行动数据，从而增强研讨论断的现实可用性。周涛举例说，针对入学门生或许已有生理疾病的门生，可以或许树立更精细化的模子，来断定门生的行动变更。比如说一些沉溺于网络游戏乃至完整逃课不上学的门生，无端多天分开黉舍，落空接洽，这会反应在门生的校园卡记载上，经由过程数据阐发可以或许晚期发明旌旗灯号，让学工部或许其辅导员可以或许控制到这一非常旌旗灯号，停止人工干涉，可以或许尽量地防止产生不可挽回的成果。“总之，把门生在进修生涯过程当中表示进去的行动特征，归入到精细化教学管理的领域中。”周涛说。针对小我隐衷成绩，周涛传授先容说，研讨职员在拿到数据时，曾经做了匿名化处置，无从得悉数据号码对应的学号是若干。同时，门生在某个卧室沐浴、在哪一个食堂用饭，准确到分钟和所在的这类信息会停止隐约化处置，技巧职员无奈从原有数据中反向获知这个门生究竟是谁

我有个朋友，在相亲网站工作。所以，在后台，他能看到所有的数据，并且根据数据去分析各种类型男女的特征。大家都知道，相亲网站上骗子甚多，有些人不见得是真正想要通过相亲网站来找自己人生的另一半的，还有些人，明明有了家室，还声称自己单身，目的就是为了骗财骗色。很多新闻其实都报导过这样的事情，所以我朋友对此很感兴趣，特地利用大数据研究了，什么样的女孩容易被骗。我说：“这也能用大数据研究？”他嘿嘿一笑，说：“当然了，我们每隔一段时间会发起一个线上或者线下的调查问卷，因为是匿名的，所以相对真实，可是我们在后台是可以看到数据的，拿去一比对，很快就能够知道哪些女孩子，在恋爱或者婚姻中，总是遇人不淑，最后输得一败涂地了。”我好奇地问他是哪种，他笑而不语，给了我一堆资料，看了一会儿后，我终于发现了一些规律。因为资料里有图片，所以原来我以为，会是那些看起来很妖冶放荡的女人，因为太随便，所以容易被男人骗，可是看了图片后，我才发现，我错了。那里面，大部分女孩子，不仅不妖冶，甚至可以用清纯来形容。一头黑长的直发，乖巧的面容，一看就是从小到大父母眼中的乖乖女。这样的女孩子，从小被父母教育，要乖巧，要淑女，她们绝大多数，其实根本不知道自己要的是一个什么样的男人。在她们自己的简介里，写的也不过是些“我平常有些害羞，但是我性格温柔，善解人意”等等诸如此类毫无个性和亮点的自我介绍。问她们喜欢什么样的男人，更是毫无主见，诸如“要先过得了父母这关，性格温和，体贴我”这样的话。这样的要求其实很空白，因为在婚前，男人的温柔和耐心，是可以装出来的。我朋友还专门拿出一个案例给我看。里面那个女孩子就像我上面写的那样，通过这个相亲网站认识了一个男的，去相亲时，不知道是怕被骗还是想让父母也看看这个男孩子，就把父母也带去了。等相亲结束之后，别人问她喜不喜欢这个男孩子，她却说，要回去问问父母的意见怎么样。父母没意见，那么之后就再约出来几次，不过是吃几顿饭，看了几场电影，然后就把婚期定下了。其实她内心深处，对这个男人是毫无感觉的。男人无车无房，只是表现得很上进，获得了她父母的认可，于是她也觉得，自己是能够和这个男人结婚的。结果就是悲剧了。女孩的父母在她们结婚后，怕自己的女儿无房无车活得辛苦，就出资给他们买房买车，登记在她们夫妻名下。结果，没几个月，这个男人就闹着要离婚，还要分走一半女孩父母给她买的车和房子。她才觉得，自己被骗了。不知道自己想要什么，不懂得拒绝的女孩子，很容易成为一些渣男的目标。因为她们太温顺，太好骗到手。即使最后不离婚，她们的婚姻，也大多数是一种灾难。就像之前被家暴致死藏在冰箱里的那个女孩子，据说生前也非常温顺，对丈夫百依百顺。最后我希望，每个女孩子都知道自己想要什么，把生活真正过成自己想要的样子。在你不知道自己想要什么之前，别急着结婚。

来源：金融界网　　4月18日，在 “腾讯大数据高峰论坛”上，腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”，该平台以最新的“数据协同、技术互通、平台大脑”技术理念为基础，在确保数据安全这一重要前提下，真正实现万亿级数据分析无人“自动驾驶”，进而推动大数据和人工智能技术融合为一，引领全球大数据计算进入下一时代。 　　中国科学院院士梅宏、中国信息通信研究院云计算与大数据研究所副所长魏凯、埃森哲战略与咨询董事总经理袁虹、腾讯数据平台部总经理蒋杰、英特尔大数据首席工程师程从超、腾讯数据平台部副总经理刘煜宏、腾讯数据平台部AI平台总监陶阳宇等国内大数据领域领军人物做了演讲。会上，中国民生银行廖鹏、中国电力科学研究院张玉天、中国电信云计算分公司温森茂、腾讯聂晶及陈鹏就隐私计算的机遇与挑战展开了圆桌对话。 　　蒋杰在会上表示：“作为新型基础设施的重要组成部分，大数据产业将迎来发展的新阶段。此次发布的第四代数智融合计算平台，将以安全的方式打通数据孤岛，桥接多方数据，以统一的数据处理引擎更高效地挖掘数据价值，以智能化的方式驱动整个数据处理闭环，为开发者、企业、以及政府的数字化、智能化升级打下坚实基础。” 　　安全，自研隐私计算技术领冠全球 　　为打破数据孤岛实现数据协同，数据安全是重中之重。“腾讯大数据-天工”采用自研隐私计算技术，从机器学习到大数据分析为各个场景提供全方位保护，去中心化的架构则能避免单点隐私泄露风险。目前，“腾讯大数据-天工”可以支持千亿级规模的海量数据训练，性能参数领先业界5倍，在此基础上，提供3072bit业界最高强度加密和TEE硬件双保险，最大限度确保数据安全。 　　凭借该技术，腾讯大数据相关团队获得iDash 2020世界隐私计算大赛冠军，安全性能领冠全球。据了解，金融级安全强度的腾讯隐私计算技术已广泛应用在医疗、金融风控、数字政务等众多领域。 　　智能，万亿级数据分析将实现“自动驾驶” 　　从离线计算、实时计算再到机器学习，大数据智能化是第四代数智融合计算平台规划的必由之路，腾讯正在构建平台大脑，推动万亿级大数据分析逐步实现“自动驾驶”。从快速发现大数据运行问题到主动发现问题，再到主动解决问题，平台大脑预计可让数据中心研发效率提升60％，运营效率提升50％，平台服务质量提升80％。 　　统一，大数据和人工智能融为一体 　　大数据智能化趋势日渐明晰，大数据和人工智能技术的融合也在不断加速各行业的数字化升级。鉴于二者本质技术类似，“腾讯大数据-天工”平台通过解决大数据和人工智能计算框架的统一，从而更好地适配CPU、GPU、NPU、FPGA等硬件。包括通过构建大数据、AI基础算子，统一元数据用于执行优化，统一批、流、图计算形态来统一计算引擎，并及时编译，代码生成适配异构硬件。 　　十年深耕，“腾讯大数据-天工”引领全球大数据浪潮 　　蒋杰表示，腾讯自身即拥有海量的数据规模，目前腾讯大数据平台日接入消息量超过55万亿，日实时计算量超过65万亿，平台整体算力超过500万核，日分析任务达到1500万，腾讯云已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。 　　自2009年开始，腾讯就开始深耕海量大数据处理领域，其第一代大数据平台依托Hadoop生态，围绕离线计算模式化构建出能够稳定支撑小时/天级别的计算任务数据处理平台，该平台在2016年取得世界排序冠军佳绩；2012年前后，腾讯第二代大数据平台通过引入Spark、Storm等实时计算处理框架，让大数据平台处理性能迈入毫秒级别，当时便已跻身国内实时计算量规模第一宝座。 　　2015年，腾讯第三代大数据平台朝着机器学习发展，其自研机器学习框架Angel成为国内第一个从Linux基金会毕业的顶级AI项目，并推动国内大数据处理正式进入机器学习时代。从2020年开始着手规划的第四代数智融合计算平台“腾讯大数据-天工”，无疑将持续引领全球大数据计算走上安全、统一、智能的新征程。 　　值得一提的是，为更好地探索数字时代中发展和安全的平衡点，腾讯在此次峰会上也重磅发布《腾讯隐私计算白皮书》。白皮书由腾讯研究院联合公司内部多部门共同撰写，从隐私计算发展背景、技术体系、重点应用行业和场景、数据安全合规、未来发展前景等多角度全方位探索隐私计算，通过与业界凝聚共识，共同推动隐私计算技术的发展。 　　会上，腾讯大数据与中国信息通信研究院云计算与大数据研究所签署战略合作协议，将就技术创新及标准制定、测评认证及应用示范以及联合实验室筹建等展开深度合作。

读创/深圳商报记者 袁斯茹△论坛现场4月20日，一场“大数据高端论坛”在中科院深圳先进院举行，这也是中科院深理工计算机科学与控制工程学院自筹建以来的首次大型交流活动。论坛以大数据为核心展开讨论，与会专家学者围绕大数据、人工智能、网络安全、分布式系统等内容展开探讨与交流。据悉，本次活动由中科院深圳先进院、中科院深理工、《大数据挖掘与分析（英文）》编委会联合举办。会议上，中科院深理工筹备办主任、深圳先进院院长樊建平表示，中科院深理工将致力于打造具有特区精神的国际一流研究型大学。会议环节由计算机科学与控制工程学院院长潘毅教授以及李建中教授主持。△潘毅教授中国工程院郑纬民院士以“AIPerf和MadFS”为题，论述了目前计算特征的演进，即从传统的数值超算逐渐向融合智能计算转变的趋势。在此基础上，郑纬民院士提出，“我们需要一个人工智能算力基准测试程序，一是给公众一个简单的标准，来回答哪套系统更为强劲，二是说明了用于传统高性能计算机的测试结果与人工智能需要的性能不完全一致”。原华中科技大学计算机学院院长金海教授针对“区块链系统的技术挑战：分布式系统观”的主题，概述了区块链基本特点以及分布式系统技术的发展路线、面临的核心技术瓶颈及对区块链技术未来发展的看法和展望。目前，区块链技术在共识协议、数据存储、网络通信方面仍然面临挑战，且大部分区块链应用仍然处在未成熟阶段。金海教授指出，未来区块链将数据模型将从链式区块链到图式区块链的转变，实现底层数据存储的融合、区块链网络加速、健壮的网络监管机制等。欧洲科学院院士，原上海交通大学电子信息与电气工程学院计算机系主任过敏意教授则主要就“面向人工智能新特性的计算架构设计”进行分享。过敏意教授认为，以CPU为代表的传统计算系统已经进入算力瓶颈，因此需要人工智能专用芯片架构来满足人工智能发展的算力需求。目前市场上已有一些成熟的芯片，但人工智能新的计算特性也会带来一系列的挑战，包括算法迭代更新、模型黑盒特性、模型稀疏特性等，可以通过新型的专用与通用架构的平衡设计并借鉴程序分析方法来解决上述问题。 图片来源：Pixabay 原东华大学校长、原同济大学副校长蒋昌俊教授作了题为“网络交易风险防控”的报告。蒋昌俊教授强调了网络交易的风险以及对于风险防控的重要性，阐述了其团队研究的成果以及贡献，即建立了并发系统行为能级体系与流量计算方法、提出了网络资源管理与优化的虚拟调度技术和实现网络交易风险防控的行为认证技术。随后湖南大学计算机学院院长李肯立教授以及中南大学计算机学院院长王建新教授，分别主持了“大数据理论研究”以及“大数据应用”两个会谈。参会嘉宾有中科院深理工学术委员会主任委员赵伟，深圳先进院数字所所长乔宇，电子科技大学研究生院院长罗光春，原东南大学软件学院、计算机科学与工程学院院长罗军舟，四川大学计算机学院（软件学院）院长吕建成，英国莱斯特大学信息学院院长刘路，深圳大学大数据技术与应用研究所所长黄哲学，西南交通大学信息科学与技术学院副院长杨燕，北京航空航天大学计算机学院科研处副处长李建欣，浙江工业大学计算机院党委书记范菁，中南大学计算机学院副院长李敏以及中科院深理工计算机科学与控制工程学院院长潘毅、系主任唐金陵、讲席教授李建中。嘉宾在会谈中积极发言，不仅分享了各自的学术成果，更针对大数据这个话题，提出了自己的见解，座谈氛围热烈。论坛最后，潘毅表示，期待通过科教融合与产教融合，建设好中科院深理工计算机科学与控制工程学院，解答好“我们为什么要用大数据”“通过大数据能够实现哪些突破”以及“培养什么样的新时代大数据人才”之问。审读：谭录岗