数据库行业调研报告

近日，Gartner发布《The Future of the Database Management System (DBMS) Market Is Cloud》市场研究报告。根据报告，腾讯云数据库以123％的市场份额增速位列国内数据库厂商之首，同时实现全球范围内连续两年增速前三。随着云计算技术的不断成熟，云数据库也成为企业重要的IT基础设施。腾讯云近年来在云数据库市场也推出多款突破性产品。如2018年11月发布的云原生数据库CynosDB，提供单节点130万QPS读性能，同时支持无限量存储、百万级查询和秒级的故障恢复，而价格只有传统商业数据库的1/15。由此，微众银行、猎豹、每日优鲜、蘑菇街、猫眼等知名大中型企业都纷纷选用腾讯云数据库服务，该服务已涉及电商、金融、游戏、O2O等各行各业。在此之前，凭借优异的产品性能以及敏捷、灵活的部署，腾讯云数据库也首度被Forrester评为数据库厂商“实力竞争者”。调查区域：企业小调查(点击预览可查看效果)【ZOL客户端下载】看最新科技资讯，APP市场搜索“中关村在线”，客户端阅读体验更好。(7206555)

近期，Gartner陆续发布了2018年的数据库系列报告，包括《数据库魔力象限》《数据库核心能力》以及《数据库推荐报告》。其中，SequoiaDB巨杉数据库作为业界领先的金融级分布式交易型数据库产品，连续两年入选。此前，SequoiaDB巨杉数据库于2017年首批入选Gartner报告的中国数据库厂商，和阿里云数据库是仅有的两家连续入选报告的产品。金融级用户认可是决定因素Gartner对于核心应用场景尤其看重，经过大型银行这样的技术要求最严苛、市场需求最大、安全和监管要求最谨慎的行业的应用是数据库产品的唯一“试金石”。过去一年，巨杉数据库保持了创新和快速发展。巨杉数据库的技术领先性、金融级稳定性、安全性以及产品市场成熟度持续得到了行业的高度认可。目前，巨杉数据库付费企业级客户与社区用户总数超过1000家，并已在超过50家500强级别的银行、保险、证券等大型金融机构核心生产业务上线。巨杉数据库目前业务场景包括分布式核心在线交易、分布式内容管理以及数据中台、数据湖、云数据库平台等。这些场景均在大型商业银行业务实际落地，许多场景的应用类型和技术要求甚至大大高于海外同类金融企业，这也是Gartner十分认可我们的一个重要点。原创是重要标准超90%入选Gartner报告的数据库都为从零自研产品，这既有技术发展可持续性的考量，也是技术产品商业化的一个重要前提。巨杉数据库在6年的时间里，坚持从零开始打造分布式数据库内核引擎，得到了业界和市场的一致认可，也代表了中国基础软件领域的“原创力量”。巨杉数据库同时也大力发展开源技术社区，搭建开源技术生态。架构与技术创新是基础除了金融级用户以及场景，Gartner对于数据库技术和架构的发展判断也是业界的“风向标”，这也是判断数据库产品的最基础因素。SequoiaDB巨杉数据库作为一款分布式交易型数据库，技术维度包括交易型 NewSQL、分布式对象存储与高性能分布式NoSQL。其中，原生的分布式multimodel数据库引擎也提供了结构化、半结构化、非结构化数据的全覆盖。SequoiaDB 3.0 版本中，巨杉数据库采用和AWS Aurora同样的计算-存储分离架构，这是分布式云数据库当前的主流架构。此外，SequoiaDB还提供了HTAP混合事务、分析处理，快速实现业务应用的弹性开发，提供原生异地容灾备份和多活，可满足“三地五中心”的容灾支持和双中心同时读写。附录:2018年入选报告产品榜单：在今年的数据库系列报告中，中国数据库的比重不断增加，继2017年首次中国3家数据库产品入选报告后，今年的总上榜数据库产品达到了5家。

前言近年来，随着人们的数据意识和数据素养不断提升，商业智能和数据分析领域迎来了快速发展期，据Gartner商业智能报告统计，到2020年全球的商业智能市场容量预计将达到228亿美元。同时，大数据、人工智能、机器学习、深度学习等技术的快速发展，也促进了商业智能和数据分析产品的新一轮进化。Gartner分析师认为，到2020年，自然语言生成和人工智能将是90%的新BI平台的标准特征，50%的分析查询将使用搜索、自然语言处理，或语音生成，或将自动生成。但我们必须认识到，我国商业智能的市场特征、企业需求、关注点、发展阶段均与国外有所不同，以Gartner为代表的分析机构并不能准确描述我国商业智能行业的实际状况。针对这一问题，帆软数据应用研究院调研了规模不一的216家企事业单位，了解到他们的大数据BI应用状态、需求情况、对大数据BI产品功能的期待，同时基于帆软数据应用研究院对行业的长期观察和思考，形成了该篇报告。主要预测：2018年，中国大数据 BI 产品将主要在自助分析的可操作性和功能丰富度、平台的安全性、数据管理能力、分析的共享能力、数据挖掘能力、大数据处理能力六大功能模块进行提升。一、2018年中国商业智能行业发展分析(一) 行业总体形势向好在当前经济环境下，企业盈利的压力和难度不断增加，越来越多的企业，尤其是一、二线稍具业务规模的企业，其高层都希望通过精细化运营提升市场竞争力，降低企业的运营成本。这些企业绝大多数都已经在2008年~2015年间上线了各种业务系统，存储了大量管理和运营数据，具备应用大数据BI进行数据分析和数据化管理的各种条件，这些需求将在2018年~2022年继续爆发。值得注意的是，艾瑞咨询在《2017年中国商业智能行业研究报告》中指出，我国已经进入商业智能领域第一方阵，成为发展最快的国家之一，但和美国还有比较大的差距。所以未来中国大数据BI行业总体将呈现加速度增长，市场容量将不断扩大。(二) 大数据BI厂商马太效应显现马太效应是指强者越强，弱者越弱的现象，国内BI行业的马太效应已经显现。据帆软品牌部调研数据显示，处于行业第一梯队的帆软、Tableau、微软PowerBI的品牌知名度和市场份额与其他厂商进一步拉大。帆软2017年全年营收2.77亿，远超其他国内厂商之和。同时帆软销售部反映，2017年度销售跟单中遇到的竞品种类和数量均较2016年有相当大幅度的下降。BI行业出现马太效应实属必然，综合实力强大的厂商更能投入资源做好产品、服务，解决更多用户的需求和问题。可以预见，2018年中国BI行业马太效应将进一步增强，逐步淘汰掉实力弱、规模小、产品差的企业。(三) 新型自助式BI与传统型BI平分秋色得益于敏捷、自助的特征，从2013年起新型自助式BI迎来了高速发展期，这一时期也是传统型BI的衰退期。2017年，传统型BI与新型自助式BI在国内市场中平分秋色。受访企业中，约50.2%的企业仍然在使用传统型BI，其中最典型的需求是企业常规日报、月报等汇总分析报告。约49.8%的企业应用新型自助式BI，通过报表平台+自助式BI+大数据底层平台的解决方案，来解决企业综合的数据展示和分析需求，形成经营和战略决策。在调研中我们注意到，约有18%的企业引进了新型自助式BI，部分或全部替代了传统BI。虽然传统型BI尤其自身优势和应用场景，但随着新型自助式BI的不断发展，传统型BI必将逐渐退出历史舞台，从国际传统BI巨头积极调整产品结构可见一斑。二、2017年中国商业智能用户状况分析根据企业的IT人员和业务人员在数据分析中的工作量和投入程度占比，我们将BI用户（企业）划分为5大类型，即BI应用金字塔模型，以更好的统计、分析企业的BI应用状况。(一) BI应用金字塔模型1. IT完全主导型其典型特征为，IT人员做底层数据仓库，以及BI工具层面的数据模型处理的所有相关工作，完成95%以上的BI分析页面（注：主要是指用于生产、经营、管理会议所需要的数据分析页面，下同）的开发。业务人员仅负责前端数据查看，完成查看报表时相关联动钻取操作。调研中我们发现，处于“IT完全主导型”这一等级的企业，约有93.2%都在使用传统型BI工具，企业的业务人员基本没有能力，也没有需求去自主完成数据分析的工作。这些企业的业务变革并不剧烈，企业管理层认为当前的日常数据报告能够满足企业管理和决策的需要，相对缺少变革的动力。2. IT强主导型其典型特征为，IT人员做底层数据仓库，以及BI工具层面的数据模型处理的所有相关工作，完成80%~95%数量的BI分析页面。业务人员完成低于20%数量的BI分析页面。从调研数据来看，这类企业中，67.5%的企业认为当前业务人员不具备数据分析的能力。而企业需要快速完成部分数据分析工作，所以选择让IT人员更多承担工作。这类企业中普遍认为，商业智能产品本身并非能够快速上手，且业务人员仍需要统计学基础，阻碍数据分析工作从IT人员向业务人员的转移。3. 业务强主导型其典型特征为，IT人员做底层数据仓库，以及BI工具层面的数据模型处理的所有相关工作，完成前期示例不超过20%数量的BI分析页面。业务人员完成超过80%数量的BI分析页面。从调研数据来看，这类企业中，超过80.2%是曾经推行传统BI的企业，并且部分业务人员是有较高学历和能力的，能够学习和掌握商业智能工具和数据分析技能，并愿意在工作中积极使用；从帆软数据应用研究院的实地走访的部分企业来看，这些企业普遍行业排名靠前，公司从高层就重视数据分析工作。4. 业务完全主导型其典型特征为，IT人员做底层数据仓库，以及BI工具层面的数据模型处理的部分相关工作。业务人员完成95%以上数量的BI分析页面和相当部分BI工具层面的数据模型处理。相比于第三类使用人群（业务强主导型），这类用户的一大特点是业务变革十分迅速，从事业务工作的人员学历普遍较高，业务经营和发展需要企业快速做出决策。而基于数据分析得出的业务判断相比个人历史经验准确度更高，是这类企业基本共识。比如在新兴的互联网企业，或者新零售领域，这个特点尤为突出。5. 智能自助型其典型特征为，IT人员只做底层数据仓库、数据连接、数据字典相关工作。业务人员处理所有BI工具层面的数据处理，以及所有BI分析页面。IT人员搭建数据中心，业务人员完全自主处理和分析数据，这类企业有着明显的资源密集型的特点，业务人员更多的是偏向运营相关的工作。当然，因为此类受访企业占比较少，原因分析的可信度还有待进一步调研来核实。(二) BI用户状况分布基于BI应用金字塔模型，2017年企业分布如下；从调研数据中，我们可以得出两大结论。1、IT人员主导企业数据分析的模式仍占据主流，也就是IT驱动仍是2017年企业商业智能平台应用现状。从数据调研的受访企业来看，有高达60.5%的企业的数据分析工作仍是第二类型（IT强主导型），甚至有21.5%的企业的数据分析工作处在第一类型（IT完全主导型），这显然和业务人员自助数据分析的目标距离遥远。2、新型自助BI正在成为商业智能市场的主流。17.5%的企业是在2017年上线了新型自助BI，实现了让少部分业务人员自助完成BI数据分析的目标。三、2018年商业智能用户需求分析(一) 企业多级部门数据分层次IT权限和平台管控，占受访企业97.6%需求描述：BI工具支持企业的多级部门的数据/分析页面权限管控，使得不同层级的部门机构只能看到本部门机构和辖属部门机构的数据/分析页面。需求产生的原因：有的信息中心为释放压力，放权给业务部门使用数据，一旦口子打开，数据缺口就会像洪水一样泛滥，就又会走向另外一个极端，导致放权下的数据管理混乱，数据口径不统一，部门之间的数据壁垒等等问题就会出现，同时这将给企业带来极大的数据安全隐患。满足该需求对企业的价值和意义：在满足业务部门BI数据自助分析的同时，兼顾企业的数据权限管控，形成企业以IT部门集中管理下的良性数据分析风貌，杜绝企业数据安全隐患。(二) 业务人员可通过BI工具进行自助数据分析，占受访企业94.5%。需求描述：业务人员可以在浏览器前端，对自己权限范围内的数据进行多维拖拽探索和自助分析，发掘隐含在数据中的业务价值。需求产生的原因：企业的传统信息化建设中，IT信息中心对公司数据进行高度集中的管控，来自企业各职能部门的数据处理以及报表就会全部由IT人员来输出，一旦业务部门需求集中扎堆，就会造成响应不足，业务部门怨声载道。信息中心自身成员熬夜加班做报表，成就感却很低。满足该需求对企业的价值和意义：通过高效灵活的BI工具，业务人员对自己权限范围内感兴趣数据进行多维拖拽探索和自助分析，以工具简单易上手的低学习成本，让真正对分析业务价值最熟悉的业务人员实现自助数据分析探索，最大化业务数据的分析维度和分析效率，灵活发掘数据中可能潜在的业务价值，同时也解放了IT人员的劳动力，降低企业人力成本。(三) 可快速搭建型自助BI业务数据模型，占受访企业87.5%。需求描述：数据库表中的数据需要基于业务分析主题进行分类管理，相关数据表之间支持手动/自动构建关联模型，同时建立的关联模型支持灵活应用，无需反复编辑修改或创建新的模型，一次建立即可灵活满足多重业务场景进行数据分析使用。需求产生的原因：传统BI工具创建的底层数据关联相互独立，无法重复利用，一旦遇到新的业务数据计算分析场景，数据关联就需要修改或重新创建，极为麻烦，非常不利于IT人员维护。满足该需求对企业的价值和意义：通过BI工具快速构建的新型自助式BI业务数据模型，较传统BI工具针对不同业务分析场景需要多次、重复建模的应用痛点，极大地提高了BI工具的企业中业务数据分析应用的效率，解放了以往IT人员对数据维护的压力。(四) OLAP多维分析：上卷、下钻、旋转、切片、联动、跳转等，占受访企业84.5%需求描述：BI工具支持强大的页面OLAP多维分析功能，包括分析视角的上卷、下钻，维度的旋转切换，指标的切换，分析数据的切片过滤，组件之间的联动过滤、页面超级链接跳转等。需求产生的原因：随着业务发展的复杂化，单一角度的数据分析往往难以再发掘出更多有价值的潜在业务信息，取而代之的是需要BI工具能够满足强大的页面OLAP多维分析功能。满足该需求对企业的价值和意义：通过BI工具强大的OLAP多维分析功能，以实现多角度、多关联数据之间的数据无限层次探索分析，发掘出数据中潜在的业务价值。(五) 大数据处理性能处理能力达到十亿数据秒级响应，占受访企业63.6%需求描述：BI工具可支撑处理亿级以上大数据分析计算的秒级响应，提供多维加速引擎对传统关系型数据仓库（SQLServer、Oracle、Mysql等）进行数据提速处理，同时也支持实时对接企业大数据平台（Vertical、Kylin、Greenplum等）进行数据分析计算。需求产生的原因：一方面，传统关系型数据库在面对上亿级别以上数据量时，容易出现性能瓶颈，长时间的查询等待往往会导致业务数据分析效率太低。另一方面，当今信息化水平飞速发展，越来越多的企业已经有了自己的高性能大数据平台，对于这部分企业来说，拥有一款能够直接对接大数据平台进行数据分析的工具尤为总要。满足该需求对企业的价值和意义：BI工具提供的强大数据计算处理引擎，能够降低企业数据查询等待时间成本，提高业务数据分析效率。同时，通过直接对接企业大数据平台，还可满足企业实时数据分析的需求。(六) 业务人员可完成工具层面的零代码数据加工处理工作，占受访企业57.5%。需求描述：BI工具可通过快速易上手的交互方式，让业务人员也能完成工具层面的零代码数据加工处理工作，例如例如表合并、分组统计、结构数据分层、过滤、增加列、同比环比、累计值、所有值、公式运算等数据清洗和数据处理方法，实现对数据的无限层次多维透视分析统计。需求产生的原因：当业务需求相对偏复杂时，简单的维度和指标统计往往无法直接计算出业务所需要的计算结果，以往的处理方式往往可能是业务部门提需求给IT，然后IT经过SQL或者代码对底层数据表加工处理，然后最终导出一张excel数据表给业务部门，期间的反复沟通和等待时间往往降低了企业的业务数据分析应用效率。满足该需求对企业的价值和意义：通过BI工具，使得业务人员也能快速实现对数据的无限层次多维透视分和析加工统计，降低了传统模式下的沟通成本和等待时间，提高了企业业务数据分析的应用效率。(七) 移动端数据分析查看支持，占受访企业44.9%需求描述：BI工具支持移动端数据分析多维分析查看功能（兼容PC端的上卷、下钻、旋转、切片、联动、跳转等），对于BI工具的应用app支持便捷的扫码登陆、离线查看、批注、分享等功能，同时满足某些社区平台如微信、钉钉的企业公众号集成。需求产生的原因：在当今这个移动设备便捷时代，仅仅PC端的数据分析已经不能满足某些特定时间和场所的业务分析需求了，而BI对移动端的支持已经成了必然要满足的功能点。满足该需求对企业的价值和意义：通过移动端的BI分析查看，使得数据分析不仅仅局限于PC端，较大地增强了数据分析的便捷性。同时微信和钉钉的集成接入，让业务通过社区平台也能直接查看想要的数据分析页面，更是为移动端数据分析锦上添花。四、中国大数据BI产品功能预测结合用户需求调研，和我国BI厂商的产品计划研究，2018年如下六个大的功能模块将会得到增强。(一) 提升自助分析的可操作性和功能丰富度为满足业务人员可通过BI工具进行自助数据分析的需求，中国大数据BI产品需要改善自助分析的功能和可操作性，包括图表的丰富性。前端布局自定义搭配，让业务人员随心所欲布置。比如仪表板自由布局，可快速拖拽生成所需要分析的页面；在全面支持常见的柱状图、条形图等图形基础上，增加支持中国（世界）地图、GIS地图、桑基图等大数据图表；为了适应更加多样的用户，大数据BI平台需要支持强大的OLAP多维分析功能，包括分析视角的上卷、下钻，维度的旋转切换，指标的切换，分析数据的切片过滤，组件之间的联动过滤、页面超级链接跳转等。业务人员在OLAP多维分析的基础上，能够在数据分析查看时，再次对所有维度进行二次的维度指标加工，并无限层次多维透视分析统计，全面开放业务人员对数据的处理和分析操作，以满足当前中国用户多个视角、多个层级的分析需求，把传统业务分析的智慧充分沉淀到数据分析系统中来。为了给不同用户提供个性化的视觉体验，大数据BI平台支持表格动态数值预警功能和图形设置动态警戒线，支持图表样式风格自由拖拽调整。同时，也需要大数据BI平台智能自动设置预警值和样式风格等。(二) 提升平台的数据挖掘能力为满足企业业务人员自助数据分析和自动挖掘的需求，中国大数据BI产品需要在已有的数据可视化和数据分析的功能基础上，增强数据自动挖掘能力，使业务人员在能够掌握挖掘基本概念的基础上，深入挖掘分析业务数据，为业务运营提供数据结论支持。大数据BI平台需要支持嵌入式高级分析功能，用户能够轻松使用平台内置的高级分析功能，也可以通过导入和集成外部开发的高级分析模型。比如平台内含数据挖掘常见算法（如线性预测、时序预测、聚类、分类等），或者提供外接其他数据挖掘平台和工具的可视化接口（如R语言或者Python语言），甚至内含适合特定业务场景的挖掘模型 。(三) 提升平台大数据处理能力为满足企业对大数据BI平台实时响应的需求，中国大数据BI产品需要将当前大数据处理能力提升一个量级，达到10亿数据量秒级响应水平，同时支持丰富多样的数据源。大数据BI平台需要支持丰富的数据源，如企业主流的关系型数据库、大数据平台、NOSQL数据库以及多维数据库，需要支持实时对接数据平台和分布式引擎拓展，同时支持跨数据源关联，同时支持对较大级别数据量进行数据抽取和索引建模，提高数据分析效率。(四) 提升平台的数据管理能力为了满足中国企业业务人员用户对数据处理的需求，中国大数据BI平台需要提升自身的元数据管理能力、数据的ETL处理能力、数据存储能力。提高元数据管理能力，使得用户能够集中管理元数据，包括对元数据进行检索、提取、处理、存储、分享复用和对外发布。中国企业的业务人员将需要在数据分析的过程中，直接操作经过IT人员标准化处理的元数据。近几年来，中国数据分析人才迅速增加，企业中也成长出一批有一定数据分析能力的业务人才，这些中国企业业务人才更多的是需要对数据进行ETL处理和存储，这就需要平台功支持用于查询、提取、转换和加载的功能，具有索引、管理、调度数据的能力。(五) 提升平台分析的共享能力随着ERP、OA、MES、HIS等常见业务系统的完善，企业少则数十套IT系统，多则上千套系统。新型自助BI需要能够与多个系统同时融合，全面分析企业的业务数据。这就需要中国大数据BI产品需要加强产品与不同软件系统的集成融合能力，这是中国企业面临的共同难题。大数据BI平台需要支持嵌入式部署，如主流的应用服务器，支持跨平台的权限集成和页面集成。大数据BI平台不同用户创建的分析页面，可以方便地分享给其他成员。同时，在企业的分析用户设计仪表板时，可以复用仪表板中的图表、维度、指标等，支持用户分享指定页面进行给其他部门成员，便于互动沟通交流。为满足企业人员实时办公、互通信息的需要。大数据BI平台还需要支持移动端上共享和查看分析结果，支持在移动端对分析结果进行数据层级钻取穿透、联动等。(六) 提升平台的安全性为了满足企业多级部门同时使用、不同权限的功能，中国大数据BI产品除了要提供灵活丰富的用户管理功能、权限控制功能，还需要内置强大的用户行为监控与分析功能，确保企业的数据安全和信息保密。大数据BI平台将支持持批量导入用户，支持同步企业统一权限管理数据库中的用户，以企业IT系统统一的用户管理方式进行用户管理。支持用户以企业IT系统统一的用户权限认证方式进行权限管理。同时，需要支持短信平台功能，并可用于用户账号身份验证等，多种用户和权限管理方式，来满足广大中国企业的不同的安全级别要求和安全管理策略。随着大数据BI在中国的发展，中国企业自身的大数据BI平台已有众多员工账号。这就对大数据BI平台提出新的挑战，除了要拦截非法用户，还要对大数据BI平台有效用户进行有效监控。2018年，大数据BI平台需要支持监控用户的操作行为，支持监控页面被访问的频次、访问来源，甚至是支持监控访问到的数据范围。为了保证大数据 BI平台系统持续支持企业经营管理，需要大数据BI平台支持系统数据迁移到企业数据库，支持对系统进行备份与还原，备份可以手动或设置周期定时备份。同时，支持云端服务器部署和本地服务器部署，支持多机热备，达到企业的灾备要求。此外，为了有效避免BI平台出现严重异常，还需要支持监控自身的运行性能，遇到系统性能风险，提前给出系统预警信号。

（报告出品方/作者：国泰君安证券，李博伦）1. 分布式系统，一场破坏性的技术革新分布式系统的核心思想是分而治之，用一组计算机集群通过计算机网络 协作，共同完成任务。根据传统思路，处理复杂问题的方式是不断提升 计算机性能，研发一代更比一代强的“超级计算机”。而分布式系统则另 辟蹊径，解决问题的方式从“一夫当关、万夫莫开”演变为“人海战术”， 用一组计算机集群替换大型机，集群中的每台机器处理原问题的一个子 集，通过成百上千普通计算机协作，实现与大型机相同甚至更佳的效果。分布式系统是对传统单机思路的颠覆。过去十几年中，IT 性能界的技术 进步集中于延续性技术的发展，即遵照市场上主流消费者的诉求，不断 提升单机的计算及存储性能。而分布式系统的出现则是反其道而行之， 它抛却了传统采取冯·诺伊曼机进行串行顺序处理的工作机制，通过改 变计算机设计概念结构，在整个计算机集群上组织计算。分布式系统有望重塑行业格局。在历史经验看，破坏性技术往往会重新 塑造产业价值链和行业竞争格局，孵化出新的独角兽企业。例如线上零 售相对于线下零售是破坏性技术，淘宝、京东相继诞生；个人计算机相 对于大型计算机是破坏性技术，苹果、IBM 把握住了机会。分布式系统 的作为一项类破坏性技术，也有望重塑当前 IT 市场的竞争格局，在多个 细分领域孵化出新的行业龙头。2. 分布式改造已迫在眉睫2.1. 数据量爆炸增长，集中式系统矛盾凸显数据量爆炸性变大，大量非结构化数据产生。移动互联网的普及带来了 全球数据量爆炸性增长的时代。根据 Statista 的统计和预测，2020 年全 球数据产生量高达 47 ZB，预计而到 2035 年，年数据产生量将达到 2142 ZB。此外，采集到的数据中，图片、音频、视频等半结构化、非结构化 的数据占比高达 85%，传统关系型数据库无法胜任此类数据的处理，整 个 IT 系统亟须革命性重构，以适应大数据时代的发展。集中式系统的提升是非线性的，不可能无限优化。在传统冯·诺伊曼模 型中，人们通过芯片制程工艺+处理器微架构设计+服务器平台技术提升 CPU 计算性能，但目前芯片集成度已进入极小尺度级别，各类复杂的微 体系结构技术都已得到研究应用，未来集中式系统的升级将变得尤为艰 难。集中性系统技术瓶颈与大数据需求之间的矛盾不断凸显。随着 5G、物联 网时代的到来，数据量爆炸性增长，而传统集中式数据库容量有限，存 储性能提升越来越昂贵；计算复杂度提升迅速，而集中式系统性能提升 却逐步趋缓。集中式技术进步跟不上时代发展的矛盾不断凸显，人们转 而突破冯·诺伊曼体系的束缚，设计能适应大规模数据、大批量计算场 景的分布式系统。2.2. 分布式是突破瓶颈，解决问题的最佳手段大数据使得高可拓展性成为信息系统最本质的需求。可拓展性是指，若 集群中计算机数量增加一倍，则解决问题的速度加快一倍或可处理规模 扩大一倍。在可拓展性极高的情况下，只要增加系统中的计算机数量，就能满足日益扩大的业务量需求，处理日益增长的数据规模。在移动互 联走向万物互联的今天，可拓展性无疑会越来越重要。分布式向“外”横向扩展，而非向“上”纵向扩展，可拓展性降维打击。分布式系统在可拓展这一性能上可以降维打击集中式系统，并行化框架 允许方便的增加节点扩充系统，但系统节点的增加并不影响程序的编写， 并且能够保证增加后系统性能有线性的提升，也就是说，无论用户访问 数量增长到多大规模，都只需不断购置新的计算机，无需对系统和算法 进行修改即可满足需求。2.3. 国产替代政策加速分布式技术推广国产化政策使得各个企业已建成的 IT 系统面临从上到下的整体替换。随着国际形势日益紧张，为了避免“卡脖子”问题，各个企业将 IT 系统 替换为国产化设备的需求越来越强烈。若要完全避免卡脖子问题，实现 真正的 IT 自主，就意味着 IT 系统要进行从软件到硬件的整体替换。分布式系统是国产替代环境下更新换代的最佳选择。一方面，既然要整 体更新换代，就要换为符合未来需求的，最适应新时代的技术。而今集 中式的大型机瓶颈已现，无法跟上未来数据量爆炸性增长的节奏，分布 式拥有极强的拓展性，是解决未来几十年大数据时代需求的最佳方案。 另一方面，分布式作为一个新兴的技术，刚刚发展起来，国内厂商在商 业化发展程度上与国外厂商的解决方案无太大差距。3. 主流分布式系统是架构上的全面升级3.1. 开源 Hadoop 系统是大数据处理的工业标准开源的 Apache Hadoop 是最主流的大数据处理平台，成为了事实上的 大数据处理工业标准。在大数据处理的众多技术和系统中，起到开创性 作用、最为主流的当数 Google 公司在 2003 年发明的 MapRece 技术以 及随后在 2007 年由开源组织 Apache 推出的开源的 Hadoop MapRece 技术和系统。目前，Hadoop 已经成为全世界最为成功和最广为接受使用 的主流大数据处理技术平台，成为了事实上的大数据处理工业标准。近 年来出现了以内存计算为基础，能够提供多种流计算、图计算等多种大 数据计算模式的 Spark 系统。大部分分布式系统由 Hadoop 开源产品二次开发而来。在开源 Hadoop 系统发展的同时，工业界也有不少公司基于开源的 Hadoop 进行一系列 商业化版本开发。他们针对开源系统在系统性能优化、系统可用性和可 靠性以及系统功能增强方面进行大量研究和产品开发工作，形成商业化 的发行版。如 Intel 发行版、Cloudera 发行版(CDH)、Hortonworks 发行版 （HDP）、MapR 等，所有这些发行版均是基于 Apache Hadoop 衍生出来 的，在中国诸多大型应用行业得到了推广应用。3.2. 主流分布式系统由四个层级组成主流的 Hadoop 分布式系统由硬件、存储管理、并行计算框架、应用层 四个层级组成。主流分布式系统 Hadoop 是围绕数据存储、处理计算的 基础技术，同配套的数据治理、数据分析应用、数据安全流通等助力数 据价值释放的周边技术组合起来形成整套技术生态，具体可以分为：硬 件层、存储管理层、并行计算框架、应用层四个部分。硬件层：数量换质量。分布式系统选用市场上现成的普通 PC 或性能较 高的刀架或机架式服务器作为基础设施，构成一个包含数千节点的分布 式并行计算集群；据 PASA 实验室研究，普通低端的计算机由于规模效 应和激烈竞争价格较低，PC 服务器集群比高端计算机性价比高 4 倍，以 性价比作为第一要务的分布式系统一般建立在普通低端的计算机集群 中。存储管理层：去中心化存储。分布式存储系统是一套逻辑上的文件系统， 它将数据存储在物理上分布的每个节点上，但通过分布式文件存储系统 将整个数据形成一个完整的文件。系统中包含一个元数据表（META DATA) ，保存所有数据表的位置，承担目录的作用，查询数据时先访问 到元数据表，获取数据所在服务器，再访问到具体数据。并行化计算框架：封装细节，成为所有应用的入口。为了进一步提升并 行计算程序的自动化并行处理能力，编程时应该尽量减少程序员对很多 系统底层技术细节的考虑，使得编程人员更专注于应用问题本身的计算 和算法实现，并行计算框架诞生。并行化计算框架能够自动完成计算任 务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分 配和执行子任务以及收集计算结果，将数据分发、任务分配、数据通信 和同步，容错处理等并行计算中的复杂细节交给计算机处理，减轻了编 程人员的负担。3.3. 分布式系统解决所有领域中数据量大、计算复杂的问题分布式技术可应用于几乎所有行业，用以解决计算密集型、数据密集型 两大类问题。分布式系统解决的问题可以分为两类，第一是计算密集型 问题，第二是数据密集型问题。计算密集型问题：指计算复杂度极高，涉及数据量较少的问题，诸如 3D 建模和渲染、物理实验中的高性能计算、比特币挖矿等。对于计算密集 型的问题，由于涉及到的数据量较少，往往只需要部署分布式计算集群， 做好集群之间计算任务的分工协作，无需分布式存储系统。数据密集型问题：指涉及到大量数据量的问题，诸如淘宝要分析的每位 用户产生的日浏览数据，大量数据训练机器学习模型等。对于数据密集 型问题，数据迁移是信息系统中最大的开销，故往往需要分布式存储系 统作为基础，再进行分布式计算。数据密集型问题由于与数据交互的方式不同，需采用不同的分布式存储 技术：1. 频繁读写、修改数据。此种情形常用于日常事务性操作，如银行、券 商对核心数据库的日常操作，需使用关系型数据库作为存储系统。2. 一次写、多次读，已写入数据不能更新。此种情形常用于大数据分析 挖掘，可使用 NoSQL 等数据存储无固定格式的数据库。3. 一边写一边读，流式计算。用于数据时效价值极高的场景，例如高频 股票交易，对用户进行商品实时推荐等。4. 国产分布式的发展现状4.1. IT 巨头研发通用底层平台，行业 ISV 构建生态未来或将呈现 IT 巨头研发分布式通用底层平台，ISV 开发满足细分需 求的分布式应用的局面。目前几家华为、阿里、腾讯、百度等 IT 巨头大 数据技术实力较强，均基于 Hadoop 开源平台开发出了商业化版本的分 布式平台产品。但各细分行业仍有具体的分布式应用需深耕该细分行业 的 ISV 在底层平台的基础上完成开发，共同构建起丰富的大数据技术生 态。目前华为、阿里、腾讯、百度等 IT 巨头均有基于 Hadoop 开发的大数据 平台产品。Apache Hadoop 的开源协议允许任何人对其进行修改并作为 开源或者商业产品发布，国内研发实力领先的各 IT 巨头均早早开启了 分布式领域的布局，目前已经形成了涵盖数据仓库、实时流式数据处理、 数据挖掘、图计算、分布式数据库等在内，涵盖多行业领域的完善技术 体系。源于开源、高于开源。为保证良好的兼容性和开放性，以及最重要的稳 定性。各家的大数据平台均基于开源 Hadoop 平台商业化改版而来，并 在开源版本的基础上自研安全加固、可靠性增强、存储计算优化等核心 技术竞争力。各家产品均有了横跨多个行业领域的实践应用案例。4.2. 金融为目前分布式系统的主要应用领域分布式系统在各行各业中普及，金融行业分布式应用占比最高。据信通 院对 1404 家涉及行业大数据应用的企业的统计，金融、医疗健康、政务 是大数据行业应用的最主要类型，分别占比 30%、14%、13%。除此之 外是互联网、教育、交通运输、电子商务等行业。金融机构客户对分布式的接受程度不断提高，分布式技术正在从边缘系 统向核心系统演进。随着对分布式的探索越来越多，问题的不断被解决， 分布式使用场景越来越多，金融行业客户对分布式的接受程度正在提高， 分布式系统从边缘应用逐步向核心应用演进。2020 年邮储银行的分布式核心项目标志着国有大行正式进入了核心系统分布式更新换代的周期。4.3. 金融 IT 主要厂商纷纷布局分布式长亮科技在布局银行 IT 领域的分布式系统研发。近两年国有大行、股 份制银行纷纷开启新一代核心系统建设及统一技术平台建设，而基于单 元化分布式、微服务等构建的企业级 IT 架构和技术平台是其中最为经 典的建设思路。长亮科技在此过程中先后创造了国内首个分布式核心系 统、首个“微服务+单元化”架构分布式核心系统，并凭借着企业级架构 核心及技术平台的领先优势，先后中标了多家国有大行信创项目：中标邮储银行新核心技术平台及银行汇款组件；中标交通银行信用卡核心系统及技术平台；中标中国银行技术平台-单元化部署组件；恒生电子在布局证券 IT 领域的分布式系统研发。中国证券行业交易面 临基础技术升级、市场逐步完善、交易程序化、差异化竞争等几大趋势, 交易技术设施性能的提升迫在眉睫。这意味着对系统而言,低延时、高可 用、易开发，具有高度可定制性，缺一不可。而恒生电子于 2021 年 3 月 10 日公布的恒生 Light 平台中十大技术栈之一的 Light-LDP 正是低时延 分布式开发平台。Light-LDP 通过分布式构架助力金融机构构建核心极 速业务系统，进而完成差异化，并适应各类金融行业应用场景。平安云在布局企业级核心业务 IT 领域的分布式系统研发。平安分布式 关系型数据库服务（Distributed Relational Database Service，简称 DRDS） 是平安云为解决单机数据库服务瓶颈问题而研发的分布式数据库。可部 署主备架构，提供容灾、监控等方面的全套解决方案，为客户提供一站 式数据库解决方案，助力各行业企业客户尤其是金融行业客户主机下移， 以适应数据量爆炸的大数据时代。详见报告原文。（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）精选报告来源：【未来智库官网】。

2020年8月，发现报告作为国内研报平台翘楚，与国内知名的金融科技公司鲸准、国防军工领域专业的解决方案服务机构三特智库达成官方报告合作。【发现报告】一直努力地向着“打造研报领域的专业信息共享平台”的目标不断的迈进。我们一直秉持着专业、严谨的态度为我们的客户服务，同时也致力于通过前沿的AI技术和便捷的产品体验，帮助垂直职场人群和投资者从海量信息中高效挖掘有价值的内容。高效的智能检索、全文精准匹配定位以及PDF、WORD格式的报告下载功能，也为【发现报告】带来众多用户的好评，到目前为止【发现报告】不仅保持着用户的高度精准垂直，用户数量也已经在上周突破了35万大关。鲸准是一家集数据服务、信息平台基建开发、平台招商、投资研究等服务于一身的专业金融科技公司。经过快速发展，目前已经成为领域内最具影响力的金融信息服务平台之一，服务专业客户达数百家，其中不乏全球百强公司、国内大型国企/央企、知名互联网公司。鲸准研究院在此基础上，为市场提供专业投资可行性分析、公司分析、月度观察等研究结果。同时，鲸准研究院还服务了超过200家金融机构。日常覆盖行业包括目前最为火热的新一代信息技术、高端制造、新材料及生物医药行业等。三特智库是国内国防军工领域专业的解决方案服务机构。研究院创始团队均毕业于哈工大、哈工程、南理工、南航等军工院校以及自主择业军转干部，聘请了50多位来自电源、电机、雷达、集成电路、无人装备、人造卫星、运载火箭等行业的专家，建立了高水平的专家队伍、高效率的管理团队、高素质的服务团队，在军工军事、央企国企以及国民经济主导产业、新型产业具备丰富的资源和深刻的理解；重点服务军工军事航天等国防科技工业、高铁电力石油等国民经济主导产业、战略性新型产业，致力于“高精专特”的军民两用技术与产品的产业化推广服务。同时研究院拥有海量高端人才和专家资源库，微信平台活跃行业同仁10000余名，常年维护并运营20多个行业群、20多个地区群。每年举办10余场百人以上规模会议，30多场中等规模研讨会；先后发布了近20本军民融合热点行业的研究报告。鲸准与三特智库都是各自行业领域的领军企业，目前【发现报告】已经与鲸准达成了免费报告的合作业务，获得鲸准研究报告的授权之后，【发现报告】原有的报告数据库将得到再次升级。同时【发现报告】与三特智库合作的付费报告业务也已提上日程。【发现报告】也一直期待着在不久的将来，可以收获更多的机构合作，为用户带来更高质量的服务。

本文转自【CSDN】；你为什么想当程序员？当提及这个话题时，有人称始于兴趣，有人无奈调侃还不是因为穷，也有人说，不是我选择了程序员，而是程序员选择了我，天将降大任于斯人也。纵观过去一年，在人工智能、云计算、大数据、物联网、区块链等互联网潮流技术的加持下，各行各业的数字化进程加快了脚步。与此同时，在中美科技创新激烈竞争的背景下，国内对芯片、操作系统、数据库等基础硬件及软件的关注达到了前所未有的高度，“自研”成为国产破局的唯一之道。而开源也成为这个时代技术创新落地和行业发展过程中强有力的催化剂。作为身处这个最好时代，也是最具挑战时代下的技术型人才，机会摆在眼前何不试一试，不过究竟该怎么试？在面对层出不穷的技术工具、框架、场景时，又该从何处入手？在此，CSDN 重磅发布最新的开发者调查报告——《2020-2021中国开发者调查报告》，本调查报告紧扣技术热点、把握知识趋势，同时特邀相关技术领域的专家们，共同参与调查项的设计及分享专业的行业点评，旨在全面和深入地了解中国开发者群体整体现状、应用开发技术以及开发工具、平台的状况和发展趋势。接下来，让我们通过本报告，迅速 Get 干货满满的技能升级指南吧！40 岁以上技术人多数担任技术经理，一线城更容易获得高薪互联网呈“年轻化”，后端开发最受欢迎都说走在前沿、跟随潮流的互联网永远是一个年轻的赛道，据调查结果显示，的确如此。从数据上来看，30 岁以下的开发者占比高达 81%，相较往年，互联网呈年轻化的态势仍在持续。同时，作为准开发者的学生群体也是未来科技行业中一股不容忽视的力量。在这一群体中，后端开发岗位最为热门，占比 24%。与之形成对比的是，40 岁以上的技术从业者相对较少，仅占 3%。不过对于自身职业发展方向，有 11% 的从业者选择从初级程序员一步一步走上技术经理岗位，带领技术团队坚持奋战在研发一线。其次，后端开发和全栈这些相较而言对技术能力要求更高一些的岗位也是他们选择的发展方向。北上广依然是开发者的「身之所往」，更容易获得高薪的机会在技术领域上，国内 86.7% 的开发者选择了软件、互联网、IT 制造领域，且大多集中在一线城市。报告显示，广东、北京、上海是开发者聚集地，占全国总数的 38%，而这些城市也囊括了产学研界较好的资源，对于技术型人才而言，机会比较多，也相对比较公平。其次，江苏、浙江、四川、山东处于第二梯队，占全国总数的 24%。在薪资方面，程序员一直是业界公认的高薪人群。报告显示，月薪超过 1.7 万的开发者占比 21.2%。近九成的开发者工资在 5000 元以上，其中，8001-17000 元区间的开发者占比最高，为 44.5%。在北京，月薪高于 1.7 万的开发者占比高达 30%，远超其它地区。其次，广东、上海地区月薪高于 1.7 万的开发者分别占比 19% 和 16%。通过结合受教育程度和薪资水平的数据特点来看，学历越高，高收入群体的比例越高。其中，学历背景为博士研究生的开发者，薪资达 1.7 万元以上的占比 57%。所以科技技术是第一生产力，随着知识的覆盖面越广，所能实现的价值也会越高，薪资自然水涨船高。「三月不出单，出单顶半年」，身在金融业的从业者或多或少都听过过来人的经验，那么在金融行业做程序员又是一种怎样的体验？报告显示，金融业高收入群体占比最高，86% 的人群月薪超过 8 千元，其中月薪超过 1.7 万元的开发者占比 42%。当代的程序员没有想象中那么爱跳槽，打磨好技能晋升才是王道在外界看来，优胜劣汰、竞争颇为激烈的 IT 行业，跳槽应该是一种很常见的现象。不过根据调查我们发现，36.5% 的开发者没有跳槽的经历。跳槽四次及以上的开发者仅占比 11%。当提及开发者技能达到一定要求后，是否想晋升为一名管理者的问题上，有 54.09% 的开发者表示想成为一名管理者，仅有 9.4% 的开发者不想成为管理者。Java 用户量降至 50%，IntelliJ 成为最受开发者欢迎的工具Java 用户量呈下滑趋势，JavaScript、Python 分别位居二三名 在编程语言方面，使用 Java 的开发者数量逐渐降低，和去年 60% 用户量相比，今年 Java 开发者人数下降至 50%。其中原因与近几年间 Google 推行 Kotlin-First 扶持策略不无关系，同时在此影响下，有很多 Android 开发者开始由 Java 向 Kotlin 转换。轻芒联合创始人、前豌豆荚技术负责人范怀宇表示：“Kotlin 虽然在统计中总的比例不高，但在 Android 开发上进一步在取代 Java。Kotlin 作为另一个基于 JVM 的编程语言，一方面可以保持 Java 使用 JVM 稳定和高性能的好处，享用 JVM 已有的生态；另一方面，通过其更为灵活的语法特性，越来越广泛地被 Android 开发者使用，已然成为 Android 的首选编程语言，对于新参与 Android 的开发者而言，Kotlin 是更好的学习对象。”与此形成鲜明对比的是，Python 在人工智能的发展及其本身的便利性等优势下，使用量正在逐渐提升，Python 开发者数量占比近三成，在常用语言中跃居第三。不过，范怀宇也建议道，其它的一些明星编程语言，比如 Go、Rust 等，使用的开发者数量虽然没有明显上升，或依然未出现在榜单，且对于新开发者而言并非首选，但在特定领域，比如更高性能的服务端开发上，还是非常值得关注和学习。Vue.js 、jQuery、Spring 三足鼎立在主流的开发框架上，国内外的应用存在很大的差异。和国外应用更为广泛的 React 框架不同，国内开发者最常使用 Vue.js 进行 Web 开发，且 Vue.js + jQuery 的技术组合也成为前端工程师最为基础和必须掌握的技能。IntelliJ 超越 VS Code，成为最受欢迎的开发环境本次调研中，有 31.4% 的开发者使用 Intellij 作为开发环境，轻量级跨平台工具 VS Code 排名第二。针对这一结果，范怀宇表示，Intellij 和 VS Code 的特色非常相近。它们都可以支持多门编程语言的开发。如今，很多开发者都需要同时使用多门开发语言，使用 IntelliJ 这样的通用工具，会更适合在不同编程语言间切换，其工具特色和使用习惯可以最大化地保持一致。同时它们也具有很多的第三方插件，使得开发者很容易搭配出足够个性化的开发环境，更适合自己的使用。开源吞噬世界开源进入快速发展期，但全职开发者较少，77% 的受访者表示未曾从开源项目上获得过收入2020 年，可谓是开源元年，也是国内开源快速发展的一年。在这一年中，中国首个开源基金会开放原子开源基金会正式到来，Mulan PSL 成为中国首个国际通用开源协议，不久前，开源首次被列入“十四五”规划。在此趋势下，越来越多的人开始接触开源，近一年开始接触开源的人占比超过三成。不过稍显遗憾的是，据调查报告显示，仅有三成左右的开发者参与过开源项目。究其原因，对于个人开发者而言，开源收入与工作时间带来的现实冲突难以实现平衡。本次报告中，82% 的开发者在开源上每周投入时间不超过 5 小时，每周在开源项目上投入时长超过 30 小时的仅占比 2%。同时，77% 的开发者表示，不曾在开源上获得收入。Linux 和 Git 是开发者最喜欢的开源项目中国企业对开源的贡献中，开发者最认可阿里巴巴对开源所做的贡献还记得去年伊始，阿里巴巴开源技术委员会负责人贾扬清发布了一封给千万开源人的感谢信，其回顾了阿里开源的初衷，并分享了阿里开源 10 年的心路历程。用了十年的时间，阿里交出了覆盖大数据、云原生、AI、数据库、中间件、硬件等多个领域且超过一千个开源项目的答卷，成为开发者心目中的开源企业 NO.1。对于开源未来的发展，华东师范大学数据学院研究员、开源社理事王伟认为，开源正在蓬勃发展，给开发者带来了千载难逢的机会，如何参与到开源这股浪潮中，并从中获取自身的价值，是每一位开发者都应该思考的问题。相信随着开源与商业更加紧密的结合，开发者开始获取开源红利的时代即将来临，前提是理解开源的逻辑，具备开源的思维，并实施好各自的开源战略。HarmonyOS 更为开发者所熟知时下，随着阿里、华为、统信、麒麟等中国本土企业的发力，国内的操作系统呈现出百花齐放快速发展的局面，而近两年间，发展势头最盛的非 HarmonyOS（鸿蒙）莫属，79% 的开发者知道它，其次是 Deepin、中标麒麟操作系统。在国产操作系统正在迅速崛起的今天，48% 的开发者认为，缺乏广泛的应用生态是制约国产操作系统发展的主要原因。同时，缺乏大量的技术型人才是第二大因素。对于操作系统的发展，陈渝认为，「我们不仅仅要做原位替代，还要把眼光放得远一些，注重软件基础研究，注重软件理论研究，从学生阶段培养系统类人才，寻找比现有数量级增量的新的产业机会，解决未来的需求，形成以某些新操作系统为基础的应用生态。」物联网应用场景多样化，Linux 成为开发者最常用的物联网操作系统物联网应用场景多样化，企业更多的是在大数据分析环节根据报告显示，在物联网产业链上，每个环节均衡发展，其中 15.9% 的企业聚焦大数据分析解决方案的落地，其次，智能设备和物联网云平台也是许多企业创业的方向，分别占 15.3% 和 14.5%。Linux 是物联网设备中应用最为广泛的操作系统在物联网中，66.4% 的操作系统使用 Linux。Android 的使用量也进一步提高，跃居第二，占比 41.5%。作为大厂竞相布局的赛道，据开发者调查报告显示，48.6% 的受访者表示正在使用阿里云 IoT 平台。其次，华为云、百度 IoT 分别占比 43.7% 和 38%。对于物联网发展现状，北京邮电大学信息与通信工程学院电子信息工程系主任孙松林表示，“在技术方面，操作系统、通信方式和终端安全是讨论的重点。与去年相比，Android 占比超过了 Windows，但都被 Linux 远远地超越了。物联网应用的多样化和对高效率的追求导致定制需求开发开始下沉到操作系统，而 Linux 强大的伸缩性恰好可以满足这种需求；其他嵌入式操作系统，如 FreeRTOS、RT-Thread 等虽然有了一定增长，但占比较小；另外，2020 年 HarmonyOS 2.0 发布，值得开发者们关注。另外，在终端安全方面，从物理安全、接入安全、通信安全到数据安全都是开发者们非常关注的，随着众多安全事件的不断发生和美日英等国政策的出台，安全技术必将成为物联网产业未来发展的重点。“机器学习/深度学习算法工程师较为欠缺，人工智能广泛应用于图像识别领域人工智能逐渐普及，仅有 13% 的企业尚无信息化基础近年来，人工智能作为新一轮变革的核心驱动力，很多企业紧随时代的潮流。调研数据显示，截至目前，有 13% 的企业尚无信息化基础。33% 的企业在事务处理层面实现了数字化。软件工程师最热门，机器学习/深度学习算法工程师最稀缺本次报告中，我们发现，AI 领域开发者中软件工程师占比最高，为 38.3%，可见软件工程师在 AI 领域也占重要地位。其次，机器学习/深度学习算法工程师、计算机视觉/图像识别/图像处理工程师都是较为热门的岗位，分别占 19.9% 和 15.5%。不过，此次调研中，在机器学习/深度学习/神经网络成为开发者最感兴趣的方向同时，有 55% 的开发者表示团队急需机器学习/深度学习算法工程师。对此，新加坡工程院院士颜水成表示，从技术栈角度来看，超过一半的团队表示急需机器学习和深度学习算法工程师，同时也有超过一半的开发者表示这是他们最感兴趣的方向。这说明机器学习，尤其是深度学习，在最近六七年间取得了一系列技术突破之后，在图像识别、推荐系统、搜索广告等领域都取得了不错的落地效果，也获得了行业的广泛认可。TensorFlow 是人工智能领域主流深度学习框架TensorFlow 是人工智能领域主流深度学习框架，不过相较去年的 48% ，下降幅度较大。在应用方向上，调研数据显示，39% 的开发者表示其研发的 AI 产品主要场景为图像识别；28% 的开发者表示其研发的 AI 产品主要场景为人脸识别。对于 AI 未来的发展，北京爱数智慧科技有限公司创始人兼 CEO 张晴晴认为，对话式（Conversation）是人工智能的终极形态，突破对话式形态代表着强人工智能时代的到来。同时，张晴晴表示：“推动对话式人工智能的落地，需要百倍千倍以上规模的训练数据量（至少上万小时的训练数据量成为基础有效数据量），特别是针对场景下的自然语言数据。自然语言数据作为人工智能的重要根基，相关的数据处理员以及数据训练师，成为市场非常急缺的人才。我也希望借此机会，呼吁更多的从业者加入对话式AI（Conversational AI）行业，与我们一起缔造智能世界。”芯片研发之路任重而道远！「芯片全面紧缺」，自 2020 年下半年以来，这成为整个芯片行业的现状。而据调研数据显示，近 5 成的开发者所在公司的芯片开发者人数不足 10 人。对此，中国科学院计算技术研究所研究员包云岗表示，这反映了当前中国芯片企业的一个普遍现象——虽然中国已经有 1700 多家芯片设计公司，但是能做出高附加值芯片的企业太少。设计迭代、可制造性设计、专利规避是芯片研发的三大主要难题究其主要原因，23% 的开发者认为，设计迭代是芯片开发过程中最难的问题，其次是芯片的可制造性设计以及专利规避。集成电路 IC 设计/应用工程师最稀缺，但未来可期对于芯片公司而言，36% 的开发者认为，集成电路 IC 设计/应用工程师是最稀缺资源。其次，芯片架构工程师、FPGA 开发工程师也较为欠缺，分别占 31% 和 24%。对于芯片当前的现状及未来的发展，包云岗表示，从最为欠缺的职位来看，基于招聘网站信息，这类的工程师 3-4 年工作经验的月薪约为 2-4 万，5-7 年工作经验则为 3-6万 ，这个薪资水平还是相当不错。薪资水平的提高，对吸引人才选择集成电路行业至关重要。同时，也可以预见，在未来 5-10 年集成电路（芯片）行业在我国将会是一个热门行业，人才需求很大。一方面是因为当前国际形势使得中国下定决心大力发展集成电路产业，另一方面也是未来智能物联网时代将会使芯片需求扩大一个数量级，甚至每年达到上千亿颗的需求。近八成企业计划或正在使用云数据库，开发者对该行业就业前景充满期待数据库上云已成必然趋势作为另一大基础软件——数据库，在云趋势下，只有 23% 的公司还没有计划部署云数据库，有 52% 的公司已经部署了云数据库。此次调研中，关系型数据库以绝对性的优势，成为开发者最常用的数据库类型，占比 78%。而这也主要得益于 SQL 的简单易用，以及关系数据库近 50 年的发展。而在使用数据库的过程中，超过一半的开发者表示会遇上性能问题。此外，据调查显示，超过一半的数据库开发人员对就业形式感到非常乐观。阿里云高级技术专家，云原生数据湖分析 DLA 技术负责人曹龙表示，数据库相关就业群体包括数据库内核研发、数据库运维 DBA、数据库业务开发、数据分析师，其中：数据库内核研发就业面较窄，这个领域比较专精，主要集中在大厂、数据库厂商及云公司；数据库运维 DBA 估计不少同学认为形势严峻，主要是来自云数据库的冲击，数据库的一个发展趋势是自运维，笔者负责的数据湖分析 DLA 元信息使用的数据库就是 RDS，没有 DBA 都是开发运维的，这里建议 DBA 可以多了解业务，帮助业务规划数据库的库表设计，从业务视角获得成长；数据库业务开发一般都同时具备较强的工程能力，以及所在领域的专业能力，是程序员群体最大的就业群体，知晓数据库的优化及如何选型数据库是必备的技能之一；数据分析师主要是需要行业的经验，结合大数据的分析理论知识，就业面非常广，也是目前行业比较稀缺、热门的岗位。云原生时代已至，但技术人才成为阻碍其发展的关键性因素云原生吞噬世界在互联迭代的商业场景中，从最初的软件吞噬世界，到开源吞噬世界，到云吞噬世界，现在的我们俨然也已经进入下一阶段——云原生吞噬世界。本次调研数据显示，89% 的企业已经上云，只有 3% 的企业未部署云资源。在云原生上，61% 的公司主要应用于为微服务，其次 41% 的企业选择容器编排管理。云原生技术人才成为阻碍云原生发展的首要因素而想要更好地发展云原生技术，47% 的开发者认为，当前行业缺乏熟练的云原生技术人才。也有 25% 的开发者表示，对于如何做云原生技术选型很难抉择。“充分利用云原生技术可以把云的效率和成本优势充分发挥出来，但是当前全部云原生化的企业和开发者并不多，这其中主要的障碍在于缺乏熟练的云原生技术人才”，腾讯云架构平台部研发总监郭振宇分享道，因此他认为，“一个合格的云原生技术人才，需要对企业的业务有全局的认识，同时需要对云技术和云原生相关产品具有很深的理解，这样才能结合业务需求，开发出真正能从云计算中受益的应用和产品。”大数据技术应用场景呈多元化发展Kafka/Jafka 为开发者最为常用的数据处理方式数字化经济时代，越来越多的企业开始拥抱数字化转型，开始构建自己的大数据体系及核心竞争力。据调查显示，80% 的企业在进行大数据相关的开发和应用。在具体应用上，大部分企业对大数据的应用更多的体现在统计分析、报表生成以及可视化上， 占比 59%。此次调研中，43% 的企业正在使用 Kafka/Jafka 来进行数据收集和消息处理，Redis 也被业界大量地采用，占比 39%。「总的来说，大数据目前进入了一个成熟稳定期，各个企业的投入也越来越大，大数据将是人工智能的一个非常好的催化剂。」大数据资深专家、明略科技集团副总裁卢亿雷如是说。乘风而上的区块链，与大数据、物联网强强联合2020 年伊始，国家发改委首次明确了“新基建”的范围，新型基础设施主要包括三个方面，一是信息基础设施，二是融合基础设施，三是创新基础设施，在信息基础设施方面，以人工智能、云计算、区块链等为代表的新技术基础设施，以数据中心、智能计算中心为代表的算力基础设施。也正是在此趋势下，区块链技术进一步被用户所熟知。据调查报告显示，知晓区块链技术的用户群体高达 94%，其中和去年正在从事区块链相关工作的人数相比，今年人数有所上升，从去年的 6% 上升至今年的 10%，此外，14% 的开发者准备尝试用区块链技术解决一些问题。对于在这领域的开发者而言，48% 的受访开发者从事公有链的开发，27% 的开发者聚焦区块链行业解决方案的研究。不少开发者认为，金融/金融衍生品依然是区块链主要应用领域，占比是 60%。其次区块链也被用于数据共享，占比 23%。针对这一点，Solv Markets 协议创始人、优证链通创始人孟岩表示，在海外，几乎所有区块链应用全部集中在开放金融领域。2020 年是数字资产和去中心化金融（De-Fi）狂飙突进的牛市之年，全球数字资产总市值从 2020 年 3 月到 2021 年 3 月增长了近 12 倍，而同期 De-Fi 市场的增长则超过 100 倍，投融资活动的活跃度达到 2017 年以来的最高峰，吸引了大量人才加入到 De-Fi 创新的浪潮中。在未来趋势上，孟岩认为，区块链不是一个平凡的技术，它导向未来机器智能时代的全球交易网络。无论是推动国家战略的落实，还是寻找个人成长的空间，开发者都要扮演核心的角色。

近日，国际权威研究机构Gartner公司发布《The Future of the Database Management System (DBMS) Market Is Cloud》研究报告显示，腾讯云数据库市场份额增速达123%，位列国内所有数据库厂商之首，在全球范围内保持了连续两年增速前三的迅猛势头。就在不久前，另外一家国际权威机构最新发布的《The Forrester Wave: Database-As-A-Service, Q2 2019》中，腾讯云数据库首次入选即被评为“实力竞争者”。明星产品层出不穷腾讯基于强大的技术研发水平以及业务支撑，诞生众多明星产品，不仅技术层面达到业内领先水平，成本层面也得到大幅降低。腾讯云数据库产品分布去年11月，单节点读性能达到130万QPS的云原生数据库CynosDB横空出世。超过业内目前最高100万QPS水平，全面领先国内其他同类产品。该数据库融合了传统数据库、云计算和新硬件的优势，支持无限量存储、百万级查询和秒级的故障恢复，而价格只为市面上商业数据库的1/15。云原生数据库CynosDB产品架构图另外，随着5G时代的到来，针对物联网、大数据等海量时序数据的场景，腾讯云推出时序数据库CTSDB，不仅可以降低数据存储成本也能简化日常运维工作。作为一款分布式、高性能时序数据库，CTSDB在高并发写入、冷热数据、物联网等场景等做了大量优化。作为腾讯唯一的时序数据库，CTSDB 支撑了腾讯内部20多个核心业务，包括微信彩票、财付通、云监控、云数据库、云负载等。足以证明CTSDB可以稳定支撑物联网的海量数据场景。除此之外，针对日益火爆的小游戏市场，腾讯云自研文档数据库是国内唯一提供表级监控的云厂商，也是国内唯一提供库表回档服务的云数据库，为客户提供更细粒度回档服务。目前，腾讯云自研文档数据库已经支撑数款日活峰值2000w且流水上亿的微信小游戏。用户规模增速呈加速态势过去几年，基于在云数据库领域的技术、产品、生态积累，越来越多的企业选择将核心业务系统托付给腾讯云数据库。目前，腾讯云数据库业务基本覆盖电商、金融、游戏、O2O等全行业，微众银行、小红书、猎豹、每日优鲜、听云、搜狐畅游、蘑菇街、猫眼等知名大中型企业都大量使用了腾讯云数据库服务。腾讯云数据库产品用户就拿微众银行来说，作为国内首家互联网银行，在腾讯云多项技术能力的支持下，微众银行在2015年成功打造出国内首个基于云计算技术和分布式数据库的银行分布式核心系统架构，该架构实现了多项行业创新。微众银行测试环境和开发环境部署在腾讯云提供的金融合规云机房里，可以按需使用，按量付费，生产环境的机房则采用了腾讯云的计算机服务，有效地达到控制成本的目的。数据库则采用了腾讯云金融级数据库TDSQL，光是这一项支出，相比传统数据库就节约了50%以上的成本。腾讯云数据库地域分布开放和自主可控兼备Gartner报告明确指出，当下云是管理数据的默认平台，内部部署的传统模式已成为过去式，云增长极大地改变了供应商的排名。在各大企业逐渐加速上云的背景下，云数据库作为企业IT基础设施，重要性不言而喻。腾讯云数据库在核心技术能力上，基于自主研发,兼容最主流的开源技术，让企业可以选择自己的技术路线，支持联合创新。同时，重视和提升数据价值，从数据的保护和挖掘方面，围绕数据构建全链路的数据应用及服务能力。除了数据库之外，腾讯云目前在整体云计算市场的拓展呈现加速态势，在最新的云原生、边缘计算、大数据、人工智能、物联网等领域呈现整体爆发态势。

00:18封面新闻记者 张越熙11月24日，国际知名行业研究机构 Gartner 公布 2020 年度全球数据库魔力象限评估结果，来自中国的三家数据库企业入选，分别是阿里云、腾讯云、华为云。而阿里云也是首次挺进全球数据库第一阵营——领导者（LEADERS）象限，这也是中国数据库40年来首次进入全球顶级数据库行列。腾讯云和华为云则被评为“特定领域者”。“阿里云拥有丰富的数据库种类覆盖度和完善的产品布局，为用户提供了多种关系型和非关系型数据库产品，还提供了混合云环境部署，同时集成了备份、数据迁移与同步等能力。”Gartner分析师在报告中指出。Gartner报告指出，腾讯云数据库在传统交易和运营智能方面表现出了独特的优势，并基于腾讯在金融、支付、社交、游戏、智慧零售、广告等领域的领先优势，腾讯云数据库广泛增强了其高可用能力。数据库与芯片、操作系统并列为全球技术三大件，也是企业IT系统必不可少的核心技术，银行、电信、制造、互联网等主要行业都依赖于数据库技术。Gartner预计，到2023年全球75%的数据库都会跑在云上。IDC数据显示，2022年全球数据库市场规模将超过400亿美金，市场空间巨大。随着企业数字化进程的加快，中国云计算市场竞争火热，各家企业都在加大数据库投入。最新数据显示，阿里云已经位居全球云数据库市场份额第三位以及中国市场第一位。IDC中国企业软件市场高级分析师王楠表示，当前，基于大数据、移动互联网、人工智能的业务创新不断涌现，基于新兴技术的系统和应用正在飞速发展，这将驱动对关系型数据库需求的继续增长。中国关系型数据库的主要市场需求正向着云服务、分布式、分析型过度，国内厂商在这些领域与国外厂商的产品和技术差距并不大，甚至与国外厂商处于同一水平。未来，无论在宏观环境还是数据库市场需求发展方面都将利好本土厂商。

·聚焦:人工智能、芯片等行业欢迎各位客官关注、转发前言：数据中台是一种数据治理思路，因此无论企业大小、业务复杂程度，均可“中台化”。作者| 方文图片来源 |网 络 2019年，中国数字经济规模达到358,402亿元，占当年GDP比重的36.2%，而2014年数字经济占当年GDP比重为仅为26.1%，在数字经济发展的大背景下，企业自身的数字化建设和对数据的应用已成为企业战略、治理及运营的关注重点。数据中台实际是企业管理的概念，强调的是通过数据治理业务，形成实用的数据资产，打通数据间、业务间无用的隔阂。数据中台的应用首先需要体现在顶层框架与业务逻辑上，从整体战略出发，逐步落实到数据质量管理、数据资产开发及数据驱动业务三个大的方面，数据中台首先要考虑数据质量与业务特点，从立项开始明确数据中台的可行性与必要性。数据中台可应用在零售、电商、快消、地产等多个场景下，实现多领域及行业“中台化”，可以做到研发、制造及销售全流程数据打通，帮助企业降本增效。根据针对企业数字化情况调研数据显示，有45%的企业将“提高对数据的管理能力”作为企业数字化转型的目标，位列所有选项之首。数据中台的应用场景在于数据可复用的业务，数据整合、智能分析及业务应用是数据平台针对企业数据服务的三个细分类型。从数据库开始，数据存储、 调用及分析的生产力工具或平台就根据企业对于数据的需求不断升级，每个阶段的数据管理方式都是与所处的阶段特点所匹配。同时要打破企业在快速发展过程中各组织间信息及目标及利益间的壁垒，否则数据中台会仅仅会成为“子平台”、“ 子数据库”。以下是《中国数据中台行业发展简析》部分内容：公众号后台回复《中国数据中台行业发展简析》，即可获得报告全文。END