大数据研究分析的方法

主要组织如何使用数据和分析来指导战略和运营决策？高级领导层提供了对挑战和机遇的洞察。组织的数据比以往任何时候都有更多的争议。但是实际上从这些数据中获得有意义的见解，并将知识转化为行动-说起来容易一些。我们与主要机构的六位高级领导人进行了交谈，并询问了采用先进分析技术的挑战和机遇：AIG首席科学官MurliBuluswar。GE软件首席信息官VinceCampisi;美国运通首席风险官AshGupta;eBay全球客户优化和数据副总裁ZoherKaru;AT＆T大数据高级副总裁VictorNilson;和凯撒娱乐公司首席分析官RubenSigala。他们的评论的编辑记录如下。访谈剧本组织在采用分析方面面临的挑战AIG首席科学官MurliBuluswar：从知识文化向学习文化演变的最大挑战-从一种文化来看，这种文化在很大程度上取决于对决策的启发式，这种文化更客观和数据驱动，并拥抱数据和技术的力量真的不是成本。最初，它主要是想象力和惯性。过去几年我学到的是，恐惧的力量在演变自己的思想和行为方面是非常巨大的，今天提出问题，我们以前没有问我们的角色。而这是一种思维方式的改变-从一个以专家为本的思维方式变得更加活跃，更加注重学习，而不是一种固定的思维方式-我认为这对任何公司的可持续健康至关重要，大，小或中等。凯撒娱乐公司首席分析官RubenSigala：我们发现具有挑战性的是什么，在与许多我仍然面临挑战的同行讨论中，我发现了一些工具，使组织能够通过过程高效地产生价值。在某些应用中，我听到个人的胜利，但是拥有更多类型的凝聚力的生态系统，这完全融合在一起，是我认为我们都在努力的一部分，部分原因在于它还处于早期阶段。虽然在过去几年中我们一直在谈论似乎相当多，但技术仍在变化中。消息来源仍在不断发展。全球客户优化和数据副总裁ZoherKaru，eBay：最大的挑战之一就是数据隐私，什么是共享的，而不是共享的。而我的观点是消费者愿意分享，如果有回报的价值。单向共享不会再飞了。那么我们如何保护我们如何利用这些信息，并成为与消费者的合作伙伴，而不仅仅是一个供应商呢？从分析中获取影响RubenSigala：你必须从组织的章程开始。您必须非常具体地了解组织内功能的目标以及如何与更广泛的业务进行互动。有一些组织从关于传统功能，如营销，定价和其他具体领域的支持开始。此外，还有其他组织对业务有更广泛的认识。我想你必须首先定义该元素。这有助于最佳地通知适当的结构，论坛，然后最终设置更细致的操作水平，如培训，招聘等。但是，如何开展业务，以及与更广泛的组织进行互动的方式是绝对关键的。从那里，一切都应该排队。这就是我们如何开始我们的道路。通用电气软件首席信息官文斯·坎皮西（VinceCampisi）：我们学到的其中之一就是当我们开始关注结果时，这是快速实现价值并让人们兴奋的机会的好方法。而且我们把我们带到了前所未有的地方。所以我们可以去一个特定的结果，并尝试组织一个数据集来完成这个结果。一旦你这样做，人们开始带来其他数据源和其他想要连接的东西。而且，真正需要你去一个你以后没有预料到的下一个结果的地方。你必须愿意在你对事物的想法上有一点敏捷和流动。但是，如果你从一个结果开始并提供它，你会惊讶于下一步需要什么。美国运通首席风险官AshGupta：我们必须做的第一个改变就是使我们的数据质量更高。我们有很多数据，有时我们只是没有使用这些数据，而且我们现在不需要像现在那样对其质量给予太多的关注。那就是一个，以确保数据具有正确的血统，数据具有正确的允许目的来为客户服务。在我看来，这是一个旅程。我们取得了很大的进步，我们期望在我们的系统上继续取得进展。第二个领域是与我们的人民合作，确定我们正在集中我们业务的某些方面。我们正在集中我们的能力，我们正在使其使用民主化。我认为另一方面是我们将自己认为是一个团队，而作为一个公司，我们自己没有足够的技能，我们需要在美国运通以外的各种实体进行合作。这种合作来自技术创新者，来自数据提供商，来自分析公司。我们需要为我们的业务同事和合作伙伴提供一个完整的包装，这是一个令人信服的论据，我们正在共同开发的东西，我们正在学习，我们正在相互依托。影响的例子AT＆T高级副总裁VictorNilson表示：我们始终以顾客的经验开始。这是最重要的。在我们的客户服务中心，我们有很多非常复杂的产品。即使简单的产品有时候也有非常复杂的潜在问题或解决方案，所以工作流程非常复杂。那么，当有交互作用的时候，我们如何同时简化客户关怀代理和客户的流程呢？我们使用大数据技术分析所有不同的排列，以增加体验，以更快地解决或增强特定情况。我们把复杂的东西变成一个简单和可操作的东西。同时，我们可以分析这些数据，然后回头说：“我们是否在这种特殊情况下主动优化网络？”因此，我们不仅要优化客户服务，还要优化网络，在一起也是。文斯·坎皮西（VinceCampisi）：我会给你一个内部的观点和一个外部的观点。一个是我们在所谓的数字线程中做了很多工作，如何通过工程，制造和一切方式将创新连接到服务产品。[更多关于公司“数字线”的方法，请参见“GE的杰夫·伊梅尔特（JeffImmelt）在工业领域的数字化”。在此之前，我们重点关注辉煌的工厂。所以以驱动供应链优化为例。我们已经能够收集60多个与直接材料采购有关的信息，利用分析来查看新的关系，并使用机器学习来确定如何采购直接材料进入我们的产品的巨大的效率。外部的例子是我们如何利用分析来真正使资产表现更好。我们称之为资产绩效管理。而且，我们开始启用数字行业，如数字风电场，您可以利用分析来帮助机器优化自身。因此，您可以帮助一个发电厂商，他们使用相同的风力，通过让风力发电机正确调整并了解如何优化风力，我们已经展示出能够生产高达10％的风力生产能量相当的风量。这是使用分析来帮助客户从现有资本投资中获得更多收益和更高生产力的一个例子。赢得人才战争RubenSigala：分析人才的竞争是极端的。在组织内维护和维护人才的基础是困难的，特别是如果你认为这是一个核心竞争力。我们主要关注的是开发一个平台，说明我们认为是一个价值主张，对于正在开始职业或维持这一领域职业生涯的个人来说，这是一个重要的。当我们谈论价值主张时，我们使用一些术语，如有机会真正影响业务成果，进行广泛的分析练习，定期受到挑战。但总的来说，要成为组织的一部分，认为这是组织在市场竞争中的关键部分，然后定期执行。在一定程度上，要做到这一点，你必须有良好的培训计划，你必须有一个非常具体的形式与高级团队的互动。而且您也必须是组织的一部分，实际上是推动公司的战略。MurliBuluswar：我发现，专注于科学创造的基本原理，我们的愿望是什么，以及如何成为这个团队的一部分将塑造团队成员的职业发展已经相当深刻地吸引了人才的素质，关心。那么当然，在日常生活中，承诺的日子更加艰巨。是的，钱很重要。我对金钱的理念是我想要在第75百分位数范围内;我不想在第99百分位数。因为无论你身在何方，大多数人-特别是数据科学界的人-如果他们选择采取行动，他们有能力增加20％到30％的薪酬。我的意图不是试图减少差距。我的意图是创造一个环境和文化，他们看到他们正在学习;他们看到他们正在努力解决对公司，行业和社会影响更广泛的问题。他们是一个充满活力的团队的一部分，其灵感来自于为什么它存在，以及它如何界定成功。关注这一点，对我而言，是吸引我所需要的人才素质的绝对关键的推动因素，对于这个问题，任何其他人都需要。发展正确的专业知识维克多尼尔森：人才是一切，对吧？你必须拥有数据，显然，AT＆T拥有丰富的数据。但没有天赋，没有意义。人才是区分者。合适的人才会找到正确的技术;正确的人才会解决问题。我们已经帮助开发许多在开源社区中出现的新技术做出了贡献。我们拥有来自实验室的先进技术，我们拥有新兴的硅谷。但我们也拥有全国各地的主流人才，我们拥有非常先进的工程师，我们拥有各级管理人员，我们希望进一步发展人才。所以我们今年仅提供了超过50,000个大数据相关的培训课程。我们正在继续前进。这是一个整体的连续体。这可能只是一个星期的新兵训练营，或者可能是先进的PhD级数据科学。但是，我们希望继续发展那些有能力和兴趣的人才。我们希望确保他们能够发展自己的技能，然后将其与工具结合起来，以最大限度地提高生产力。ZoherKaru：人才在任何数据和分析之旅中至关重要。在我看来，分析人才本身已经不够了。我们不能有单一技能的人。我建立组织的方式是寻找有大，小的人。你可以专业的分析，但你可以在营销策略中很少。因为如果你没有未成年人，你将如何与组织的其他部分沟通？否则，纯粹的数据科学家将无法与数据库管理员谈话，例如谁无法与市场研究人员谈话，谁将无法与电子邮件渠道所有者谈话。您需要根据可以扩展的分析做出正确的业务决策。

目前，比较流行的、开源的大数据处理框架：Hadoop，Storm，Spark和Flink。大数据处理分析的相关技术大数据包括静态数据（批处理）和流数据（实时计算）。另外，大数据中还包括很多图结构数据，因此新的图计算框架应运而生，Pregel就是其中一个具有代表性的产品。数据可视化是大数据分析的最后一个环节，通过丰富的视觉效果，把数据以直观、生动、易理解的方式呈现出来。业界比较流行的分布式批处理框架，有Apache Hadoop/MapRece和Apache Spark等。流处理则需要流数据处理技术，如Apache Storm、Spark Streaming、Apache Flink等分布式计算引擎都能够支持处理流式数据。目前，在业界比较熟知的开源大数据处理框架中，能够同时支持流式计算和批量计算，比较典型的代表分别为Apache Spark和Apache Flink两套框架。其中，Spark通过批处理模式来统一处理不同类型的数据集，对于流数据是将数据按照批次切分成微批（有界数据集）来处理。Flink则从另外一个角度出发，通过流处理模式来统一处理不同类型的数据集。最终将批处理和流处理统一在一套流式引擎中，这样就可以使用一套引擎进行批计算和流计算的任务。Pregel是一种基于BSP（Bulk Synchronous Parallel）模型实现的并行图处理系统。为了解决大型图的分布式计算问题，Pregel 搭建了一套可扩展的，有容错机制的平台，该平台提供了一套非常灵活的API，可以描述各种各样的图计算。

简单来说，从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术，下面分开来说：一、大数据采集大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。数据库采集：流行的有Sqoop和ETL，传统的关系型数据库MySQL和Oracle 也依然充当着许多企业的数据存储方式。当然了，目前对于开源的Kettle和Talend本身，也集成了大数据集成内容，可实现hdfs，hbase和主流Nosq数据库之间的数据同步和集成。网络数据采集：一种借助网络爬虫或网站公开API，从网页获取非结构化或半结构化数据，并将其统一结构化为本地数据的数据采集方式。文件采集：包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等等。二、大数据预处理大数据预处理，指的是在进行数据分析之前，先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作，旨在提高数据质量，为后期分析工作奠定基础。数据预处理主要包括四个部分：数据清理、数据集成、数据转换、数据规约。数据清理：指利用ETL等清洗工具，对有遗漏数据(缺少感兴趣的属性)、噪音数据(数据中存在着错误、或偏离期望值的数据)、不一致数据进行处理。数据集成：是指将不同数据源中的数据，合并存放到统一数据库的，存储方法，着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。数据转换：是指对所抽取出来的数据中存在的不一致，进行处理的过程。它同时包含了数据清洗的工作，即根据业务规则对异常数据进行清洗，以保证后续分析结果准确性。数据规约：是指在最大限度保持数据原貌的基础上，最大限度精简数据量，以得到较小数据集的操作，包括：数据方聚集、维规约、数据压缩、数值规约、概念分层等。三、大数据存储大数据存储，指用存储器，以数据库的形式，存储采集到的数据的过程，包含三种典型路线：1、基于MPP架构的新型数据库集群采用Shared Nothing架构，结合MPP架构的高效分布式计算模式，通过列存储、粗粒度索引等多项大数据处理技术，重点面向行业大数据所展开的数据存储方式。具有低成本、高性能、高扩展性等特点，在企业分析类应用领域有着广泛的应用。较之传统数据库，其基于MPP产品的PB级数据分析能力，有着显著的优越性。自然，MPP数据库，也成为了企业新一代数据仓库的最佳选择。2、基于Hadoop的技术扩展和封装基于Hadoop的技术扩展和封装，是针对传统关系型数据库难以处理的数据和场景（针对非结构化数据的存储和计算等），利用Hadoop开源优势及相关特性（善于处理非结构、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型等），衍生出相关大数据技术的过程。伴随着技术进步，其应用场景也将逐步扩大，目前最为典型的应用场景：通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑，其中涉及了几十种NoSQL技术。3、大数据一体机这是一种专为大数据的分析处理而设计的软、硬件结合的产品。它由一组集成的服务器、存储设备、操作系统、数据库管理系统，以及为数据查询、处理、分析而预安装和优化的软件组成，具有良好的稳定性和纵向扩展性。四、大数据分析挖掘从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面，对杂乱无章的数据，进行萃取、提炼和分析的过程。这里要提一下工具：FineBI（可选）：你可以把它视作为可视化工具，因为它里面自带几十种常用图表，以及动态效果；你也可以把它作为报表工具，因为它能接入各种OA、ERP、CRM等系统数据，不写代码不写SQL就能批量化做报表。你还可以把它看作数据分析工具，其内置等常见的数据分析模型、以及各式图表，可以借助FineBI做一些探索性的分析。FineReport（可选）：可以直接和数据库交互（数据导出+填入数据），能连接各系统的数据，能高效率批量做报表，展现，交互分析，可视化大屏，并做到办公协同，FineReport无愧是大数据报表领域的佼佼者。1、可视化分析可视化分析，指借助图形化手段，清晰并有效传达与沟通信息的分析手段。主要应用于海量数据关联分析，即借助可视化数据分析平台，对分散异构数据进行关联分析，并做出完整分析图表的过程。具有简单明了、清晰直观、易于接受的特点。2、数据挖掘算法数据挖掘算法，即通过创建数据挖掘模型，而对数据进行试探和计算的，数据分析手段。它是大数据分析的理论核心。数据挖掘算法多种多样，且不同算法因基于不同的数据类型和格式，会呈现出不同的数据特点。但一般来讲，创建模型的过程却是相似的，即首先分析用户提供的数据，然后针对特定类型的模式和趋势进行查找，并用分析结果定义创建挖掘模型的最佳参数，并将这些参数应用于整个数据集，以提取可行模式和详细统计信息。3、预测性分析预测性分析，是大数据分析最重要的应用领域之一，通过结合多种高级分析功能（特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等），达到预测不确定事件的目的。帮助分用户析结构化和非结构化数据中的趋势、模式和关系，并运用这些指标来预测将来事件，为采取措施提供依据。4、语义引擎语义引擎，指通过为已有数据添加语义的操作，提高用户互联网搜索体验。5、数据质量管理指对数据全生命周期的每个阶段（计划、获取、存储、共享、维护、应用、消亡等）中可能引发的各类数据质量问题，进行识别、度量、监控、预警等操作，以提高数据质量的一系列管理活动。

大数据是指对于传统的数据处理应用程序来说太大或太复杂的数据集。它被定义为包含下列一个或多个特性：高容量、高速度和高特征值。爆发式增长的移动数据流量、云计算流量，以及人工智能（AI）和物联网（IoT）等技术的飞速发展，都不断增加数据的容量和复杂性。大数据分析主要采用人工智能，机器深度学习算法，从数据集中提取有价值的信息并生成新的行业见解。据Statista研究数据，全球创建、捕获、复制和消费的数据总量已经爆发式增长，到2020年底将达到59泽字节(Zettabytes)。全球数字化的快速发展为日益增长的数据领域做出了贡献。截止2018年11月，市场研究行业已经有45%的专业人士开始使用大数据分析作为研究方法。大数据分析：新超能力“全球大数据市场预计到2027年将增长到103亿美元，增长率达到84%。”根据GRSTAR的行业研究数据。GRSTAR是一家采用人工智能和大数据分析来准确预测未来结果的科技公司。“如果数据是新的石油，那么如果知道何时何地发现油矿并且如何开采它时，商业创新就会到来。探索新兴技术，运用创新理念，大数据分析，作为未来的超级能量，有助于重新思考和创新商业模式。”GRSTAR首席执行官Tom Morrison指出。想象一下，如果有这样一个分析预测系统能帮助你推动商业创新，开辟全新的收入来源，创造出你从未梦想过的产品和服务，让你有能力在事件发生之前对其作出反应；预测世界上任何地方的每一笔即将发生金融交易，预测交易结果；防止客户流失，预防事故发生。继续设想存在这样一个数据体系结构和平台，能够立即处理所有这些信息，提高客户洞察力，更快地构建产品，发现新的商业模式或机会。这就像拥有一个超能力大国。但问题是该如何正确利用大数据分析预测系统呢？有效的分析从可信数据开始据Statista预测，到2027年，全球大数据市场将增长至1030亿美元，是2018年预期市场规模的两倍多。其中软件市场占有45%的份额，到2027年将成为大数据市场。“在浩瀚如烟的数据海洋里，‘最终壁垒’将是数据收集。如果要达到高准确率目标，系统需要获得更多消费者的第一手数据，这些数据远远超过仅在互联网上的储存数据。”Morrison指出。“不过要实现如98%这样的精准度，系统需要从最终用户直接收集大量数据。系统数据需要涵盖来自社交爱好，个人健康，思维逻辑，消费习惯，投资模式等各方面信息。”Morrison补充道。依靠数据推动业务创新，需要保证高精确度，不允许有出错的余地。“数据质量始于可靠的数据管理。数据系统必须组织良好，准确，便捷，需要从微观层面分析利用各种向公众开放平台所生成的数据，并且构建个体数据收集生态系统，实现98%准确性的目标。”来自GRSTAR的Morrison指出。所以一个强健的系统要能够创建数据框架，制定战略，优化基础设施、流程和系统，并拥有数据驱动型的文化基因。基于大数据的预测分析应用基于人工智能的大数据分析，可以从噪音中过滤信号，并将数据转化为强大动能。预测分析可以预见未来。过去给予我们经验数据，预测未来将赋予个人或者企业超能力。“借助大数据分析，机构可以预测，分析和风险评估多个领域的行业趋势。在金融产品和服务领域，大数据分析可以提供更精准的风险识别，加强风控措施和提高决策准确率，增加投资利润。具体方式可以是为散户级别的投资者提供投资工具；也可以在特定时间段内识别各种潜在的投资工具的相关风险，预测投资回报率；”Morrison指出，“另外，在体育竞技，新兴科技，房地产，区块链和数字资产领域，借助大数据分析，个人和机构都可以利用预测系统更好的预测结果并且获得无与伦比的竞争优势。”预测分析有助于了解未来可能发生的情况，提前准备应对措施，提前应对风险，并影响结果。就像用望远镜向前看，而不是从后视镜里观察。因此，拥有正确的技术架构和高质量数据至关重要。大数据分析利用风险分析还可以预防欺诈事件，预测客户潜在需求，以及预测优化交易结果。“过滤噪音中的信号，采用的预测分析系统越全面，信息就越有价值，所采取的决策就越准切。”Morrison指出。发现未知商机借助大数据分析，每一个部门，每一个企业，每一个行业，都能更有效地发挥作用。利用强大的数据情报，快速的分析运算能力，精确的预测分析，来准确地预测未来结果。通过预测模型促进企业收入增长，实现利润最大化。优化数据资产，可以做出更快更好的决定；利用大数据分析超能力，可以使个人和企业获得新的收入来源，而且创新和挖掘尚未开发的商业智能。

围绕健康医疗大数据分析方法问题，系统梳理了健康医疗大数据在各个应用领域中的数据分析方法，从影响因素分析、流程管理、结果评价、预测判断、决策预防5个层面对医疗服务、公共卫生、药品管理、医疗保障、卫生管理、产业发展六大应用领域进行划分，按照目标层、数据类型层、分析方法及工具层和应用层4个部分构建健康医疗大数据分析方法体系框架，并结合应用实例为健康医疗大数据应用发展提供参考依据。健康医疗大数据是我国一项重要的基础战略资源，数据的爆炸式增长促进了健康医疗大数据分析和知识发现的研究。为合理有效地进行数据分析及应用，现急需建立一套完整的健康医疗大数据分析方法理论体系框架，如何将数据分析方法应用到实践中已经成为健康医疗大数据分析研究中十分重要的问题。健康医疗大数据分析方法体系框架基于本课题调查分析各应用领域中所使用的典型算法进行归纳总结，结合项目实践，现提出健康医疗大数据分析方法体系框架模型，由目标层、类型层、分析方法及工具层、应用层四部分组成，如图1所示。目标层，对健康医疗大数据进行目标性区分，根据数据的复杂程度和价值两个维度，将目标层分成描述型分析、诊断型分析、预测型分析和指令型分析四个层面。类型层是对数据类型进行划分，包括定性数据和定量数据，并进一步细分，而后又可从线性、非线性以及结构化、非结构化四个方面进行数据类的分类。分析方法及工具层分为三部分：①分析方法层，根据明确数据特征的健康医疗大数据选择相应的分析方法类别，包括分类、回归、聚类、关联规则、神经网络、Web数据挖掘、深度学习、集成算法等；②典型算法层，根据实际情况选择具体的分析算法进行分析，包括决策树、支持向量机等；③分析工具层，依据相应需求选择适合的分析工具进行数据结果可视化展示，包括Excel、SPSS、SAS、BMDP等。该层是将数据与应用紧密结合的重要分析层。应用层，根据健康医疗大数据的具体应用领域进行划分，包括医疗服务、公共卫生、药品管理、医疗保障、卫生管理、产业发展这六大层面。图1 健康医疗大数据分析方法体系框架健康医疗大数据分析方法应用领域通过湖北省卫生健康委课题《湖北省医疗健康大数据挖掘整合和服务管理规范研究》的调研发现，健康医疗大数据分析方法在医疗服务、公共卫生、药品管理、医疗保障、卫生管理、产业发展等应用领域均发挥着重要作用。现根据项目调研情况将健康医疗大数据在各应用中的分析过程划分成影响因素分析、流程管理、结果评价、预测判断、决策预防五个部分，利用分类、回归、聚类、关联规则、神经网络、Web数据挖掘、深度学习、集成算法等大数据分析方法，对不同应用领域的健康医疗大数据进行分析处理，健康医疗大数据分析方法应用领域如图2所示。图2 健康医疗大数据分析方法应用领域分析方法应用明确健康医疗大数据分析应用领域和分析目标，将各种类型的数据处理成符合医疗卫生信息化标准的数据，采用分类、回归、聚类等方法对不同的应用目标进行优选试验样本和数据，并通过决策树、支持向量机等具体算法构建实验模型，制定具体参数，对健康医疗大数据进行预定目标具体分析，采用Excel、SPSS、BI等分析工具，以统计图、表等形式对分析结果进行可视化展示，进行数据多维分析和挖掘，对疾病发展趋势、风险评估、预测分析和规划等提供大数据依据和信息支撑。具体应用实例如下所示。支持向量机（SVM）在高血压中医辩证中的应用健康医疗大数据之间存在错综复杂的非线性关系，支持向量机(SVM)模型具有较强的泛化能力，适用于小样本分类及高维输入单输出的非线性回归问题。使用SVM算法进行高血压病辨证分析，根据符合高血压病诊断的419例患者资料读取数据集，以高血压病中常见的21个症状、舌苔及舌体、脉象的量化数据为输入进行特征设计，将高血压病证型作为输出，并进行归一化处理，把属性缩放到[0,1]之间。基于MATLAB环境，选取Libsvm支持向量机集成工具包，使用Python直接导入SVM模块并选择RBF核函数，使用419例样本训练，130例样本测试。构造5个2类分类器，训练得到最优参数C=2和γ=1，建立基于SVM的肾气亏虚、痰瘀互结、肝火亢盛、阴虚阳亢和其他5种证型的高血压病患者中医证候诊断模型，并用测试集和交叉验证集比较所建模型的诊断识别率。根据SVM模型测试与临床诊断结果比较结果显示，5种证型准确率均高于66%，除其他外的4种主要证型准确率均高于85%，总体准确率达到90%。说明基于SVM建模对高血压病进行中医证候诊断分析具有很高可行性，可以提高诊断准确性和及时性，在高血压病中医辅助辩证过程中具有良好的应用前景。SVM对训练样本的数目要求较低，在较小规模数据集上训练即可得到较好泛化效果，且模型清晰，便于对分类结果做出解释，但也存在一定局限性。一是对模型输入特征设计要求较高，设计者需对所研究背景有深刻认识，当特征设计不充分时模型精度较低；二是可扩展性差，同一模型无法兼容多项研究数据，需针对不同需求设计不同特征。Apriori算法分析慢阻肺患者超限住院费用影响因素Apriori算法使用频繁项集的先验知识，通过两阶段递推的思想来挖掘出数据间的关联规则。现使用Apriori算法研究慢性阻塞性肺疾病患者超限住院费用的影响因素，选取基本医疗保险数据库中被确诊为慢阻肺的9 199例患者资料信息进行基本统计学分析，对数据集的平均值和标准差进行计算，运用多元线性回归方法筛选住院费用的外部影响因素。选择在多元线性逐步回归分析中有意义的性别、年龄、医院级别、住院天数等影响因素作为规则前项，设置支持度为0.8%，置信度为50%，以提升度>1来衡量规则有效性。应用SPSS统计软件进行回归分析，采用Java代码实现Apriori算法构建关联规则模型，输出每一步频繁集结果，通过更换最小支持度和可信度阈值获得不同关联规则，并对关联规则进行及时调整，将强关联规则作为影响慢阻肺患者超限住院费用的主要因素，最终挖掘出4 条有意义的关联规则。结果显示，4条关联规则的提升度均大于8.2，慢阻肺患者与超限住院费用关联度较大的三个条件分别是住院天数、医院级别和年龄，其中前两者为可控因素，其中4条规则均包含住院天数，说明该因素对慢阻肺患者发生超限住院费用的影响最大。通过采取缩短住院天数，实施分级诊疗制度等有效措施，可以有效降低超限住院费用发生率，减轻慢阻肺患者的经济负担。Apriori算法采用逐层搜索压缩频繁集大小，简单易懂，对数据要求低，且扩展性较好，可用于并行计算。但因其会多次扫描对数据库，导致运算时间增加，I/O负荷很大，数据量大时更加显著；同时会因循环产生大量组合候选项集，容易出现假性关联。结语结合实际情况，构建健康医疗大数据分析方法体系框架，加强对健康医疗大数据的分析应用，分析健康医疗康大数据具体应用领域，结合分析方法实现数据价值最大化，充分发挥健康医疗大数据这一基础性战略性的资源作用，从而大力推进和发展健康医疗大数据分析应用工作。【引用本文：章雨晨 陈敏.华中科技大学同济医学院医药卫生管理学院[J]. 中国数字医学,2021,16(1)104-106.】戳这里！

分析师群体几乎一致认为，大数据和分析市场规模庞大且增长迅速。Forrester表示，大数据软件在2018年的收入为310亿美元。IDC估计，来自大数据和互联网的营收到2022年，分析解决方案将超过2600亿美元。2019年会发生什么今年的大数据将何去何从分析趋势是什么？我们来看看其中的五个。将暗数据迁移到云黑暗数据，即尚未数字化、无法通过电子方式搜索的数据，将越来越多地在云中被捕获、转换、迁移和分析。机器人过程自动化人工智能、机器学习、工作流和自动化软件将日益提高业务流程的效率，并更好地与客户互动开源能够分析大数据集的开源工具越来越多。预计现有项目将不断发展，新的开源项目也不断在跟进。量子计算2019年或许只是个开始，但预计量子计算机将在今年逐步开始使用，这种新型计算机的潜力是巨大的。像IBM、谷歌、英特尔和微软等技术供应商都在投资。量子的速度将使强大得多的加密成为可能，软件可以分析和模拟复杂的事件，如天气医学和药物，以及金融，比我们今天的常规计算机能提供更详细的信息。冷存储存储大量数据的成本将导致企业和组织寻求更便宜的存储。随着旧数据和未使用数据的收集，企业将发现，较低的冷藏存储成本具有吸引力。与标准的现成存储相比，冷藏的成本可以降低50%或更多。

可视化是数据科学的重要组成部分。可视化把数据转化为可以交互的图形图像，能够帮助用户更好地理解、分析复杂的数据对象，而可视分析则通过紧密耦合可视化交互界面与自动计算，大大提高人类发现和洞察数据内在规律的能力，通过降低对复杂数据的认知壁垒，综合提高对数据进行交互探索的能力。过去几年中，可视化与可视分析多次入选中国计算机学会大数据专家委员会发布的《中国大数据技术与产业发展报告》，也位列美国商务部2018年发布的出口管制清单的数据分析技术首项。近年来，可视化迅速被越来越广泛地应用在数据科学以及日常应用的方方面面。本专题汇集了多方面的可视化应用方向，邀请研究相关领域应用的可视化专家团队撰文，展示可视化与可视分析的广阔应用场景。海洋研究和开发是综合多方面学科领域的方向，海洋观测技术和数值仿真技术的发展给相关工作带来了极为丰富的数据。中国海洋大学解翠等人撰写的《大数据可视分析在海洋领域的应用》探讨了可视分析在多元海洋时空数据分析、海洋重要结构的时空特征和演化分析等多方面的应用价值，通过相关海域数据分析的实际案例研究，梳理了海洋数据可视分析的基本框架，充分展示了可视分析在海洋复杂数据分析方面的潜力和需求。浙江大学巫英才等人撰写的《足球比赛数据可视分析》则从竞技运动方面讨论可视分析的应用。与传统的足球专家解读球赛不同，可视分析技术能够对分析的流程和结果进行清晰、直观的展示，并支持用户对数据进行交互式的探索。论文按照分析的数据类型，把现有的足球比赛数据分析工作分为基于统计数据的分析、基于事件数据的分析、基于轨迹数据的分析3个类别。论文也指出，足球比赛数据可视分析主要的方向包括细粒度的足球比赛数据获取、防守战术的可视分析、比赛中的解释性可视分析以及应用沉浸式技术等前沿技术。城市是大数据应用的一个重要场景，通信数据对于理解城市的运行具有重要的意义。疫情中通过手机信令轨迹确定风险是我国大数据疫情防控中的重要环节。西南科技大学王桂娟等人撰写的《基于移动通信数据的城市可视分析研究》回顾了近年来基于通信数据的城市可视分析研究工作，从通信数据的内在对象——人、通信设备和城市空间3个方面讨论了相应的可视化策略和方法。他们指出，由于城市分析目标和通信数据的复杂性，城市可视分析的用户门槛相对较高，迫切需要结合人工智能和领域知识，设计更加自动化的面向城市分析的可视分析系统。民以食为天，大数据和食品工业也紧密联系。北京工商大学陈谊等人撰写的《食品安全大数据可视化关联分析》分析了食品安全数据的主要来源、特征和分析任务，并有针对性地提出了关联可视分析技术分类方法，指出将来使用结合数据挖掘、机器学习、深度学习的可视分析方法是解决食品安全风险分析、识别、预警和溯源等问题，提高食品安全监测和管控能力的重要手段。四川轻化工大学陈超等人撰写的《中国白酒文化可视化研究》则将信息可视化技术应用到中国白酒文化领域，以传播和弘扬中国白酒文化内涵。论文从文学作品、考古以及历史3个领域分析了相关研究现状，并通过多个应用场景，展示了可视化和可视分析与传统文化结合的生命力。由于篇幅有限，本专题无法覆盖大数据可视分析应用的各个方向。专题遴选的论文主要阐述了可视分析在不同应用领域的实践，希望能够抛砖引玉，引发更多相关的有益尝试，进一步推动大数据可视化与可视分析的落地应用。作者简介袁晓如，男，北京大学信息科学与技术学院研究员、长聘副教授，机器感知与智能教育部重点实验室副主任，大数据分析与应用技术国家工程实验室常务副主任。长期致力于可视化与可视分析通用基础方法及领域应用系统的研究，相关可视化研究工作成果已被应用于流场分析、交通、社会媒体等领域。多次获得可视化国内外学术会议最佳论文奖，高动态范围可视化获得2005年IEEEVIS大会最佳应用论文奖。近年来指导团队10余次在IEEEVAST可视分析挑战赛中获奖。2018年获得大川研究助成奖、北京图象图形学学会优秀博士论文导师奖。担任IEEEVIS、ACMCHI、ChinaVis、EuroVis、IEEEPacificVis等可视化会议程序委员会委员，担任IEEEVIS2017大会论文主席、IEEEVIS2021大会论文领域主席。担任IEEETVCG、JournalofVisualization、《计算机辅助设计与图形学学报》等期刊编委。担任中国图象图形学学会可视化与可视分析专业委员会主任、中国计算机学会大数据专家委员会首期委员。倡导并共同创建中国可视化与可视分析大会。大数据期刊《大数据（Big Data Research，BDR）》双月刊是由中华人民共和国工业和信息化部主管，人民邮电出版社主办，中国计算机学会大数据专家委员会学术指导，北京信通传媒有限责任公司出版的期刊，已成功入选中文科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技期刊，并被评为2018年国家哲学社会科学文献中心学术期刊数据库“综合性人文社会科学”学科最受欢迎期刊。

数据分析是收集，检查，清理，转换和建模数据的过程，以发现有用的信息并为业务决策提供有用的结论。使用分析或统计工具评估数据以发现有用信息的人被称为数据分析师。以可视形式呈现数据的过程称为“数据可视化”，主要目的是从原始数据中提取有用的信息，然后根据所分析数据的事实做出决策。为什么要进行数据分析？数据驱动的企业不断根据数据和事实制定决策，这样，由于拥有可用的数据来支持他们，因此他们可以更有信心采取行动。由于许多个人，企业都依赖于数据和事实，因此需要通过研究来制定更具战略意义的决策，以帮助其企业更有效地运作，从而避免犯下可以避免的错误，因此需要数据分析师进行数据分析以帮助分析数据，收集所有有用信息并提供做出正确决策所需的所有必要详细信息。如今，小型企业，离线和在线零售公司，医学界甚至体育界都使用数据分析。方法与技巧尽管用于数据分析的方法多种多样，包括数据挖掘，文本分析，商业智能，组合数据集和数据可视化，但它们都基于两个主要类别：定性和定量分析。定性分析定性分析是一种数据分析方法，主要回答寻求的问题。诸如为什么，什么或如何等问题通常通过定量技术来解决，例如问卷，标准结果，态度定标等等。定量分析通常，此分析是根据数字来衡量的。此处的数据以测量范围表示自身，并扩展以进行更多的统计操作。数据分析类型根据业务和技术需求，所有行业中都在使用几种类型的数据分析方法和技术。但是，数据分析的五种主要类型是：文本分析、统计分析（推理和描述性分析）、诊断分析、预测分析、规范分析。文字分析文本分析也称为数据挖掘，是一种使用数据库或数据挖掘工具分析文本以提取机器可读事实并发现大型数据集中模式的技术。文本分析的主要目的是从非结构化的免费内容中创建结构化数据，以形成业务信息。统计分析顾名思义，统计分析是一种执行多种统计操作的技术，例如数据的收集，分析，解释，表示和建模，以对数据进行量化，了解过去数据发生了什么然后应用统计方法。这种类型的分析中的数据通常是描述性的；例如调查和观测数据。许多数据分析人员喜欢将其称为描述性分析，即使这种分析有两类：描述性和推理性分析。描述性分析描述性分析是当今企业中最简单，最常见的数据使用方式，因为它通过总结过去的数据（通常以仪表板的形式）来回答“发生了什么”类型的问题。它分析完整的数据或汇总的数值数据样本，并显示连续数据的平均值和偏差–分类数据的百分比和频率。业务中描述性分析的主要功能是跟踪关键绩效指标（KPI），这些指标描述了基于所选基准的业务绩效。描述性分析的业务应用包括：KPI仪表板、月收入报告、销售线索概述。推论分析推论分析从完整数据中分析数据样本。通过推论分析，只需选择不同的样本，就可以从同一数据中找到不同的结论。诊断分析当描述性分析显示发生了什么时，诊断分析会根据从描述性分析中获得的见解找到原因，从而尝试了解“原因为何”，然后将其范围缩小以找到导致这些结果的原因。诊断分析也称为根本原因分析，它具有数据发现，挖掘和追溯等过程，是向统计分析迈出的一步，以提供更深入的信息来回答问题，这种分析的主要功能是识别数据的行为模式。如果您在业务流程中遇到新问题，则此分析可以帮助您找到该问题的相似模式，并且可能有机会对新问题使用相似的处方。预测分析预测分析用于根据当前或过去的数据进行预测。它使用从描述性和诊断性分析中总结的数据对事件的结果进行逻辑预测，以了解可能发生的情况。使用预测分析时，重要的是要注意预测只是一种估计；预测的准确性取决于质量和详细的数据。预测分析的业务应用包括：风险评估和欺诈检测、销售预测和营销活动优化、使用客户细分确定哪些线索最有可能转化．运营改进：预测库存和管理资源有助于改善业务运营。例如，航空公司使用预测分析来设置机票价格。规范分析规范性分析相应地结合了来自描述性，诊断性和预测性分析的见解，以确定采取何种行动方案来解决当前问题或做出战略性业务决策。它更强调可操作的见解，而不是数据监视。描述性分析旨在提供对已发生事件的洞察力，而诊断分析可解释发生原因的原因，而预测性分析则有助于对可能发生的事情进行建模和预测，而描述性分析旨在确定各种选择中的正确解决方案或结果，因为参数是已知的。规范分析的一个完美示例是人工智能（AI），因为AI系统会消耗大量数据以进行连续学习，然后使用所学的信息，数据或模式来做出明智的决策。当前，大多数大数据驱动的公司都在使用规范性分析和AI来改善决策。小伙伴们在考虑转行或择业时可以考虑从事数据分析师这一行业，美好未来在等着大家～

什么是大数据大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据的意义现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。大数据的价值体现在以下几个方面：1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销2) 做小而美模式的中小微企业可以利用大数据做服务转型3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值大数据就业方向大数据主要有三个就业方向，大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。又可分为以下十大职位：一、ETL研发ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。二、Hadoop开发Hadoop的核心是HDFS和MapRece.HDFS提供了海量数据的存储，MapRece提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapRece、Pig等的需求将持续增长。三、可视化（前端展现）工具开发可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数 据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。四、信息架构开发大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。五、数据仓库研究数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。六、OLAP开发OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。七、数据科学研究数据科学家是分析师、艺术家的合体，需要具备多种交叉科学和商业技能。八、数据预测（数据挖掘）分析营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。九、企业数据管理企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗 和规范化，将数据导入数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家的人，需要保证 市场数据的完整性，准确性，唯一性，真实性和不冗余。十、数据安全研究数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验，具备运维管理方面的知识和能力，对企业传统业务有较深刻的理解，才能确保企业数据安全做到一丝不漏。大数据人才发展前景1. 人才缺口全球最顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据或者数据工作者的岗位需求将激增，其中大数据科学家的缺口在14万到19万之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达到150万!