大数据的研究历史

答:大数据历史应该是研究古代过去真正的事实。

2015年左右，大数据相关政策规划密集出台，同期为大数据企业新增数量顶峰时期。近年来，我国大数据产业迎来新的发展机遇期，产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显，面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。大数据企业数量持续增长，增速与政策出台密切相关根据IT桔子统计，大数据企业的快速增长阶段出现在2013-2015年，增长速度在2015年达到最高峰。2015年后，市场日趋成熟，企业新增开始趋于放缓，大数据产业逐渐走向成熟。大数据新增企业数量的变化与新政策的出台密不可分。2015年8月国务院颁布《促进大数据发展行动纲要》，大数据由此正式上升为国家发展战略。2016年工信部印发了《大数据产业发展规划(2016-2020年)》，推动大数据产业进一步发展。另一方面，新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型，大数据的产业支撑得到强化，应用范围加速拓展，产业规模实现相应快速增长。大数据企业地域分布以北上广为主根据中国信息通信研究院监测统计，当前我国活跃的大数据企业超过3000家。我国大数据企业主要分布在北京、广东、上海、浙江等经济发达省份。受政策环境，人才创新，资金资源等因素影响，北京大数据产业实力雄厚，大数据企业数量约占全国总数的35%。依托京津冀大数据综合试验区，天津、石家庄、廊坊、张家口、秦皇岛等地大数据产业蓬勃发展，依靠良好的政策基础、科研实力、地理位置和交通优势，分别形成了大数据平台服务和应用开发、数字智能制造、旅游大数据等创新企业集聚中心，在信息产业领域形成了竞争优势。行业应用领域丰富，企业服务、医疗健康、金融等细分领域前景可期根据中国信通院对1404家涉及行业大数据应用的企业进行的统计整理，从中可以看出，金融、医疗健康、政务是大数据行业应用的最主要类型。除此之外依次是互联网、教育、交通运输、电子商务、供应链与物流、农业、工业与制造业、体育文化、环境气象、能源行业。从融资细分领域分布来看，大数据行业融资企业分布在近20个领域，大数据行业迎来历史新机遇，在企业服务、医疗健康、金融等垂直细分领域的大数据应用展现出巨大潜力。大数据产业增量蓝海市场正在逐步打开，截止到2019年，企业服务领域的企业获投占比最高为62%，金融行业次之为13%，健康医疗为8%。随着互联网与移动互联网的进一步普及渗透，以及IT基础设施的逐步完善，企业服务市场仍将继续扩大。—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据产生背景：进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。扩展资料大数据时代的特征1、数据量大（Volume）第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。2、类型繁多（Variety）第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。3、价值密度低（Value）第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。参考资料来源：百度百科-大数据时代

//打开数据库con.Open();//读取数据OdbcDataReader reader = cmd.ExecuteReader();//把数据加载到临时表dt.Load(reader);//在使用完毕之后，一定要关闭，要不然会出问题reader.Close();

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。　　简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。 　　大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别;第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质　　的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。 　　物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式 著云台　　例子包括网络日志，RFID，传感器网络，社会网络，社会数据(由于数据革命的社会)，互联网文本和文件;互联网搜索索引;呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗记录;摄影档案馆视频档案;和大规模的电子商务。　　大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。　　一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。　　斯隆数字巡天收集在其最初的几个星期，比在天文学的历史，早在2000年的整个数据收集的数据。自那时以来，它已经积累了140兆兆 字节的信息。这个望远镜的继任者，大天气巡天望远镜，将于2016年在网上和将获得的数据，每5天沃尔玛处理超过100万客户的交易每隔一小时，反过来进口量数据库估计超过2.5 PB的是相当于167次，在美国国会图书馆的书籍 。　　FACEBOOK处理400亿张照片，从它的用户群。解码最初的人类基因组花了10年来处理时，现在可以在一个星期内实现。　　“大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。 　　大数据已经出现，因为我们生活在一个社会中有的东西。有46亿全球移动电话用户有1亿美元和20亿人访问互联网。　　基本上，人们比以往任何时候都与数据或信息交互。 1990年至2005年，全球超过1亿人进入中产阶级，这意味着越来越多的人，谁收益的这笔钱将成为反过来导致的识字信息的增长。思科公司预计，到2013年，在互联网上流动的交通量将达到每年667艾字节。　　最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。　　“麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念，也引起了金融界的高度关注。”随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。”　　事实上，全球互联网巨头都已意识到了“大数据”时代，数据的重要意义。包括EMC、惠普(微博)、IBM、微软(微博)在内的全球IT 巨头纷纷通过收购“大数据”相关厂商来实现技术整合，亦可见其对“大数据”的重视。　　“大数据”作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持。不过，在12月8日工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。

我们正处在科技高速发展的时代，如今互联网已经与我们的生活息息相关，我们每天在互联网产生大量的数据，这些数据散落在网络中看似没有怎么作用，但是这些数据经过系统的处理整合起来确实非常有价值的。一、 发展大数据技术可以提高生产力大数据技术在企业已经成为投入使用很成功的案例，很多应用程序开发商和大型公司都运用大数据技术扩展大数据项目。大数据技术在运用时可以通过数据挖掘知道最需要的数据是哪些，通过这些数据获取的生产力，提高生产能力，为企业带来的商业价值。目前有很多企业通过数据挖掘分析解决问题，相对来说大数据分析比着传统的数据分析速度更快，更能获取可“回收利用”的信息流量，提高行业内的生产力。二、 发展大数据技术可以改善营销决策近几年的数据量暴增，数据盈利也很可能成为未来收入的主要来源，大数据技术在海量数据的分析中，寻求到最合适的企业营销策略，通过数据分析给企业带来更明智的策略。大数据工程师通过对客户的数据精湛分析，分析行业内的流行趋势并且定制出更适合的产品或者服务，通过对定价的检测和分析对客户忠诚度有效评估，一系列的运用大数据及时改善营销决策，给企业带来有价值的数据决策。三、 发展大数据技术的未来优势大数据行业的兴起，许多开发企业都意识到，想要在行业内不断的发展就要运用大数据技术，提升自身企业的品牌价值，在行业比拼中寻求的竞争优势，微软亚马逊等大型跨国公司目前都在采用大数据解决问题，为消费者提供更好的服务。目前有很多行业和企业都尝到大数据技术的甜头了，未来会有越来越多运用大数据技术的产业，以现在大数据发展的速度来看，2020年大数据的市场规模将达到2030亿美元，很多企业都在期盼大数据项目可以运用的范围更广阔，然后通过运用产生更大的利益空间。大数据技术能为行业提高生产力、改善营销决策，给企业带来更好的发展前景，目前大数据技术发展虽然在初级阶段，但是发展势头很猛，未来也会有的行业领域涉足大数据技术运用，大数据技术未来发展形式一片大好!当下，大数据方面的就业主要有三大方向：一是数据分析类大数据人才，二是系统研发类大数据人才，三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师，如果想系统的学习编程的可以来我这看看。对于求职者来说，大数据只是所从事事业的一个方向，而职业岗位则是决定做什么事?大数据从业者/求职者可以根据自身所学技术及兴趣特征，选择一个适合自己的大数据相关岗位。下面为大家介绍十种与大数据相关的热门岗位。一、ETL研发企业数据种类与来源的不断增加，对数据进行整合与处理变得越来越困难，企业迫切需要一种有数据整合能力的人才。ETL开发者这是在此需求基础下而诞生的一个职业岗位。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。二、Hadoop开发随着数据规模不断增大，传统BI的数据处理成本过高企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘，企业需求持续增长。并成为大数据人才必须掌握的一种技术。三、可视化工具开发可视化开发就是在可视化工具提供的图形用户界面上，通过操作界面元素，有可视化开发工具自动生成相关应用软件，轻松跨越多个资源和层次连接所有数据。过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。四、信息架构开发大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。五、数据仓库研究为方便企业决策，出于分析性报告和决策支持的目的而创建的数据仓库研究岗位是一种所有类型数据的战略集合。为企业提供业务智能服务，指导业务流程改进和监视时间、成本、质量和控制。六、OLAP开发OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。七、数据科学研究数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。八、数据预测分析营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。九、企业数据管理企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。十、数据安全研究数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。成都加米谷大数据培训机构，专注于大数据人才培养。希望对您有所帮助！~

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。通过大量的统计了解大家的喜好，想要的东西，从而得到他们想要的，比如精准营销，征信分析，消费分析等等

一、“四个结合”助力国家大数据战略　　实施国家大数据战略部署和顶层设计，需要我们做到“四个结合”：把政府数据开放和市场基于数据的创新结合起来。政府拥有80%的数据资源，如果不开放，大数据战略就会成为无源之水，市场主体如果不积极利用数据资源进行商业创新，数据开放的价值就无从释放；把大数据与国家治理创新结合起来。国务院的部署明确提出，“将大数据作为提升政府治理能力的重要手段”“提高社会治理的精准性和有效性”，用大数据“助力简政放权，支持从事前审批向事中事后监管转变”“借助大数据实现政府负面清单、权力清单和责任清单的透明化管理，完善大数据监督和技术反腐体系”，并具体部署了四大重大工程：政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程；把大数据与现代产业体系结合起来。这里涉及农业大数据、工业大数据、新兴产业大数据等，我国的产业结构优化升级迎来难得的历史机遇；把大数据与大众创业、万众创新结合起来。国务院专门安排了“万众创新大数据工程”，数据将成为大众创业、万众创新的肥沃土壤，数据密集型产业将成为发展最快的产业，拥有数据优势的公司将迅速崛起。　　此外，我国作为世界制造业第一大国，需要高度关注一个现实——大数据重新定义了制造业创新升级的目标和路径。无论是德国提出的工业4.0战略，还是美国通用公司提出的工业互联网理念，本质正是先进制造业和大数据技术的统一体。大数据革命骤然改变了制造业演进的轨道，加速了传统制造体系的产品、设备、流程贬值淘汰的进程。数字工厂或称智能工厂，是未来制造业转型升级的必然方向。我国面临着从“制造大国”走向“制造强国”的历史重任，在新的技术条件下如何适应变化、如何生存发展、如何参与竞争，是非常现实的挑战。二、推动大数据在国家治理上的应用　　在大数据条件下，数据驱动的“精准治理体系”“智慧决策体系”“阳光权力平台”将逐渐成为现实。大数据已成为全球治理的新工具，联合国“全球脉动计划”就是用大数据对全球范围内的推特（Twitter）和脸谱（Facebook）数据和文本信息进行实时分析监测和“情绪分析”，可以对疾病、动乱、种族冲突提供早期预警。在国家治理现代化进程中推动大数据应用，是我们繁重而紧迫的任务。　　在政府治理方面，政府可以借助大数据实现智慧治理、数据决策、风险预警、智慧城市、智慧公安、舆情监测等。大数据将通过全息的数据呈现，使政府从“主观主义”“经验主义”的模糊治理方式，迈向“实事求是”“数据驱动”的精准治理方式。　　经济治理领域也是大数据创新应用的沃土，大数据是提高经济治理质量的有效手段。互联网系统记录着每一位生产者、消费者所产生的数据，可以为每个市场主体进行“精确画像”，从而为经济治理模式带来突破。判断经济形势好坏不再仅仅依赖统计样本得来的数据，而是可以通过把海量微观主体的行为加总，推导出宏观大趋势；银行发放贷款不再受制于信息不对称，通过贷款对象的大数据特征可以很好地预测其违约的可能性；打击假冒伪劣、建设“信用中国”也不再需要消耗大量人力、物力，大数据将使危害市场秩序的行为无处遁形。　　在公共服务领域，基于大数据的智能服务系统，将会极大地提升人们的生活体验，智慧医疗、智慧教育、智慧出行、智慧物流、智慧社区、智慧家居等等，人们享受的一切公共服务将在数字空间中以新的模式重新构建。三、加强大数据动态的跟踪研究　　我国要从“数据大国”成为“数据强国”，借助大数据革命促进国家治理现代化，还有几个关键问题需要深入研究。　　切实建设数据政策体系、数据立法体系、数据标准体系。以数据立法体系为例，一定要在数据开放和隐私保护之间权衡利弊，找到平衡点。　　重视对“数据主权”问题的研究。借助大数据技术，美国政府和互联网、大数据领军公司紧密结合，形成“数据情报联合体”，对全球数据空间进行掌控，形成新的“数据霸权”。思科、IBM、谷歌、英特尔、苹果、甲骨文、微软、高通等公司产品几乎渗透到世界各国的政府、海关、邮政、金融、铁路、民航系统。在这种情况下，我国数据主权极易遭到侵蚀。对于我国来说，在服务器、软件、芯片、操作系统、移动终端、搜索引擎等关键领域实现本土产品替代进口产品，具有极高的战略意义，也是维护数据主权的必要条件。　　“数据驱动发展”或将成为对冲当前经济下行压力的新动力。大数据是促进生产力变革的基础性力量，这包括数据成为生产要素，数据重构生产过程，数据驱动发展等。数据作为生产要素其边际成本为零，不仅不会越消耗越少，反而保持“摩尔定律”所说的指数型增长速度。这就可能给我国经济转型升级带来新动力，对冲经济下行压力。　　需要建设一个高质量的“大数据与国家治理实践案例库”。国家行政学院一直重视案例库的建设，在中央的重视和支持下，就大数据促进国家治理这一主题，各部门、各地方涌现出大量创新性的实践案例，亟须进行系统梳理和总结，形成一个权威的“大数据与国家治理实践案例库”，以方便全国领导干部进行借鉴和推广。　　在大数据时代，个人如何生存、企业如何竞争、政府如何提供服务、国家如何创新治理体系，都需要重新进行审视和考量。我们不能墨守成规，抱残守缺，而是要善于学习，勇于创新，按照党中央、国务院的战略部署，政府和市场两个轮子一起转，把我国建设成“数据强国”。

1、大数据行业目前还处在发展初期，虽然落地应用正在加速，但是还远远不够，比如大数据目前在互联网、金融行业应用，与AI、物联网的结合还未成熟，还有很多行业的应用才刚刚起步，甚至有的还未完全启动，所以还有很大的发展空间；2、大数据行业薪资普遍偏高的，其中大数据开发人才的薪资十分可观。2018年一线城市大数据开发人才月薪资15-20k，下图是招聘网站发布的2019上半年中高端人才就业热门领域及薪资情况。可以看出，随着大数据与人工智能等新兴技术的紧密结合，大数据领域的人才需求更加上升，无论是就业机会还是就业薪资，仍然是十分可期的。