大数据技术研究

这既是国家级，又是世界级的研究所：中国与联合国将在杭州建立大数据研究所！据新华社报道，这是联合国机构首次与相关国家合作建立大数据研究所；这一项目选址杭州，在于充分发挥中国相关地方政府和企业在大数据领域的先发和引领优势，重点聚焦新技术、新产业、新业态，更好服务于经济和社会发展。大数据是数据集合，以容量大、类型多、存取速度快、应用价值高为主要特征；大数据的集合过程，就是对来源分散、数量巨大、格式多样的数据进行采集、存储，并进行关联分析，从而发现新知识、创造新价值、提升新能力。大数据时代，正是从“人人互联”逐步延展至“人机交互”“物物相联”，发展空间无限广大。杭州的大数据领域，具有先发和引领优势，大数据研发的底层土壤比较深厚。跨行业、跨领域的大数据资源开发，唤醒了越来越多“沉睡”的数据，累积了层出不穷的新数据。一方面，大数据服务于企业，海量的数据已经成为企业最具价值的财富，发展“数字经济”已成共识，大数据技术的应用场景也越来越广泛。比如电商领头羊阿里巴巴，从市场营销到平台设计，从市场预测到决策支持，从效能提升到运营管理，从云计算到人工智能，大数据发挥着重要的支撑作用。另一方面，大数据开始蔓延到社会的各个领域，让城市越来越智慧，协助解决交通、消防、警务、医疗、城管等群众最关切的“难点”“痛点”。对于大数据的研究，是世界性的必需和必然。如何加强关键技术研发、强化数据治理？如何参与并促进全球数据创新？“数字革命”如何推进？核心技术生态圈如何构建？随着可获取的数字资源的大爆炸，用作分析大数据的技术工具该如何发展、跟上步伐？5G时代的到来，将会给大数据带来怎样的变革？还有，如何保障大数据的安全？等等等等，很多既宏观又具体的论题需要深入研究。不研究，无进步；不应用，无发展。大数据是真正的人类好资源、国家好土壤。大数据的研究和发展，要追求范式的进步。在创建一个数据库的过程中，必须依照一定的准则，这些准则即为范式，从第一范式到第二范式再到第三范式、第四范式……范式的迭代就是创新与进步。至于数据应用和数据共享，则需要更大的突破。比如医疗领域的数据量巨大，数据类型复杂，包括临床数据、影像数据、病历数据、检验检查数据、诊疗费用数据等等，如果合理利用好这些数据，来支持临床决策、帮助远程治疗病人、促进药品研发等等，那一定是人类的健康福音。如今，大数据的研究与发展过程中，最大的“瓶颈”问题其实是大数据人才短缺的问题。相关数据显示，大数据领域正面临全球性的“人才荒”：去年，美国的大数据人才和高级分析专家缺口高达19万，其企业界与大数据相关的管理人才则缺口150万；而我国目前大数据人才仅46万，未来3到5年内大数据人才的缺口将高达156万！赢得人才，就赢得先机。所以，为了更好地研究大数据、更快地发展大数据，最为迫切的就是更多更好地吸引和培养大数据人才。

走进经济生活里的一切导读：2016年2月，教育部公布新增“数据科学与大数据技术”专业，北京大学、对外经济贸易大学、中南大学成为首批获批高校。次年，又有32所高校获批。此次248所高校获批“数据科学与大数据技术”专业，几乎是前两次获批高校的8倍。来源丨21世纪经济报道（ID：jjbd21）记者丨王峰 北京报道图片来源/ 图虫创意（资料图）“没有什么行业是没有数据的”“我认为没有什么行业是没有数据的。”清华-伯克利深圳学院数据科学与信息技术专业一年级硕士生王宇杰说。 他在去年9月从一名工科本科生跨学科进入了大数据专业。大数据专业正成为时下火热的高校新增专业。在4月28日举行的教育部新闻发布会上，教育部高等教育司副司长范海林介绍，2017年全国高校备案专业中，新增数据科学与大数据技术专业点250个，同比增加了近7倍。从中国人民大学、北京师范大学、厦门大学等知名大学，到一些地方院校均投入了这股热潮。王宇杰大二时在一次展会上不经意接触到了一款大数据可视化软件Tableau，由此对大数据产生了浓厚的兴趣。通过Tableau，王宇杰感受到，数据分析这个行业的潜力无可限量。随着移动互联网大数据时代的到来，数据量正在不断增长。未来，更多人将学会分析数据，并将数据的洞察运用到工作和生活中的方方面面。数据分析会从小众走向主流，人人都可以成为数据分析师。接下来的大学时间里，他参加了一些数据科学家训练营，和一些商业机构组织的训练营，还在慕课网站上自修了国外大学的大数据课程。他在2016年的Tableau可视化分析争霸赛北京赛区比赛中拿到了第一名。Tableau可视化分析争霸赛是全球可视化数据分析人士的年度饕餮盛宴，每年都会成千上万数据狂人参加这一比拼。这其中，既有来自各行各业的数据分析专家，也有像王宇杰这样的数据爱好者，而王宇杰是获奖选手中唯一一名大学生。通过这些活动，王宇杰结识了这个一不断壮大的数据分析社区，也让他对这个行业更加充满热情。大四时，王宇杰得到了保研的机会，“国内开设大数据方向研究生专业的大学并不多，主要有清华大学、北京大学、复旦大学、北京航空航天大学等，这是当时比较知名的几个高校。”王宇杰说。王宇杰得到了北大和清华的offer，权衡之后，他选择了清华-伯克利深圳学院，这是清华和伯克利合办的硕士研究生项目，不仅可以在清华拿到数据科学学位，还有机会到美国加州大学伯克利分校去进行为期9个月的学习，同时拿到相关学位。“我是清华-伯克利深圳学院招收的第二届硕士生，也就是说，大数据专业其实是一个非常崭新的学科，在我申请的那一年，相对来说，大家对这个概念还不是特别了解，当然已经有一定数量的申请者，远超我们实际录取的人数，但并不是那么的火爆。”王宇杰说。“到了我下面那届，就是招收第三届硕士生的时候，竞争就变得异常激烈，在短短一年时间里，这个专业成为了大家认可的非常有潜力的专业，大批的工程本科生，或者是数学、经济方面的学生开始申请我们这个方向，因此录取率直线下降。个人感觉在近几年内，竞争会变得越来越激烈。”他说。清华-伯克利深圳学院的数据科学与信息技术研究中心设有6个实验室，分别为传感器与微系统实验室、纳米器件实验室、物联网与社会物理信息系统实验室、未来互联网研究实验室、大数据实验室、智能成像实验室。“我想一般人会认为我们专业课的名称会比较高大上，像大数据分析、大数据基础等，的确会有这些，但从本质上来说，我认为我们学的课程跟数学、工程学这些基础学科没有太大区别，当然加入了一些新兴科技的课程，比如现在很火的深度学习、人工智能。”他告诉记者。王宇杰进入了智能成像实验室，学习和科研课题是关于计算机视觉。“用一句话来概括，我们要做的是赋予计算机人的视觉能力。怎么理解呢？以后是一个有大量机器人存在的世界，而机器人要跟人类进行交互，做一些基本的工作，必须要有视觉能力，看得懂周围的环境，所以我们做的事情就是通过技术的方法让计算机拥有人的这种视觉能力。”他说。热门专业：数据科学与大数据技术图片来源 / 新华社（资料图）3月21日，教育部公布了2017年度普通高等学校本科专业备案和审批结果。在新增备案本科专业中，“数据科学与大数据技术”最为热门。根据统计，共有250所高校新增“数据科学与大数据技术”专业，其中包括中国人民大学、北京师范大学、厦门大学等19所教育部直属高校。河南省21所高校新增该专业，为最多的省份。河北、山东、安徽、广东、江苏等省也有较多高校成功获批。2016年2月，教育部公布新增“数据科学与大数据技术”专业，北京大学、对外经济贸易大学、中南大学成为首批获批高校。次年，又有32所高校获批。此次248所高校获批“数据科学与大数据技术”专业，几乎是前两次获批高校的8倍。该专业备受高校青睐与国家大力支持大数据产业发展及该产业人才奇缺相关。国务院2015年8月曾印发《关于印发促进大数据发展行动纲要的通知》，明确鼓励高校设立数据科学和数据工程相关专业，重点培养专业化数据工程师等大数据专业人才。根据教育部上述2017年度高校本科专业备案和审批结果，此次共有60所高校获批“机器人工程”专业。“机器人工程”专业大热的背后，是人工智能行业的持续发展。3月6日，南京大学官网正式发布新闻，经研究决定，南京大学正式成立人工智能学院。今年政府工作报告中四次提及“智能”，并特别指出要“加强新一代人工智能研发应用”、“发展智能产业”。值得注意的是，从清华大学到地方高校，大数据专业成为普遍的时尚。“清华或者其他一般院校，在这个领域里对科研的贡献会有差异，但事实上，在如今的大环境之下，大家都想跟上时代潮流，所以我认为无论处于怎样的研究水平，敢于去跟上这个时代，就是挺好的一件事情。”王宇杰说。“大数据是一个概念，它包含的范围非常广，不同的专业方向，对外显示的名称可能都是大数据分析、大数据工程与技术，但是整个产业其实非常庞大，从前到后拥有一个很大的产业链。”他说。“我认为数据分析师这个称谓已经太过宽泛了，我觉得这个行业需要细分，未来会有专门做算法的工程师，专门做硬件实现的工程师，以及专门做理论推导的科研人员等。”他说。（编辑 戴春晨）

在“金融大数据应用与信息安全研讨会”上，中国支付清算协会金融大数据应用研究组组长、中国信通院云计算与大数据研究所所长何宝宏博士正式发布了由双方联合撰写完成的《大数据在金融领域的典型应用研究》白皮书，并在现场演讲中阐释了金融大数据的四大应用价值、四大发展特点和五大发展趋势。白皮书聚焦大数据技术在金融领域的应用，从金融大数据的发展、金融大数据的应用场景分析、金融大数据的典型案例分析、金融大数据应用面临的挑战和促进金融大数据发展应用的相关建议等方面，深入剖析大数据技术在金融领域的应用情况：一是，从金融大数据发展现状出发，明确金融大数据的来源、应用特点和应用趋势；二是，通过应用场景分析，深入浅出地阐述金融大数据如何帮助银行业、证券业、保险业、支付清算行业和互联网金融行业提升资源配置效率，强化风险管控能力，促进业务创新发展；三是，对评选出的“金融大数据创新应用优秀案例”进行深入分析，为读者呈现这些案例机构应用大数据技术的初衷和目的，所开发的项目和取得的成果，以及通过应用大数据技术得到的好处；最后，对金融大数据的应用挑战进行分析，并提出了促进金融大数据发展应用的建议。铁粉必看

日前，由京东集团牵头，联想集团、北京邮电大学共建的“大数据智能管理与分析技术”国家地方联合工程研究中心，获国家发改委批复，正式揭牌成立。这是电商行业内首个大数据领域的国家级工程研究中心。中心汇集了来自中国工程院院士、欧洲科学院院士、各大高校及知名企业在内的数十位大数据领域顶级专家，联想副总裁、联想研究院人工智能实验室负责人徐飞玉博士担任该中心数据科学家，联想集团成为该研究机构的理事以及分中心之一。（*联想副总裁、联想研究院人工智能实验室负责人徐飞玉博士）“大数据智能管理与分析技术”国家地方联合工程研究中心成立后，将有效促进大数据领域的研究和发展，为社会输出极具创新性的大数据服务能力。具体来看：针对大数据关键技术领域开展前瞻性技术以及共性关键技术研究，形成工程化产品，并对外提供技术服务；针对大数据在电子商务、互联网行业、制造业的实际应用进行充分地探索和实践，将大数据技术和业务应用深入结合；开展产业技术研发的交流合作，面向国内外开放，为企业、研究机构提供技术、设备、场地等全方位的服务；培养产业技术创新人才，将工程研究中心建设成为人才培养、国内外合作交流的中心以及培养和输出研究、开发、管理人才的基地。作为中国最早规模化应用大数据的公司，联想将利用自身在大数据领域的实践经验和自主研发的技术积累，助力中心的大数据研究，帮助各行各业用户实现大数据的应用和落地。事实上，早在2011年联想就开始了大数据的应用和研发，经过不断探索和实践，大数据逐渐走入了联想业务价值链的全过程，形成了产品和用户两个方面的大数据应用闭环。同时，历经多年的战略投入，联想真正打造了一套统一的大数据整合平台、端到端的产品优化体系、用户经营体系、业务决策支持预测体系，有效推动了联想全价值链的数据智能转型。更关键的是，在多年实践验证的基础上，联想自身也构建了业界强大的大数据竞争实力，可以从三个维度来看：数据规模联想目前已在全球部署了9大数据中心的超大规模集群，规模达到2000+台服务器，3000+名操作用户；存储总容量规模12PB，数据实际总量达到9PB以上；日新增数据约30TB，日处理涉及数据达到4.3PB，是国内最大的制造企业数据集群。技术能力联想大数据具备全球部署超大规模集群的运维管理能力、PB级数据与复杂业务实践的丰富经验，能够为客户提供从底层平台到上层应用的端到端全面解决方案。人才规模联想大数据团队是业界领先的少数掌握大数据核心技术的研发团队，人数规模超过500+，涵盖从解决方案、产品研发、项目实施、售后运维全部商业环节，并拥有联想大数据专家、数据科学家、行业顾问50余人，其中，80%海外留学背景、博士占比70%，工信部专家、博士后导师为学术带头人。此外，联想大数据还有一支超过100人的专业服务团队，遍布全国一线城市的售后服务体系，独有的大数据培训认证服务也为企业大数据业务持续发展提供了保障。联想大数据平台已实现了对联想集团全球化管理、生产与运营体系的全方位支撑，同时大数据的长期实践又构筑了联想大数据商业化的基础，为联想赋能各行各业的大数据升级和转型奠定了坚实的基础。目前，联想大数据服务已经成功应用于冶金、汽车制造、医疗、烟草等诸多行业，受到了国内外顶级客户的信赖与认可。不仅如此，去年12月8日，联想还牵头成立了工业大数据产业应用联盟，推动工业大数据产业技术创新链的构建，为工业大数据技术在各个行业的深度融合与落地提供涵盖技术、平台、标准等多方面服务在内的能力支撑体系。（*联想牵头成立了工业大数据产业应用联盟）从数据规模到技术能力，再到人才储备量及行业应用案例，联想在大数据领域的实力，也受到了业界的褒奖，已连续两届蝉联“中国大数据企业50强”。（*联想连续两届蝉联“中国大数据企业50强”）随着“大数据智能管理与分析技术”国家地方联合工程研究中心的成立，联想也将利用上述优势，携手京东和北邮，以及更多行业伙伴，共同推动大数据和人工智能领域的研究，为联想及行业的发展赋能。

大数据技术体系为推动社会科学借鉴自然科学成果、形成基于数据驱动的社会科学研究新范式提供有力支撑。不同于自然科学，社会科学以人类社会现象为研究对象，其传统研究范式在认知准确性方面饱受争议。然而，大数据时代的到来为弥补这一缺陷提供了潜在的解决方案。随着全球新一轮科技革命与产业变革的加速演进，数据来源、数据处理以及数据分析等数据相关技术发展迅速，特别是以统计学习、机器学习、深度学习乃至更为广泛意义的人工智能为代表的数据分析手段，正在带来新的认知方式，为形成数据驱动的社会科学研究新范式提供有力支撑。大数据概念特征及内涵大数据（Big Data）最早出现于2010年2月英国《经济学人》杂志有关信息管理的一篇专题报道。2011年5月，麦肯锡环球研究院在一份题为“大数据：下一个创新、竞争和生产力前沿”的报告中，将大数据定义为“大小超出常规数据库工具获取、存储、管理和分析能力的数据集”。时下较流行的大数据定义是，需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔·舍恩伯格的《大数据时代》一书中，大数据技术被描述为：不再基于传统随机分析法，而采用所有数据进行分析的处理模式。海量性（Volume）、实时性（Velocity）、多样性（Variety）和有效性（Volatility）成为大数据的典型特征。这也是大数据定义中被广为接受的3V、4V或nV。此外，大数据技术还包括数据收集（生产）、数据存储、数据处理、数据分析及展示等各环节所需的专业知识和技能。这些多学科、跨学科交叉的知识技能集成在一起，共同构成大数据技术体系（或“数据科学”）。自大数据概念被首次提出后，这一技术已在精准营销、信息安全、智能制造、语义识别、文本分析等众多领域的应用中取得丰硕成果。然而，社会科学领域的大数据应用更多停留在概念和模式复制阶段。即便如此，学者们普遍认为，大数据的兴起为社会科学学科体系的重构和研究范式的改变带来新机遇。有效应对人类社会复杂适应性事实上，大数据及围绕大数据利用形成的大数据技术体系，为有效应对人类社会活动的复杂适应性特征提供了技术可行性，从而为推动社会科学借鉴自然科学成果、形成基于数据驱动的社会科学研究新范式提供有力支撑。其一，大数据技术有助于对社会科学现象进行系统性扫描。传统社会科学研究受限于资料收集、信息传递以及知识获取的技术性因素，往往不可能对社会现象的全貌进行系统性定位和描述。其二，大数据技术有助于对社会问题进行动态跟踪。社会科学问题往往具有实时性和演化性特征，传统研究方法难以对促使事物转化的诸多内外因素进行实时跟踪和反馈，在时间上滞后于事件的衍生和发展进程。其三，大数据技术有助于对事物发生发展的本质动因和多元影响因素进行系统解析。基于显著性变量设定的传统研究方法，在技术上无法对影响社会现象的全体要素进行资料收集和计算处理，被忽略要素的显著影响、显性突变或累积跃迁效应，可能导致研究结果的重大偏差。其四，大数据技术有助于趋近总体数据。传统研究方法往往通过主观判断或科学抽样对资料的代表性和误差因素进行控制，在此基础上构建量化描述、假设检验、参数估计等一系列方法体系。而大数据的总体逼近特征不仅是对数据资源的扩展，其理论基础和技术构架更为社会科学发展提供了结构性变革的可能性。扭转对于大数据的认知偏差当前的大数据理论和大数据技术与为社会科学复杂适应性提供解决方案的目标仍有较大距离，具体存在以下主要障碍。第一，大数据名称本身具有一定的误导性。强调数据之“大”是大数据技术的首要内涵。然而，由于存储和计算能力的大幅提升，数据收集已成为无明确目标的被动过程。这使得资料的价值密度呈指数化衰减，冗余数据的处理成本不断飙升，客观上形成重数量、轻质量的现实缺陷。第二，大数据的有偏性和非一致性。大数据技术针对特定目标被收集起来的“一手”资料，仍然存在“选择性偏差”。被动性收集的数据资料使得大数据技术仅能观测和收集行为发生者的信息。因此，无法保证数据的无偏性和一致性。第三，重技术开发轻问题解决的倾向。大数据技术始于资料的收集、存储、传输和计算，目前的应用也多在这些领域，更多集中于大数据技术开发，而非真正应用大数据解决实际问题。社会科学研究的本质是以问题为导向，应基于现实问题选择恰当的数据和方法，而非生搬硬套大数据解决方案。第四，重微观层面的精准定位，轻宏观层面的总量。大数据在商业营销领域的成果，使得人们更多地利用大数据对微观个体进行精准定位、状态识别和行为预测，而社会科学的核心仍是对社会现象的解析，必须打通微观基础与宏观现实之间的逻辑关联和传导机制。第五，过分强调关系发现，轻视因果分析。这也是制约大数据技术发挥有效作用的关键问题。这一技术极大提升了收集资料的维度和深度，使得人们可以真正从全局和动态演化的视角审视社会现象和社会问题。但它排斥传统研究基于因果关系建立的研究体系，试图越过事物的作用机理而寻求社会现象认知的解决方案。因此，如果大数据技术不能扭转偏差的认知模式，就很难在社会科学领域取得突破性进展。推动社会科学研究智能化总体而言，大数据时代的到来为社会科学发展提供了一个重要契机。社会科学研究有望突破传统社会调查方法以及数理模型、推论统计和计量建模等传统量化技术的限制。然而，社会科学发展不应该也不会完全局限于当前大数据概念的界定和技术限定。基于社会理论与社会现实问题，主动挖掘多元基础数据，搭建社会主体间的联系网络，充分利用人机结合的综合集成模式，溯源社会现象的本源和逻辑传导机制，从而对社会科学研究对象进行精准量化的结构解析和预测推演，使之成为社会科学未来发展的重要途径之一，即数据驱动的社会科学研究新范式。新范式为突破传统社会科学研究被动寻找经验证据的实证方法、建立搭载在数据资源基础上的主动量化提供新的途径。问题导向、数据出发、机制溯源、综合集成、量化计算将是数据驱动的社会科学研究范式的基础特征。未来，社会科学研究范式将面临重大变革，但并不会违背自身的学术本源；更多地应用大数据技术，但不会摒弃建立在定量统计方法上的经验研究基础；不断深入而精准地刻画微观个体的行为和状态，但不会忽略宏观总量特征和微观—宏观一体化的研究途径；主要采用数据计算和模拟实验的科学方法，但仍以人类智慧和专业经验为指导。在上述基础上，社会科学将从数据实证应用的研究范式逐步向数据驱动的研究范式转变。数据作为现代社会科学研究的基础性支撑，不论是多源非结构化大数据还是统计抽样数据，其核心都是解决与社会发展要求相匹配的现实问题。因此，未来有必要重点关注以下问题。首先，建立科学的数据资源评估体系。大数据收集模式的创新并不能完全消除数据样本的有偏或非一致。建立在大数定律和中心极限定理之上的科学抽样方法，未来仍有着无可替代的适用性。因此，当前的首要任务应以社会问题为导向，建立较为系统的数据资源（质量）评价理论和评价方法，针对全域、多元、实时的非结构数据提出有效性判定标准，同时关注数据科学的伦理问题研究。其次，解决大数据级别的总量累积问题。将微观非结构数据科学系统地提炼汇总为不同层级的总量信息，是基于微观大数据解构宏观社会现象的基础。数据信息的有效提炼在某种程度上也决定着大数据技术能否真正融入社会科学的研究体系。再次，在数据分析基础上提出解决方案。未来社会科学的发展应以多源数据为基础，通过智能计算和专家智慧的结合，对社会现象进行量化解析，对社会问题提出科学治理体系和模式，最终建立社会科学“类工程化处置”的研究机制和范式。最后，注重逻辑因果机制和机理的发现。大数据研究不能片面地关注相关性，更应注重对社会现象的本质动因进行发掘，科学回答“是什么”“为什么”的基本命题。因此，有必要利用多元化实时数据的关联性优势，准确厘清社会现象的因果机制，挖掘社会问题的逻辑机理，形成真正科学有效的治理方法和途径，进而形成智能化的社会科学研究工具和平台。（本文系国家社科基金重点项目“数字经济对中国经济发展的影响研究”（18AZD006）、“综合集成模拟实验平台的设计与构建研究”（18AJL006）阶段性成果）（作者单位：中国社会科学院数量经济与技术经济研究所）来源： 作者：蔡跃洲 万相昱欢迎关注中国社会科学网微信公众号 cssn_cn，获取更多学术资讯。

近年来，随着大数据应用的爆发性增长，大数据衍生出独特架构，并推动存储、网络及计算机技术的发展，同时也引发了新的安全问题。国际社会已经将大数据安全列入国家信息网络安全战略，国内学术界、信息安全界、产业界也正逐步关注大数据的发展。一、大数据相关概念1.1 研究背景及意义大数据是继云计算、物联网之后信息产业当前科技创新、产业政策及国家安全领域的又次知识新增长点。在大数据的背景下信息安全面临着很多的挑战，特别是现阶段已有的信息安全手段已经不能满足大数据时代的信息安全的实际要求，因此研究大数据时代所面临的信息安全问题具有重要意义大数据的研究与应用也引起了各国政府部门的重视，成为重要的战略布局方向。纵观国际形势，各国陆续出台大数据相关的政策及战略方案。2012年，美国奥巴马政府宣布将投资2亿美元用于启动“大数据研发倡议( Big Data Research and Development Initiative)，旨在从海量繁杂的数据中萃取有用的信息。大数据下信息安全的事件所涉及的内容日益增多，受到的危险越来越严重的。信息安全问题需要经过多方面、多部门共同努力进行解决。1.2 大数据概念所谓大数据，即海量数据，具有信息量大、信息主体多元、更新速度快和价值密度低等特点，通常是指大量非结构化或半结构化的数据集。其实早在几年前，数据的海量增长就引起了人们的关注，海量数据的发生、使用、储存伴随着云计算的发展等都成为了现实，“大数据”已经走入了我们的生活。最早将大数据用于IT环境的是知名咨询公司麦肯锡，麦肯锡在研究报告中指出：如果云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。从信息安全角看，大数据是指规模和格式前所未有而又相互关联的大量数据，搜集自企业的各个部分，技术人员可以对它们进行高速分析。就像电影《黑客帝国》中的感知机器人或者《终结者》电影中的天网一样，现在的大数据环境由大规模并行处理数据库产品(不过所幸的是，它们没有自我感知能力)组成，这些产品通过处理PB级(1015)到ZB级(1021)看似不同的数据来创建趋势和数据映射。通过建立这种宏观层面的信息，大数据可以让企业了解到他们的产品是如何以前所未有的经济理解水平在运行。也就是说，通过以新方式来结合和分析海量数据，我们可以实现新的业务洞察力.1.3 大数据特征大数据的4V+1C特征:1).Volume，数据量大，据国际知名数据公司IDC提供的数据，全球数据量大约每两年翻番，人类近两年产生的数据量相当于之前产生的全部。2).Variety，数据类型多，数据可分为结构化数据，半结构化数据和非结构化数据，相较便于存储的文本为主的结构化数据，日志，音频，视频，图片等非结构化数据，对数据处理能力提出了更高要求。3).Value，价值密度低，价值密度的高低与数据数量成反比。例如在连续的一小时监控过程中，可能有用的数据只有一秒。如何通过强大的计算机算法更迅速的完成对有用数据的提取,是大数据背景下亟待解决的问题。4)Velocuty，处理速度快，这是大数据相较于传统数据挖倔最显著的特征，IDC的“数字宇宙”报告预计到2020年，全球以电子形式存储的数据数量将达到35.2ZB，在如此海量的数处理效率将成为衡量技术水平的关键。5)Complexity，复杂性加大，更提升了处理分析大数据的难度。二、大数据安全问题2.1 大数据时代面临的挑战当前互联网改变着世界，信息渗透到社会生活的各个角落，与各个领域密切结合。同时也给国家信息安全和个人信息安全带来了严峻的挑战。随着数据量的增大和数据的集中，对海量数据进行安全防护变得愈加困难，网络空间中大数据大信息的泄露风险来源涵盖范围非常广，数据的大量汇集、数据的集中存储不可避免的增加了用户数据泄露风险。这些数据成为维护公共安全的重要工作。另外，对敏感数据的所有权和使用权没有明确的界定，大数据的分析对涉及的个体隐私问题很多都未考虑。再有，对国外大数据分析技术与平台的过分依赖，使得别国通过获取的情报而摸清国家经济和社会脉搏，威胁到了国家安全，加大了信息泄露的风险。大数据安全面临的种种威胁如下：(一)从基础技术角度看，大数据依托的基础技术—NoSQL(非关系型数据库)与当前广泛应用的SQL(关系型数据库)技术不同，没有经过长期改进和完善，在维护数据安全方面也未设置严格的访问控制和隐私管理。NoSQL技术还因大数据中数据来源和承载方式的多样性使得企业将很难定位和保护其中的机密信息。这是NoSQL内在安全机制的不完善，即缺乏保密性和完善性特质。另一方面， NoSQL对来自不同系统，不同应用程序及不同活动的数据进行关联，也加大了隐私泄露的风险。此外， NoSQL允许不断对数据记录添加属性，这也对数据库管理员的安全性预见能力提出了更高的要求。数据的大量汇集，无形中增加了黑客的“收益率”降低了进攻成本，使得一次成功的攻击能获取更多的有价值的数据。从近年互联网公司发生的某些用户信息泄露案不难发现，被泄露的数据量都非常的庞大。(二)大数据时代，智能终端的数据安全问题显得越发关键。中国已经成为全球最大智能终端市场。随身携带的终端在占用人们大部分时间的同时，也存储了大量的个人信息。人们对于“大数据并不安全”的担忧也不无道理。因此智能终端数据的安全就提上了议事日程。智能家居的产品化，假如人们所使用的智能终端如手机可以控制家里的所有智能终端，一旦被病毒侵犯，那么全家的智能终端都成为了被攻击的目标，那后果就不堪设想。(三)与任何虚拟化技术一样，数据虚拟化是允许用户访问、管理和优化异构基础架构的良方。数据被人们视为财富的同时，大数据就成为了宝藏，数据虚拟化技术就是挖掘数据和利用宝藏的最好武器。最有代表性的应用就是数据的虚拟化存储技术。于用户而言，虚拟化的存储资源就像是一个巨大的磁石，用户不用关心具体的存储设备，也不必考虑数据经过的路径在应用虚拟化存储时，面对异构存储设备的特点，如何统一监管、虚拟化后不同密级信息混合存储的位置，造成的越权访问、数据泄密等成为大的难题。三、大数据安全的对策3.1 大数据信息安全对策随着在线交易、在线对话、在线互动，在线数据越来越多，黑客们的犯罪动机也比以往任时候都来得强烈。如今的黑客们组织性更强，更加专业，作案工具也是更加强大，作案手段更是层出不穷。相比于以往一次性数据泄露或者黑客攻击事件的小打小闹，现在数据一旦泄露，对整个企业可以说是一着不慎满盘皆输，不仅会导致声誉受损、造成巨大的经济损失，严重的还要承担法律责任，所以在大数据时代，网络的恢复能力以及防范策略可以说是至关重要的。针对不同类型的大数据采取不同的决策，方法如下：1)结构化数据大数据时代下数据非常复杂，数据量惊人，对于许多企业而言，保证这些信息数据的安全有效利用是非常严肃的问题。数据结构化对于数据的安全及开发有着及其重要的作用。结构化的数据便于加密管理和处理分类，能高效的分辨非法入侵的数据，从而保证数据的安全未来社会，数据标准化、结构化是大趋势.2)安全加固网络层端点的数据通常分层构建是常规的数据安全模式。端点安全方式对于网络层的安全防护并不完美。数据时代的信息爆炸，非法入侵服务端的次数急剧增长;云计算的大趋势，导致现在的网络数据威胁方式和方法难以预测辨识，给目前的端点数据安全模式造成了巨大压力。今后网络层安全应当作为重点发展。加强网络层数据辨识结构化、智能化基础上加强与本地系统监控协调，杜绝非常态数据的运行，形成网络层构筑属于大数据时代的全面安全堡垒，避免自身的缺陷。3) 对本地数据加强安全策略大数据时代数据的财富化导致大量的信息泄露，泄露事件中内部的威勒更大。在本地策略的构建上需要加入内部管理的监控，用纯数据的模式来避免人为原因造成的数据流失和信息泄露。在今后的数据安全监管手段中，逐渐分化管理者的角色权重，用数据本身的自我监控和智能管理来代替一大部分人为的操作，在本地安全策略的构建过程中还要注重与各个环节的协调，依托于网络这种数据处理方式，在数据的处理过程中往往出现大量的数据调用，调用过程中容易出现大的安全威胁。必须降本地和网络的链接，从根本上做到杜绝数据的安全威胁，就必须完善缓存机制和储存规则，保证数据源的纯洁。4)建立异构数据中心安全系统传统数据存储都建立了全面完善的防护措施，但基于云计算架构的大数据，需要进一步完善数据存储隔离与调用间的数据逻辑关系设定，当前，用虚拟化海量存储技术来存储数据资源是大数据的安全存储方式，以服务的形式提供数据的存储和操作。在云共享环境中云计算的大数据存储，可以通过建立一个基于异构数据为中心的安全系统，使大数据的所有者可以对大数据进行控制，从系统管理上保证大数据的安全。当企业转变为数据驱动的机器时，其潜力是巨大的：企业所拥有的数据可能成为获得竞争优势的关键。因此，企业的数据和基础设施的安全也变得比以往任何时候都重要。在许多情况下，企业或组织都可能得到 Forrester所说的“有毒的数据”。四、总结大数据时代的到来，信息成为了国家和社会发展的重要战略资源，带来了更多的安全风险，直接影响国家安全和社会稳定，同时也带来了新机遇。对于海量数据的分析提供了新的可能性，网络的异常行为有助于信息安全服务提供商更好地找出数据中的风险点。与此同时，大数据时代也对信息安全行业的发展有着积极的促进作用，大数据分析与安全软件相结合后信息安全问题将变的容易、快捷，大数据给信息安全带来了机遇和挑战，信息安全战略的制定需重视大数据的开发利用，多方位、多层次、多维度地维护国家信息安全。继实验科学、理论科学、计算机科学之后，以大数据为代表的数据密集型科学或将成为新一次技术变革的基石，成为人类科学研究的第四大范式。面对挑战与机遇并存的大数据安全问题，在规划大数据发展的同时，要明确信息安全在大数据发展中的重要地位，加强对大数据安全形势的宣传力度，明确大数据的重点保障对象，加大对敏感，要害数据的监管，加快面向大数据的信息安全技术的研究，培养大数据安全的专业人才，建立并完善大数据信息安全体系。

随着整个社会信息化进程的持续发展，越来越多的智能终端被人们使用，与之而来产生的数据量愈发庞大，促进了大数据时代的到来。大数据对整个国家、社会的各个行业具有巨大的推动作用，但是也带来了严峻的问题——用户个人隐私泄露问题，而个人的隐私安全涉及到国家的社会安全、政治安全和军事安全等。因此，针对大数据隐私保护问题，分析大数据环境下的安全风险，结合可搜索加密、全同态加密、安全多方计算等技术，对大数据环境下的密码领域进行总结分析和应用前景探讨。关键词：大数据；可搜索加密；全同态加密；安全多方计算01引 言根据麦肯锡全球研究所给出的定义，大数据是“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等特征”。随着云计算、物联网、5G及人工智能等新技术的迅速发展，人们可以通过海量的终端、感知元件等获得大量的信息化数据。利用这些数据对其进行分析，可以更加便捷地服务社会。在2019年全球数据量已超过41ZB的情况下，如何实现这些数据以达到人与物之间的互联互通，是各国业界目前都在讨论研究的课题。发达国家方面，美国在2019年发布了《联邦数据战略第一年度行动计划（Federal Data Strategy Year-1 Action Plan）》草案。该草案包含了美国如何利用大数据来制定未来发展战略，提高整个社会效率。此外，英国政府正在研究如何利用交通行业的大数据来判定英国经济情况和制定经济政策。我国在大数据领域的技术进展也不遑多让。2019年5月，我国成立了国家电网大数据中心；2019年，三大电信运营商也完成了全集团大数据平台的建设。02大数据环境下的安全风险大数据在全球各行业都已取得了重大进展，但同时带来了很多问题，其中最大的问题是大数据的安全问题。2019年爆出的Collection#1数据集事件泄露了超过27亿个电子邮件/密码对；2019年9月6日，杭州魔蝎数据科技有限公司因用户隐私泄露被警方控制。国内外用户隐私泄露事件频发，表明大数据的安全必须被重视。大数据技术具有5V特征，即Volume（体量大）、Variety（种类多）、Velocity（速度快）、Velocity（准度高）和Value（价值大），如图1所示。其中，体量大是指大数据技术中包含的数据规模巨大；种类多是指大数据技术来源的数据集多种多样；速度快是指大数据技术需要对数据进行快速处理；准度高是指大数据技术处理后的结果需要具有较高的准确性；价值大是指大数据技术可以带来很大的战略价值。图1　大数据的5V特征大数据环境下数据的安全概念来自于传统的信息安全的数据安全。传统的信息安全的目的是保障数据的机密性、完整性、可用性及不可否认性等。大数据环境下要保障数据在整个生命周期中的安全，即从数据产生阶段到数据销毁阶段都需要保障数据自身的安全和用户的隐私不被泄露，而使用密码技术是一种通用的手段。同时，密码技术也应满足大数据具有的5V特征，并且不影响大数据的处理速度。大数据环境下，数据拥有者即用户希望将数据加密后上传至服务器，使数据处理方在不解密的情况下对密文数据进行处理。如此可以使得用户的隐私不会泄露，同时数据处理方也可以获得数据处理后的结果。当用户需要原始数据时，可以将密文数据从服务器处下载至本地进行解密操作得到原始数据。但是，这样会导致每一次用户上传下载都将消耗很多的网络带宽，同时加解密操作也需要大量的计算资源。为了解决上述问题，可搜索加密、全同态加密和安全多方计算等技术随之产生。03可搜索加密技术数据拥有者将数据密文数据存储在云端，可以对个人的隐私进行良好的保护。但是，如果需要访问搜索自己保存在云端的数据，需要先将密文数据下载至本地再解密，会带来很大的通信和计算开销。如何使得数据拥有者在保障隐私的同时访问搜索自己的数据即密文索引，成为近年来的研究热点。可搜索加密技术（Searchable Encryption，SE）可以满足数据拥有者既可以确保个人隐私不被泄露又可以通过索引搜索到存储在云端的数据。可搜索加密技术可以达到只有合法用户才具备基于关键词检索的能力，提供了加密和检索两种服务。加密保证了数据拥有者信息的机密性，在数据传输过程和云端都不会被泄露；检索保证了数据拥有者自身的隐私，同时提供了查询检索功能。可搜索加密大体上可以分为两类：对称可搜索加密（Symmetric Searchable Encryption，SSE）和公钥可搜索加密（Public Key Encryption with Keyword Search，PEKS）。其中，对称可搜索加密主要是以基于索引的思想构建的，公钥可搜索加密的典型构造一般都是基于身份的公钥密码（Identity-Based Cryptography，IBE）。可搜索加密有多种模式，下面介绍一种可满足大数据特征的模式，即授权委托模式。数据拥有者将原始密文和陷门发送至数据中心，数据中心收到密文后进行重加密（Re-crypt）步骤生成新的密文，原始密文只允许授权过的数据管理者查询关键词。如果其他的数据使用者想获得需要的明文，则必须通过数据管理者发送重加密密钥才能对新的密文进行解密，如图2所示。图2　满足大数据特征的可搜索加密模式04安全多方计算技术安全多方计算（Secure Multiparty Computation，SMC）是指有若干位互不信任、相互独立的数据参与方在分布式环境下通过共同计算得到对于每位数据参与方都公开的计算结果，但是无法获取其他数据参与方的输入数据。安全多方计算基于姚期智院士在1982年提出的百万富翁问题。百万富翁问题的描述为“两个百万富翁的目的是比较双方的财富总量，但是并不想知道对方的财富具体数量，如何解决这一问题”。具体来说，就是为了让独立数据拥有者可以在不信任对方以及第三方的情况下进行隐私协同计算。安全多方计算中，假设有n位计算参与者，这些计算参与者的数据为。通过计算这些计算参与者共同得到一组数据，任何一位计算参与者都可以得，但是对于整个计算过程他们只能得到这一种结果。正是基于百万富翁问题的假设，安全多方计算可以满足大数据环境下用户数据交由数据处理方进行操作，数据操作方只能得到处理后的结果而不能获得用户的具体数据，从而保护用户的隐私。通常安全多方计算系统中，每个数据持有者由数据反馈、数据库和安全多方计算节点构成。所有的数据持有者权限相同，可以同时执行计算任务。各个数据持有者之间的数据流通称为数据流，而每个数据持有者在本地完成数据的处理并将处理后的结果发送给数据节点。这种系统可以保证在大数据环境下用户的隐私，如图3所示。图3　安全多方计算系统05全同态加密技术大数据通常与云计算技术结合使用，将大数据置于云存储服务器上，提供云服务的提供者为数据拥有者服务。但是，随之产生了一个问题，即数据拥有者需要信任云服务提供者，否则将会泄露数据拥有者的隐私。如何解决这一问题，是大数据与云计算技术协同合作的难题。为解决这一问题，人们先将数据加密为密文，再将密文存储在云端进行处理，云服务提供者在不掌握数据持有者明文数据的情况下为数据拥有者提供计算等服务，这就是全同态加密的概念。全同态加密最早是1978年Rivest等人提出的概念，即寻找一种密码技术可以对两个密文进行加和乘的操作，再对操作后的密文进行解密，所得的结果就是原始明文进行同样操作的结果。其后专家学者们为了寻找到满足这一特性的技术而不断努力，直到2009年，Gentry[9]在其博士论文提出了一种基于可以实现的全同态加密技术，被称为密码学界的“圣杯”。如果存在一个适合大数据的全同态加密系统，那么数据拥有者可以将数据加密为密文，再将密文在云端进行处理。云端无法查看数据拥有者的具体数据，只可以对其进行处理，从而实现数据拥有者对自己隐私的有效保护。06大数据环境下密码技术展望针对大数据环境下的密码技术，目前业内专家学者们已经对可搜索加密、安全多方计算和全同态加密技术进行了广泛及深入研究，并在电子投票、智能电网及区块链等不同领域取得了一定进展，但是仍然存在效率问题。当前认为解决效率问题的核心是优化算法性能，对于特定场景的算法优化可以使其在相应的应用领域提高效率。大数据环境下在满足大数据5V特征的前提下进行算法优化，对于整个大数据的应用研究至关重要。另外，除了对算法本身研究优化外，还应该结合先进的分布式计算技术和密码芯片技术。其中，分布式计算可以整合共享算力资源，具有很高的计算负载均衡，并提高容错和可靠性，也可以提高算法的效率；密码芯片技术可以减低算法功耗，提高性能，并获得更高的安全性。国家标准有助于规范行业的发展，提高行业竞争力。因此，大数据环境下应完善国家相关标准，保证数据本身的安全和数据拥有者的隐私安全，推动我国大数据行业健康发展。07结　语大数据环境下的数据安全是目前大数据技术面临的重要问题，解决此问题的手段之一就是应用密码技术。大数据技术在实际应用场景下通常与云计算技术结合使用，即大数据在云端进行处理，但是云端对于数据拥有者而言是不可信的，最好的解决方法是通过密码技术将密文数据发给云服务提供者。本文对可搜索加密、安全多方计算和全同态加密技术进行介绍与分析，可以解决大数据安全中的用户隐私问题。但是，由于上述3种密码技术都需要对密文进行操作，面临大数据环境下数据规模巨大、操作流程复杂的情况，性能会急剧下降。因此，下一步的工作重点是优化技术，使其满足大数据的特征。作者简介 >>>黄益盛(1977—)硕士 工程师 主要研究方向为信息安全与通信保密；刘　贺(1986—)学士 工程师 主要研究方向为保密通信系统；杨　竞(1986—)博士 工程师 主要研究方向为网络空间安全、密码学；王小骥(1979—)学士 高级工程师 主要研究方向为保密通信系统；刘星江(1984—)硕士 高级工程师 主要研究方向为通信保密。选自《通信技术》2020年第八期（为便于排版，已省去原文参考文献）—END—因平台规则更改，大家有时会与推送擦肩而过。

中新社北京9月26日电 (记者 马海燕)清华大学26日成立大数据研究中心。清华大学软件学院教授、中国工程院院士孙家广出任大数据研究中心首任主任，美国国家科学院、工程院、艺术与科学院院士迈克尔·欧文·乔丹任该中心首届学术委员会主任。教育部副部长杜占元、国家自然科学基金委员会副主任高瑞平、清华大学校长邱勇、孙家广、迈克尔·欧文·乔丹和清华大学科研院院长方红卫共同为研究中心揭牌。邱勇分别向孙家广和迈克尔·欧文·乔丹颁发了大数据研究中心主任和学术委员会主任聘书。邱勇表示，这是清华大学聚焦科技前沿发展、建设世界一流大学的重要举措，也是该校科研体制机制改革进程中的又一里程碑事件。大数据研究中心将面向全球数字经济转型和国家安全保障等战略需求，整合全校科研力量，发挥清华大学多学科优势，促进大数据科学、技术与应用深度交叉与融合发展，建成国际数据科学与大数据技术创新研究平台。据介绍，该中心将以大数据应用为牵引，围绕大数据基础理论、核心技术与系统、关键领域应用三个层面开展科学研究与技术转化；突破制度藩篱，创新合作协同机制，深度实施跨学科、跨领域的交叉融合；打造顶尖的大数据团队，突破一批关键理论和技术，培养一批领军科学家。据悉，该中心汇聚清华软件学院、计算机系、经济管理学院、化工系、电子系、电机系、环境系、汽车系、北京信息科学与技术国家研究中心等优势团队，依托大数据系统软件国家工程实验室等科研平台，努力成为全国乃至国际大数据技术创新的引领者。(完)

来源：【中国网】中国网北京4月28日讯 无锡教育解放思想，坚持改革，促进信息技术与学校教学的深度融合，科学推进新时代的课程改革实验。4月23日，无锡市教育科学研究院举办《大数据技术支持下的学校课程与教学变革研究》中期汇报暨研究成果交流活动。课题主持人陈江辉院长作课题中期报告，课题组在研究与实践中初步提炼出了大数据技术支持教学的“五大应用模式”“七类分析模型”以及“精准教学课堂流程图”，课题组在省级以上教育期刊上发表了相关专题学术论文133篇。课题实验学校代表南长实验中学报告大数据背景下的校本教研变革之路，展示了数据驱动教学的新思维和新形态；河埒中学介绍以课题研究为载体探索“WISE课堂”的实践思路，新时代的智慧教育不是利用大数据将学生变成课程流水线上的机器，而应该是Warm(温度）的、Interesting(有趣）的、Spirit(活力）的、是鼓励Exploring(探索）的美好教育。这项省教育科学规划课题的中期汇报暨成果交流活动，江南大学人文学院和教育技术学院及其著名学者组成了检查论证专家组，与课题核心组进行了质疑答辩互动活动。专家组高度称赞市教科院在课程改革中的教育担当，充分肯定课题组依据教育部《课程标准》和现行教材，建立可视化知识学习图谱，挖掘、分析和利用教育大数据，指导课题实验学校建构教学资源和平台，开展精准教学实践研究，提高教学质量，取得了有效的成果。在疫情期间，市教科院基于大数据课题的先进理念，与教育信息管理服务中心合作，根据学生的学习水平和生命成长需要，积极利用“锡慧在线”平台，开发了近3000个网上课程教学课例，基本上实现了全覆盖、全学段的“停课不停学”教育目标，获得了省、市教育主管部门和中小学生及其家长的一致好评。