大数据教研平台

本文转自【大众网】；9月10日，2020腾讯全球数字生态大会智能教育专场在云端以线上方式对外呈现，本次专场以“智能教育，智绘未来”为主题，聚焦数字化和新基建发展给教育行业带来的冲击和变革，并共同探讨前沿技术在教育产业中的应用。在会上，腾讯智能平台副总裁李学朝以“AI助力构建教育新生态”为主题做了 分享，重点展示了教育大数据智能平台的教育AI能力，以教育应用平台为载体，助力数据场景化，提供多角色、多维度的数据解读。大数据助力教育智慧化升级 让教学管理更高效在经历过长达半年时间的线上教育后，在线教育推动了K12教育的信息化进程，教育体系迎来了一次飞跃式的发展。据介绍，截止至2020年3月，在线教育用户数增加了1.91亿，增幅达到了82%，近乎翻倍。虽然在线教育在上半年十分火热，然而在这背后也暴露出不少当前教育平台的问题。比如，大量用户“一窝蜂”地涌入线上教育平台后，加大了平台管理的难度，平台曾因为没有做好应对大规模的线上分散式教学和管理的准备，而造成了在线平台及应用的卡顿、崩溃等。这些问题带来了线上平台建设中的一些核心的需求。在教学管理中，教学管理者需要一个稳定且可控的平台以及一个对管理有指导帮助作用的数据分析情况，才能让其一目了然地看到教学管评结果。而对教学管理有帮助的数据是需要被挖掘出来的非结构化、隐性的数据，比如教育舆情数据、教学数据，学生学习行为数据等多样化的、隐性教育数据，才能够真正助力教育精细化。当前，腾讯利用长期积累的教育行业全AI能力，搭建教育智能大数据平台，通过一系列的数据处理和分析服务，向区域管理者、校长、教师、学生和家长提供多维度且精细化的教育辅助信息决策方案。该方案目前已落地上海浦东，助力浦东打造智能教育数据平台，实现了教育数据场景化。AI能力服务学科教学与考试 构建教育新生态教育要信息化、现代化的发展不止是要运用AI能力进行数据分析，还需要借助AI能力协助学科教学与考试的智慧化升级。腾讯智能平台产品副总裁李学朝表示，腾讯希望将他们的智慧及AI能力运用到中小学学科教育中，将通用AI能力转化为教育AI能力，助力提升自学、考试、管理等各方面的效率。腾讯利用数据和AI能力，打造了腾讯教育应用平台作为在线教辅工具，比如基于语音识别（ASR）、自然语言处理（NLP）、语音合成（TTS）、文本识别（OCR）等通用AI能力，为教育提供口语评测、作文批阅等教学服务，积极协助老师的课堂教学。在教学上，平台通过线下结构化的数据向老师智能推荐符合年级学科的教辅资源，并协助老师对课堂作业进行智能批改，将老师从繁杂的教务工作中释放出来，以更好地将精力放在优化课堂内容上。其次，在课后，平台还能利用数据分析协助老师明悉学情，让老师能够准确获知学生学习情况，以此对学生进行个性化教学。AI能力不只是在学科教学上起到重要的作用，还能够为学科考试提供服务。腾讯英语君通过AI能力打造了一套能够覆盖教、学、考、评、管五个方面的中高考听说软硬一体的口语评测引擎。这套引擎为听说考试制定了标准化流程，通过引擎自动评分，帮助老师减负增效，促进考试公平。在2019年底，这套口语评测引擎落地上海，上海市松江区38所学校使用了腾讯英语君听说考试平台进行听说考试，极大地提高了考试实施的工作效率、评分效率和客观性。随着5G技术、大数据、人工智能等技术的发展，且在今年中央提出的新基建背景下，各行各业都掀起加速数字化转型升级的浪潮。可以看到，在这股浪潮之下，教育也在加快数字化转型的步伐。教育的本质还是在于人本身，其数字化转型升级是为了借助科学技术，更好地提升教育内容与教育水平，更好地为师生服务。未来，在教学管理、学科教学以及学科考试等方面，AI教育能力将助推教育信息化、智能化进程，让教育迎来新的发展图景，构建一个全新的教育数字生态。

云端实验平台方便教师将部署好的实验环境和实验文档开放给学生，打造即学即练的强交互式实验教学训练平台。通过云端实验，可以将传统在实验室教学的实验课程上到云端，打造云端实验中心。学生可以随时随地登录云端实验平台，在学习理论知识的同时，一键即进入对应的实验环境。云端实验平台的主要特点有：支持教师自主制作实验文档和实验环境。实验文档中可以嵌入图片、视频、音频、PDF、WORD 和 EXEC。实验环境支持 Window 和 Linux；实验文档和实验环境在同一个浏览器中呈现，也可以将实验环境中的每个实验主机以独立于浏览器的应用程序窗口的方式呈现。允许授权学生登录使用实验平台，也支持学生自主注册使用，支持实验计时、实验延时、实验共享等，实验结束自动回收资源。支持基于 VMware 和 KVM 虚拟化平台构建实验主机，可以使用已配置好的现有虚拟机作为实验主机，也可以基于模板动态创建实验主机。支持 GPU 切割或透传，适合将图形密集型以及深度学习方面的课程上到云端；支持 USB 等外部设备，适合将电工电子方面的实验课程上到云端；支持多个主机和不同系统，适合将网络仿真和大数据类课程上的云。适合上的云端实验平台的课程包括，且不限于：深度学习类编程语言类电工电子类大数据类计算机编程类计算机网络类云端实验室的兼容性 支持虚拟化平台：VMware、Citrix、KVM支持连接协议：VNC、RDP、SPICE、SSH支持操作系统：Linux、Windows支持硬件设备：GPU、USB 云端实验适合的场景 随时随地访问的实验硬件资源共享的实验软件费用昂贵的实验环境配置复杂的实验不同校区访问的实验云端实验的优势实验平台中同时包括实验文档和实验环境打造即学即练的实验体验，实验文档和实验环境分别呈现在同一个浏览器网页的左右两边。实验文档部分可以包括HTML 文档、图片、视频、音频、PDF 文档、WORD 文档、EXCEL 文档。实验环境为后台的一个或多个（虚拟或物理）主机，通过不同协议进行连接。如果客户端主机上连接两个显示器，可以以窗口形式连接实验环境。将实验文档和实验环境分屏呈现在两个显示器学生可以在阅读实验文档的同时，在实验环境中进行。教师可自主制作实验文档并部署实验环境打造贴近本校真正需要的课程 贴近本校真正需要的课程。实验文档可以放在实验平台内，亦支持通过 URL 链接的方式使用现有的实验资源。实验环境基于模板、虚拟机或容器，可基于基础映像或现有映像修改。无论实验文档，还是实验环境的制作，都非常简单，老师可自主完成。支持 GPU， 适合将图形密集型以及深度学习方面的课程上到云端 ，VDI vGPU 架构适用于传统图形渲染应用，GPU 并行集群架构适用于深度学习应用。两种架构可以统一。在安装有 NVIDIA GPU 的虚拟化服务器上将 GPU 切割为 vGPU，分别分配给 Windows 虚拟机和 Linux 虚拟机。在此基础上，Windows 虚拟机可以部署 VDI vGPU 应用；而 Linux 虚拟机可以构建 GPU 并行集群 环境。支持开发板等外设 适合将电工电子方面的实验课程上到云端，云端实验平台支持开发板等 USB 外设重定向到云端实验环境。学生携带开发板设备，用自己的笔记本电脑或教室的 PC 机，通过浏览器即可随时随地连接到云端实验平台进行开发板调试，无需在本地安装 Vivado、Proteus 等专业软件。支持多个主机不同系统，适合将网络仿真仿真和大数据类课程上的云端实验环境支持多个主机，每个主机可以为 Windows 或 Linux，适合比较复杂的实验，例如网络仿真实验，或者分布式大数据实验。使用云端实验打造人工智能实验平台包括以下层次：硬件资源层：包括 DELL 服务器和 NVidia 显卡，都具有虚拟化能力；虚拟化平台层：采用 VMware ESXi 6.5 版本，支持 vGPU 切割与分配；管理引擎层：包括 VMware 虚拟机的管理以及深度学习实验课程的管理；虚拟资源层：包括用于部署各种实验课程的 Windows 和 Linux 虚拟机； 人工智能实验平台中包括的示范类实验包括体验类实验以及编程类实验。体验类课程包括：手写数字识别、人机围棋对战、车牌识别、机器人作诗词等。编程类实验预装有 AnacondaTensorflow、Jupyter 等软件，老师也可以根据自己的需要安装实验环境。

利用人工智能技术建设临床科研大数据平台。采用了Openstack作为数据平台私有云的解决方案，应用层使用Docker容器化的方案，数据库使用了开源数据库软件PostgreSQL，平台的应用主要由科研数据中心、临床大数据治理平台、智能科研检索、临床科研采集系统、全院级科研随访系统五部分组成。通过该平台临床研究人员获取数据将更便捷、科研管理更高效、探索新的研究方向更容易。基于临床科研大数据平台，能为医院各专科提供有效的科研服务，实现科研、论文和核心技术等方面的突破提升。随着医疗体制改革的深入，科研水平成为衡量医院发展水平的重要因素。科研大数据平台作为医院科研、教学工作的一个重要组成部分，在提高临床科研水平和培养医学研究人才方面发挥着十分重要的作用。如何为临床科研人员搭建平台，以有限的资源发挥最大效应，实现资源共享，最大限度地发挥科研支撑平台的作用，是目前大型综合性医院亟需解决的课题。研究背景 2017年国务院发布的《新一代人工智能发展规划》中提出要大力推广应用人工智能治疗新模式新手段，建立快速精准的智能医疗体系。随着大数据和人工智能的运用，国内外涌现了一大批借助医学信息学和机器学习技术进行临床研究数据分析挖掘，取得了丰硕成果。通过对医疗电子化数据的建模、分析、挖掘，并且基于数据二次利用所形成的进一步应用，已经成为医疗信息化、精准化、智能化的下一个核心发展方向。我国健康大数据和医疗人工智能行业尚处于起步阶段，基础薄弱。目前国内最有代表性的医疗人工智能产品，在于基于医疗影像的人工智能自动筛查和诊断系统，对胸片、皮肤照片、脑部影像等医学影像进行自动分析，并生成相应的影像诊断报告。但在其他人工智能的技术领域，例如自然语言处理、语音识别，以及通用的机器学习方法，目前在中国形成可落地的产品尚不多见 。基于临床科研大数据平台的架构与应用目前大部分医院已经建立了较为全面的医疗信息化支撑体系，无论是电子处方、医嘱套餐，还是临床路径、电子病历，在提高临床效率服务上下足了功夫，但由于临床数据分散在多个应用系统中（如EMR、LIS、PACS等），且都是非结构化的海量数据。本文通过人工智能技术的应用进行探讨，为有兴趣致力于研究大数据的临床科研工作者提供一点思路。技术架构研究采用了Openstack作为数据平台私有云的解决方案。通过使用Openstack搭建私有云平台，既可以获得类似阿里云等公有云的灵活、弹性、扩展性等云计算的优势，又可以降低安全风险。在应用层使用Docker容器化的方案。通过使用Docker容器化部署，每个服务运行在了一个独立的环境之中，互不干扰，也不会影响宿主机的环境，解决了长久以来生产环境与开发测试环境不一致导致的各种问题。同时，通过Docker提供的集群化以及资源分配功能，提供了更高的可用性，并提供了不停机升级的特性。数据库使用了开源数据库软件PostgreSQL。PostgreSQL作为当前最先进的开源关系型数据库管理系统，体现了极高的性能与稳定性，支持python、perl、c、R、Java、Javascript、PL/PgSQL等多种语言编写存储语言及扩展，支持多种特殊索引结构、支持自定义的数据结构、支持机器学习库以及GPU并行计算等。基于临床科研大数据平台的应用基于临床科研大数据平台的应用主要由以下几部分构成：科研数据中心、临床大数据治理平台、智能科研检索、临床科研采集系统、全院级科研随访系统等应用（表1）。在此治理和科研采集的基础之上，未来可支持科研统计分析及临床辅助决策。在人工智能支撑下，通过临床辅助决策应用到电子病历等业务系统中，将治疗评价、风险预测贯穿在诊疗流程，基于医院原有临床数据进行实时决策支持，最终实现临床采集-科研分析-指导临床的闭环。表1 临床科研大数据平台应用全院级专病科研数据中心通过将原有院内临床数据中心CDR，未充分结构化的病历、报告等文本数据，经过人工智能技术处理形成高质量、多维度的结构化数据，以满足科研检索、临床数据收集、统计分析的需要。结合科研采集、随访管理等系统采集的数据，进一步丰富“以患者为中心”的科研数据库。临床大数据治理平台基于自然语言处理、知识图谱、机器学习等AI引擎的大数据治理平台，实现各类临床数据的结构化、标准化和归一化等处理。针对数据驱动的临床研究场景，能够将医院积存的海量临床数据自动结构化、标准化成可被临床研究直接分析、利用的科研数据。治理后的结果为后续的临床应用提供了良好的数据基础。智能科研检索提供多维度、多病种符合专病模型的检索功能，从病历、诊断、用药医嘱、检验、检查报告、体征等结构化及非结构化文本中提取检索点位，个性化定制专病检索模型。支持通过入选和排除等集合运算实现研究人群的精确筛选，实现自动发现满足条件的新病人并自动入组，实时精准从海量病历中定位研究人群。临床科研采集系统在数据治理基础上，满足科研所需的病例报告表（CRF）设计与数据采集、科研项目管理、团队管理与多中心、权限设置与隐私、数据核查与质疑、数据导入导出等常见功能模块。高度结构化、规范化的病历数据，利于病例报告单（CRF）自动填写，科研流程管理支持研究全过程协同。全院级科研随访系统可有效解决院内外数据整合、患者依从性差、失访率居高不下的难题，在全面提升随访专业度、保证科研项目的顺利推进的同时，极大地提升科研人员的工作效率。随访平台从患者管理和科研需求出发，整合随访计划提醒、随访量表填写、智能科普患教、在线病情咨询、患者报告结局（ePRO）信息采集等功能；自动问答功能为患者提供准确的知识问答和健康建议，实现个性化健康宣教和科普。同时为满足临床科研需要，可将患者采集结果便捷地返回给专病科研库，实现对患者离院后健康信息的全量收集。结论与展望智能化的临床科研支持系统不仅能对历史病历数据进行快速检索浏览，而且能便捷地将临床数据应用于具体研究中，成为医院各科室开展临床研究提供高效的工具，加速推进学术研究及成果转化，释放积压的大量医疗数据潜在学术价值。同时在全院级临床科研大数据平台与应用平台上，实现了各业务系统历史数据及实时数据的整合、治理。经过治理后的数据保障临床科研数据质量，在此基础上各科室临床研究人员获取数据将更便捷、科研管理更高效、探索新的研究方向更容易，从而实现科研效率整体提升，不断提升学术研究能力，实现医院临床学术研究质和量提升。【引用本文：朱明宇. 基于临床科研大数据平台研究[J]. 中国数字医学,2020,15(7):17-18,35.】新媒体部： 010-81138718；81138717

大数据平台是什么？有哪些组成？01、大数据平台是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。02典型大数据平台架构由上到下，可分为三个部分：数据搜集、数据处理、数据输出与展示。（1）、数据采集将应用程序发作的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步一般用 Sqoop，日志同步可以选择 Flume，搜集的数据经过格式化转化后通过 Kafka 等音讯队列进行传递。（2）数据处理这部分是大数据存储与核算的核心，数据同步系统导入的数据存储在 HDFS。MapRece、Hive、Spark 等来读取 HDFS 上的数据进行核算，再将计算结果写入 HDFS。（3）数据可视化大数据核算发生的数据还是写入到 HDFS 中，但应用程序不能到 HDFS 中读取数据，所以有必要要将 HDFS 中的数据导出到数据库中。数据同步导出相对比较简单，计算的数据都比较标准，稍作处理就可以用 Sqoop 之类的体系导出到数据库。这时，应用程序就可以直接拜访数据库中的数据，实时展现给用户。成都加米谷大数据培训，个人培训 丨 企业内训

6月11日，科大讯飞智学网与温州市第二十一中学达成战略合作协议，共建浙江省首个大数据教学支持中心。中心将基于科大讯飞全球领先的人工智能核心技术，深度挖掘学生学习测评数据，通过提供高频大数据服务、人工智能算法推荐、网络专家团队辅助等服务，完成对学生学习评测数据的精准纠错，支持教师帮助学生实现个性化学习。温州市教育局副局长王剑波，教育评估院院长赵桂芳，教育教学研究院副院长马玉斌，教育信息化领导小组办公室副主任张向东，温州市第二十一中学校长徐海龙，副校长厉园光、金森林，研训处主任兼校办主任陈春如，总务处主任钱伦波，教务处副主任王永康，政务处副主任蔡筱慧，初中基础学部主任马学江，高中基础学部主任许光军，科大讯飞浙江教育行业总监陈韬，科大讯飞浙江教育运营总监叶陈，科大讯飞浙江教育城市经理王程辉等共同出席了签约仪式。▲科大讯飞智学网与温州市第二十一中学签订合作协议温州市第二十一中学校长徐海龙为签约仪式致辞，他说：“温州市第二十一中学建校近20年，经历改制扩容、国际化办学、质量提升等阶段，2016年进入发展瓶颈期，如何走好创新特色发展之路成为整个管理团队和全校师生的共同愿景。经过对学校办学的重新梳理，认定走两轮驱动的路径：第一条为现代学校治理体系，第二条为智能个性化学习体系，以与科大讯飞智学网共同构建的大数据教学支持中心为抓手，通过大数据+人工智能，唱响学校个性化学习的主旋律。”▲温州市第二十一中学校长徐海龙介绍二十一中发展情况徐校长提出，二十一中已经逐步开展基于“互联网+”的智慧校园实践，并且取得了良好的效果。未来大数据教学支持中心将会致力于解决学习评价样本不够“大数据”，教学评测内容不够“高精准”，学习纠错指导不够“个性化”等问题，最终达成让大数据+人工智能支持教师，成就学生个性化学习的目标。随后，科大讯飞浙江教育行业总监陈韬详细介绍了人工智能技术产业最新进展与科大讯飞人工智能在教育行业中的应用。陈韬说：“2017年7月国务院发布人工智能规划——2020年部分并跑，2025年部分领跑，2030年全球领先。科大讯飞一直以来专注于人工智能技术，并且有幸成为科技部人工智能四大平台之一。2017年国家首个认知智能国家重点实验室落户科大讯飞，目前科大讯飞的智能语音识别技术、图文识别技术和机器阅读理解技术处于世界领先水平。”▲科大讯飞浙江教育行业总监陈韬介绍科大讯飞语音合成技术最新进展陈韬指出，人工智能改变行业离不开三个重点要素：核心技术、行业数据和行业专家。依托科大讯飞全球领先的人工智能技术，科大讯飞已经与专业机构共建国家级教育大数据项目，与教育部考试中心共建联合实验室，积极集合行业专家的力量，推动人工智能在教育领域的创新集成应用。陈韬介绍，目前科大讯飞智慧教育构建了以教、学、考、管为核心的业务架构，同时建立了从课堂到学校再到区域的系统架构，创建了基于大数据的个性化学习系统，采集与分析动态大数据，最终应用于大数据精准教与学。科大讯飞浙江教育运营总监叶陈详细介绍了科大讯飞智学网个性化提分方案，即智提分服务体系在教学中的应用。他介绍说，智提分是依托校内每周测练数据定制化的为每个学生推荐举一反三的错题巩固学习手册，内容全部来源于学生自己的考试、作业数据，直击学生薄弱知识点，将学生的错题按照知识点、难度进行分层分类，同时根据学生的不同学习情况推送变式题。学生可以依据复习时间长短选择不同的复习内容，真正做到针对不同学生的个性化学习。▲科大讯飞浙江教育运营总监叶陈介绍智提分服务体系在教学中的应用与以往的错题练习以知识点推题不同，智提分是以题推题，结合了知识点与题型进行推题。不仅如此，智提分的推题通过人工智能、科大讯飞背后的师资力量和学校老师的层层筛选，摆脱题海战术，帮助学生减少教辅材料，而且更加针对性做题，有效提高准确率。在整个智提分服务体系中，科大讯飞智学网会派专人专校驻点服务，试卷批改完成之后，快速制作发放教师讲义和学生个性化提分作业，帮助学校快速有效地解决教学实际问题，实现周周清，月月清。同时老师可以随时调取智学网提供的教学报告，有利于各个学科组之间开展教学研讨和制定教学计划。温州市教育局教育信息化领导小组办公室副主任张向东从整个区域层面对大数据精准化教学提出了建议，他提出希望大数据教学支持中心能够与在线答疑平台结合，完善学生解答的环节，同时跟现有的阅卷平台相结合，进一步为教师减负。▲温州市教育局教育信息化领导小组办公室副主任张向东发言温州市教育教学研究院副院长马玉斌表示，大数据是未来教育发展的趋势，大数据教学支持中心的建立有利于解决教育乐学、乐教和乐课这三个问题。2017年浙江省联合科大讯飞开展大数据精准教学项目，温州市已经走在大数据+教育的前沿。建立大数据教学支持中心必须树立教育教学质量服务的信心，帮助学生随时看到学习问题，随时获得学习帮助，促进学习动力。▲温州市教育教学研究院副院长马玉斌发言温州市教育评估院院长赵桂芳肯定了建立大数据教学支持中心对教育教学精准分析诊断改进的推进作用。她说：“在当今的人工智能大数据时代，数据挖掘已经成为教育教学改革研究不可缺少的重要手段。大数据教学支持中心的建立实现了教育教学精准分析诊断改进从区域层面到学校层面的落地，提升了精准性，缩短了执行过程。”同时，赵院长也提出了建议，一是要基于数据，但不能迷信数据，要树立正确的教育观；二是关注学生学业的同时，更要关注学生的综合素质，进行学科背后的背景分析。▲温州市教育评估院院长赵桂芳发言温州市教育局副局长王剑波进行总结讲话。他首先对科大讯飞智学网联合温州市第二十一中学共同建立大数据教学支持中心表示祝贺，他说：“建立大数据教学支持中心是顺应教育信息化发展的潮流，教育信息化正在从1.0时代向2.0时代发展，未来的教育信息化工作将会呈现五个基本特征，即更以体验为依归，更以数据为基础，更以连接为要义，更以开放为策略，更以智能为目标。信息技术之于教育在于流程的再造和体系的重组，未来二十一中要以从集体诊断到个人诊断，从集体学习走向个性化学习，从集体教学走向个性化教学为目标，创造可借鉴的经验，成为全市乃至全省精准化教学的典范。”▲温州市教育局副局长王剑波总结讲话最后，温州市教育局副局长王剑波、温州市第二十一中学校长徐海龙和科大讯飞浙江教育行业总监陈韬共同为中心揭牌，签约仪式圆满成功。▲揭牌仪式人工智能助力教育，因材施教成就梦想，科大讯飞智学网将以温州市二十一中为中心，与浙江区域开展多方位、深层次的交流与合作，推动人工智能+教育的发展进程。

智慧校园，是在教育信息化快速发展、在数字校园建设的基础上升华而来的。21世纪以来，数据成为新“石油”，随着数据规模的井喷式膨胀，从海量数据中发现并提取有价值的信息和数据，并对其进行深入分析，成为大众关注的新领域，校情大数据平台应运而生，即，一切被记录，一切被数据化。智慧校园与大数据结下不解之缘，用户使用时产生数据。在校园里，任何行为都可被数字化。用户的购买支付行为、行为轨迹、搜索分享、浏览收藏、借书归还等行为都会留下足迹，并且以数据的形式存储下来。数据可视化以图形、图像等更为生动、更易理解的方式来展现数据的大小、诠释数据之间的关系和发展趋势，以便更好的理解及使用数据分析得出的结果。换句话来说，数据可视化为通过图表将数据转换成信息，使得数据更加系统地呈现。它是对校园内的空间位置数据进行采集与业务属性数据关联，结合校园的管理、生活、科研和服务的实际需要，实现各静、动态数据接入和呈现。以校情大数据管理后台为例，通过学生的行为轨迹，进一步分析学生疑似未住宿预警、学生疑似不在校预警、学生晚寝晚归预警，通过学生的消费数据分析学生是否为贫困生，通过学生洗浴及就餐时间，分析洗浴高峰及就餐高峰时段。校情大数据平台可视化弱化了文字及传统数字的信号的晦涩难懂，利用计算机技术将若干复杂的、多样的媒体信号转换成图形、图像、图标等，使之更加简化。当前大热的虚拟现实技术就是基于可视化技术的一个典型应用。在智慧校园建设中，应用系统的业务数据交换基于数据中心和规范化的标准数据，唯一基础数据中心和统一数据规范的建设理念使各系统数据之间高度互通共享。基于校情大数据平台背景下的智慧校园数据可视化能有效推动校园管理向智能化、科学化发展。可以把教学、保卫、后勤等多项校园管理与师生生活行为实现可视的综合联动，使之成为一个基于大数据的关键应用。

进入21世纪以来,互联网经济在全球的爆发式发展深度的改变了人们认识世界和与这个世界链接、互动的模式。而与此同时,思维方式对互联网世界的走向所的带来的影响也愈发关键,创新的思维方式很可能会带来整个行业的迭代。大数据思维方式就是如此。在英国维克托·迈尔·舍恩伯格享誉世界的名著《大数据时代》中,他创造性的提出了“大数据全部优于样本、混杂优于单一、相关优于因果”的观点。这个观点对互联网世界的影响十分广泛和深远,因为它和人们通常所习惯性的对精确性、单一性和因果性的线型思维相比,强调开放性、全面性和相关性的大数据思维方式显得相当另类,甚至有些不可理解。但是从最近几年全球互联网产业的整体发展来看,大数据思维方式已经越来越多的被企业所认可并从中获益匪浅。如今全球几乎所有的大型互联网企业都具有自己的大数据相关机构,而且大数据思维方式正逐步走出互联网,在其他产业延展开来。教育正是大数据思维方式的受益者之一。从目前教育行业对大数据的处理方式来看,其助推力体现在两个阶段。在第一个阶段,是一般意义上的大数据。比如在线教育企业对教学过程实现全流程存储、对学员的所有学习行为进行大数据记录分析等,这些在传统线下教育过程中不可能实现的功能在大数据系统强大的存储和计算分析能力支撑下可以轻而易举的实现。其对于更好的了解学生个性特征、学习接受心理、思维模式从而建立起更个性化的学习方案、突破学习薄弱环节等都具有积极的现实意义。如果说第一个阶段是在线教育企业都可以拥有的标配,那么大数据思维方式的第二个阶段应用则主要集中于拥有大量用户规模的行业头部企业。以K12企业海风教育为例,其庞大的用户规模为智能教学平台的大数据系统源源不断的提供着海量新信息,这些信息所构成的大数据将是优化教研系统、寻求更具有普适性的高效教学方式等平台升级迭代的重要基础。简单来说就是其不仅可以为每一个学员制定针对性的教学方案,更可以在整体上抬升所有学员学习的效率。当今各大行业都与大数据结合的环境下,在线教育可能迎来它的发展期,但是竞争也会更加激烈,机遇与挑战并存。

以“大数据分析”为关键词去进行搜索，你可以在大多数条目中看到“数据分析平台”和“可视化”的概念。在发展受到局限时，人类喜欢并擅长于去使用工具和制造工具。人类对图形信息的摄取效率远大于单纯的文字数字。所以在信息流数量与流动速度爆炸都爆炸式增长的现状下，自然地催生了可视化大数据分析平台这类产品。数据可视化旨在借助于图形化手段，清晰有效地去传达与沟通信息。丰富的图表可以通过位置、长度、角度、方向、形状、面基、体积、饱和度、色调来通过视觉暗示，达到聚焦视线表达图标含义的效果。在企业运维决策的场景下，即是用适当的数据模型和统计分析方法对收集的企业数据进行可视化分析，转化成可视化结果清晰准确地形成结论报告，辅助企业了解运营状况、找到发展症结以及帮助决策等。下面这张图展示了不同类型的分析需求对应的可视化类型。根据Gartner最近的行业报告以及大会上，可以看到一些关于数据可视化未来发展的趋势。1、 数据地图“通过视觉探索和嵌入式的地理空间分析创建高度交互的仪表板和内容的能力。”Gartner提到的“地理空间分析”，即为“数据地图”，专门用来展示和分析这些与地图有关的大数据，这确实是很好的功能，用来分析业务在地理层面上的数据具有相当的价值，尤其是对如今在地域上分布越发广泛的行业来说，可以精确地定位问题所在的国家城市甚至某一营业点。不仅会比单纯的表格要直观形象得多，也更具有信息沟通的有效性和专业的形象。从类型上讲，数据地图可以分为区域地图、组合地图、标记点地图、单层地图 、自定义图片地图、流向地图、热力地图等。2、 互动式探索“通过一系列可视化选项来进行数据探索，这些可视化选项不仅仅是基本饼图,条形图和折线图这些基本的数据图形，还包括热图和树图、数据地图、散点图和其他特殊用途的图表，更贴合各行各业的需求。这些工具使用户能够通过与数据直接地视觉交互来分析数据和操作数据。”数据可视化的交互体验的能力主要通过易学性、易用性、UI友好性、使用效率来评价。它的表现形式主要体现在通过可视化图表直接对数据进行图形化的上卷下卷、切片旋转等操作，以及很重要的数据联动功能，给予用户全面的统筹数据问题与深入的挖掘数据问题的方法和角度。3、 数据故事“数据可视化要具有故事性，将数据通过可视化的方式迎合报告者的需求，帮助他们讲述一个完整的数据故事，让观看者更好的认识主题。”数据可视化的结果之间可以互相联系形成具有故事性的看板，以更完整更多样的角度去阐述数据，展现更多的细节，将观看者拉入到这个故事中来。4、 基于搜索的智能探索方式“基于搜索和可视化的数据探索分析功能将作为新型BI和分析平台的组件融合到下一代的数据分析产品中。”“到2021年，具有智能数据探索分析功能的新型BI和可视化分析平台的用户数量将是不具有这一功能的产品和平台的两倍，并且将创造两倍的商业价值”现市面上的大部分可视化数据分析产品都采用拖拽式的探索方式，这种探索方式简单而快捷，但同时具有相当的局限性。在分析维度较多较复杂的时候，拖拽式操作反而会给用户带来多种不便，且要求用户对数据结构有深刻的理解才能形成理想的可视化结果。而类似于搜索引擎探索结果方式的搜索式探索方式不仅包含了拖拽式简单快捷的优点，更进一步的将分析人员从必须理解数据结构的前提下解脱出来，直接将业务问题输入分析平台，形成可视化结果。5、 自然语言“到2020年，50%的分析查询将使用搜索，自然语言处理或语音生成，或将自动生成。”自然语言生成功能和搜索式探索方式的结合，完美契合了业务人员对数据进行可视化分析的需求，成为数据可视化的未来愿景，使平台能够理解用户使用自然语言描述的业务逻辑上的查询需求，准确转化为程序能够理解的查询语句，再生成可视化结果反馈给用户。

基于Hadoop3.0的大数据教学实验实训平台领先发布章鱼大数据于2019年8月的在教育行业内率先正式发布基于Hadoop3.0的大数据教学实训平台，平台内所有大数据生态工具与开发环境同步升级，达到完美结合，继续为高校大数据教学实验提供有力支撑。（基于Hadoop3.0的大数据教学实训平台 界面）Hadoop 3.0引入了重要的功能和优化，包括精简Hadoop内核、HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于CGroup的内存和磁盘IO隔离、MapRece内存参数自动推断等重大升级，Hadoop3.0的运行速度及安全性比Hadoop2.6提升显著，目前互联网企业已经逐步升级至Hadoop3.0平台。章鱼大数据是一家致力于研发高校教学实训平台的高新技术企业，主要以热门IT技能教学实验训练为主要方向，运用云计算和互联网+思想、结合多媒体课件，以基础知识学习、在线视频教学、实验操作、线上测试、评估等为主线的一系列方法，快速提升高校学生在程序开发、数据挖掘、人工智能方面等实际操作技能，最终实现优质的课程学习及就业目标。章鱼大数据公司自主建设的教育实训平台，采用高清视屏课件并结合虚拟化技术，为学员提供高质量的课程，注重以实战为主要手段的技能培养。实现在线学习、真机实训操作完美结合，快速提升学生的实际技能。教学平台在学员的学习过程中，应用大数据技术记录学员学习中产生的各类数据，利用大数据方法对学员的学习行为进行分析与统计，形成学员特征报告，并持续跟踪以就业学员的工作情况，根据反馈持续改进能力提升方案，目前章鱼人工智能实训平台已经发布，欢迎有需求的院校来咨询。针对大数据实验教学，公司于2015年即领先采用Hadoop2.6结合Docker虚拟技术，利用Html5+WebSocket技术，成功开发"大数据实验训练平台"，教师与学生端无需安装任何实验软件即可进行实验操作，本平台为高校提供“数据实验训练平台一体机”。平台除了提供大数据的生态系统实验工具外，同时提供20多个行业真实业务数据和分析方法案例，包括“电子商务”、“股票金融”、“在线教育”、“搜索引擎”、“新闻网站”等。使学生可以在浩瀚的数据海洋之中遨游。本平台目前在全国已经有超过百所高校作为大数据专业课程教学工具，欢迎各高校及合作伙伴联系我们申请测试帐号，请您直接留言与我们联系。