.大数据实验室建立方案目录1概述3建立背景3建立现状32总体设计3总体架构3分步实施方案3一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台3二期：基于大数据领域的深入拓展研究33详细设计3一期建立内容3机房装修建议方案3云存储平台3大数据实验平台3桌面虚拟化3教学云盘3二期建立内容3深度学习平台3数据立方大数据库3数据挖掘平台3数据可视化3物联网智能硬件效劳平台34建立意义35规格配置31 概述1.1 建立背景随着移动互联网、云计算、物联网的快速开展，特别是智能手机端博客、社交网络、位置效劳LBS等信息发布方式的不断涌现，数据正以前所未有的速度在不断地增长和累积，全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每 18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到 2020 年，全球将总共拥有 35ZB的数据量，是2010年的近30倍，大数据时代已经来到。在海量数据面前，大数据人才无疑是其中最关键环节之一，然而，不管国内外，大数据人才却紧缺相当稀缺，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达万，在BAT发布的招聘职位中，大数据人才超过60%。我校为顺应新形式的开展，着手建立大数据学院，创立大数据实验室、大数据实验平台，开设大数据教学培训，实现我校教学科研一体化流程，将为我校增加学生就业时机和薪资水平，提高师资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。而大数据学科方向是一门穿插专业方向，与不同专业相结合可以开展成特定方向的专业或研究领域。经济金融学、应用数学、统计学、计算机科学等传统专业方向与大数据学科方向相结合表现出多样化的差异特征，包括专业研究方向与社会需求岗位在内。除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查说明，当前大数据涉及到很多内容，如大数据实验、数据分析、数据挖掘、数据可视化等，其中的很多实验，都无法在我校现有的实验室中完成。因此，我校建立专门的大数据实验室就显得非常重要。1.2 建立现状虽然目前我校也意识到开设大数据专业及相关课程，但是在专业课程开设的过程中也遇到了诸多问题，因此，我校着眼于未来，着手从全球的技术重点难点-大数据教学出发，拟打造高校大数据教学的标杆，建立新一代的大数据研究教学基地，建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的大数据教学平台，目前我校大数据实验平台建立具表达状如下：l 根底实验环境薄弱，大数据实训开展难目前我校的大数据教学大都卡在了实验环节，缺乏相应的根底实验环境，无法为每一个学生都提供一套实验集群，而虚拟化的网络配置与运维又十分复杂，同时大数据分布式软件系统安装、配置难度较大，在实验过程中很容易造成实验环境的破坏，实验数据、实验教案、实验手册缺乏，难以开展相关的实验教学。l 课程体系待完善，大数据教学科研入门难当前我校的大数据专业处于起步阶段，人才培养课程体系缺乏系统性，大数据教学资源匮乏，可配置和指导实验环境的专业师资缺乏。l 工程实训缺失，教学效果与就业率打折扣在大数据教学过程中，缺乏相应的实训工程，只有理论教育，难以培养实用型人才所需的专业工程能力，存在专业学习与实际应用脱轨的情况，使得教学效果与就业率打折扣。2 总体设计2.1 总体架构大数据实验室总体架构主要包括四个层面：1根底环境设施建立大数据实验室根底环境建立主要是支撑实验室教学运行的根本环境配套建立，包括实验室机房装修、综合布线、网络通信、配电UPS、安防监控、实验室空调、学生实验桌椅、教学用投影音响器材等。通过这些根底支撑环境的建立，才能保证大数据实验室的建立提供根底。2IT环境配套建立在根底环境搭建完善的根底上，需要建立满足大数据实验平台的配套环境，主要包括：各类效劳器、交换机、路由器、投影仪、终端电脑等。3大数据实验平台层建立在满足大数据平台层所需的IT环境配套资源之上，建立存储资源池和计算处理资源池，提供大数据实验平台和深度学习平台，供师生科研教学使用，建立在数据立方大数据库高速运算、秒级处理根底上，数据挖掘分析平台对现有数据进展智能分析，最终通过数据可视化能将数据以更加直观的方式展现出来，使获取的数据更加客观、更具说服力。4效劳层大数据平台的最终目的是为学校、师生提供效劳，因此利用平台搭建可供大量教师、学生完成大数据科研、教学实验的集成环境，该平台同步提供了配套的培训效劳，对于科研教学组件的安装、配置，教材、实验手册等具体应用提供一站式效劳，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资缺乏的问题。对于各大高校而言，即使没有任何大数据实验根底，该平台也能助其轻松开展大数据的教学、实验与科研。2.2 分步实施方案我校大数据实验室建立的各个环节相互关联，在建立的过程中，需要有方案、有步骤地实施，以确保各项内容的协调开展；基于*股份在云计算、大数据领域积累的丰富经历并且结合学校的实际需求和业务特点，制定以下合理的分步实施方案。本次方案主要围绕大数据专业课程的开展，搭建大数据实验相关的软硬件平台，分期进展建立。2.2.1 一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台利用大数据、云计算技术构建统一的大数据实验平台，完善大数据教学课程体系，培养大数据实战型人才。主要建立内容如下：1云存储平台提供一套存储资源管理系统，采用分布式的存储机制，将数据分散存储在多立的存储效劳器上；具有低功耗、超高性价比、高可靠、通用、免维护等优势。2大数据实验平台大数据实验平台通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进展Hadoop相关试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使*个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入本钱。同时配套提供大数据实验教材、PPT、视频、操作手册、实验数据等配套资源。3教学云盘通过教学云盘为师生构建私有云平台，为用户提供了平安、稳定、高效、性价比高的数据管理效劳。4桌面虚拟化针对学校日常办公、大数据教学等环境建立一体化桌面虚拟化解决方案，学生师生用户可跨平台、跨终端、跨协议按需弹性配置自己的桌面、应用和数据。具有高可靠、高平安、多兼容、易管理等优势。2.2.2 二期：基于大数据领域的深入拓展研究在一期大数据实验平台的建立根底上，突出大数据领域的多应用建立，进一步提升学校在大数据专业的核心竞争力和影响力。主要建立内容如下：1深度学习平台的建立根据国家和地方社会经济开展需要，结合区域相关产业和行业特点，以我校优势学科和特色专业为根底，重点从图像处理、视频挖掘、生物识别和人工智能方面的创新实验、实习、实训以及深度学习为重点研究出发进展建立。提供一套涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。2数据挖掘及可视化分析建立数据立方大数据库，实现EB级的数据能够秒级处理，支持数据仓库存储、数据深度挖掘和商业智能分析等业务。建立数据可视化，将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进展更深入的观察和分析。3物联网智能硬件平台提供一个免费的物联网设备和应用的数据托管平台。学校现有的智能设备可使用多种协议轻松平安地向万物云提交所产生的设备数据，在效劳平台上进展存储和处理，并通过数据应用编程接口向各种物联网应用提供可靠的跨平台的数据查询和调用效劳。通过使用物联网智能硬件平台所提供的各项效劳，学校可以收集、处理和分析互连智能设备生成的数据，在物联网应用中方便地调用这些设备数据，而无需投资，安装和管理任何根底设施，不仅大大降低了工程开发的技术门槛，缩短开发周期，而且研发和营运本钱也成倍降低。3 详细设计3.1 一期建立内容3.1.1 机房装修建议方案3.1.1.1 系统概述3.1.1.1.1 机房环境特点设计的机房参数如下：l 温度：21-25，最正确为23。l 相对湿度为45%-65%，最正确为55%。l 温度的变化率5/h，不得结露。l 尘埃：机房在静态条件下，粒度，个数18000/m3。l 噪音：计算机停机时，主机房中心位置处68db。l 静电电位1KV。l 照度：机房区300L*；其他房间200L*；应急照明5L*。l 交、直流工作地1。3.1.1.1.2 设计思路现代机房通常采用大面积的开敞空间，辅以功能完善的辅助设施，构成宽阔明亮的设备环境，具有工作交流迅捷、信息传递快、工作效率高、易于管理的特点。机房工程是以保证设备运行的平安性、可靠性为主要目的综合性工程，它包括建筑装修、电气工程、综合布线、安防系统、监控系统、空调系统等几大系统。机房工程的目标：l 保证计算机设备运行的可靠性；l 保证机房运行的平安性；l 延长计算机设备的使用寿命；l 满足用户的特殊要求；l 保证场地工作人员的身心安康。我们的工作就是围绕这些根本任务来进展，在设计过程中采用超越的设计思想和先进的技术，并着眼于未来的开展，把各个系统等有机的结合起来，通过采用优质材料、合理的配置和先进的工艺确保环境指标的实现，为计算机设备和工作人员创造一个平安、可靠、宽松、舒适的工作场地。3.1.1.1.3 设计规划本次机房工程拟对学校已有的机房约*平米改造，建立成为新的数据机房，主要涉及以下几个分项可根据实际需要调整：序号名称位置面积1中心机房约*平米2监控室约*平米3会议室约*平米4办公室约*平米3.1.1.2 机房装修建议3.1.1.2.1 机房吊顶吊顶是机房中重要的组成局部。吊顶上部安装着强电、弱电、线槽和管线，也安装着消防灭火的气体管路及新风系统风管等。在吊顶面层上安装着嵌入式灯具、风口、消防报警探测器、气体灭火喷头等。考虑机房吊顶必须防火、防尘、吸音性能好、无有害气体释放、抗腐蚀不变形、美观和易于拆装等方面。在安装天花之前，将原楼板底清理干净及刷环氧聚氨脂防尘漆。吊顶应该具有一定的承载能力，应能够承受住全部安装设备的重量及作为专用空调回风静压箱时的负压影响，并要留有一定的空间。所选用的吊顶板及其构件还应具有质轻、防火A级、防潮、吸音、不起尘、不吸尘等特点。3.1.1.2.2 架空地板工程在各类计算机房的组建中，活动地板是个很重要的构造件之一，可使机房地板下组建成一个地下空间。在活动地板上可安装各类计算机等设备，而在地板下的空间则可用来敷设联结各设备的电源、网络互联管线、集成监控信号线管等设施。同时可作为精细空调的送风静压风库。通过地板上设置的送风口，利用静压复得法，把冷却空气送至计算机设备，保障计算机的平安运行。活动地板因其具有可拆性，所以对网络的建立、设备的检修及更换都很方便。所有连接电缆都从地板下进入设备，便于设备的布局调整，同时减少了因设备扩大或更新而带来的建筑设施的改造。l 活动地板高度活动地板可以在活动地板下形成空调送风静压箱。为了获得最正确的通风效果，我们所建议的从机房地板到地面的高度为250mm，这样就可以有充足的通风空间。l 地板抗震动方面地板的质