1.教学大数据平台业务框架

教学大数据平台必须能有效采集和整合学校业务系统和硬件设备，建设统一的学校教学大数据管理平台，提供统一的接口开发应用，为学校提供大数据服务。

基于学校现有的数据源，网络为构建统一的、分布式的大数据平台，通过采集数据源全量数据及增量数据，构建原始大数据，从而更好地集中和积累校园应用数据，为未来业务系统及校园信息化发展提供数据的备份和积累；在原始数据仓库的基础上对原始数据进行聚类分析和标准化处理，形成聚类数据仓库、标准化校园的业务数据，从而反推动校园业务系统的完善和标准化；分析校园大数据业务系统需求构建业务模型，根据模型对标准数据库进行分析和关联，形成应用模型主题库，并通过数据管理平台对整个数据采集、数据存储、数据标准化、数据建模清洗过程进行图形化配置、管理和应用。平台提供标准化对外接口，可对接第三方BI工具，为校园大数据学生教学提供接口，同时标准库可通过字段级别的权限控制，为校园开发人员提供标准开发接口。其次，业务系统建设层面，教学大数据平台建设可通过校园业务数据分析，建设服务学校教学管理管理方面的业务模块。

教学大数据平台总体业务框架如图8.10所示，其中数据源层通过核心交换机以及业务系统关联等方式将业务数据、应用数据进行采集，全方涵盖高等学校教学方面的各项数据；数据集成总线层利用ETL、数据复制、爬虫引擎、系统接口等技术，具备多业务、多技术接口的数据采集能力，并按照各种场景和应用进行数据采集，实现分布式部署和灵活地扩展能力；数据存储层利用HBase、HDFS、RDBMS等技术解决关系型数据、非关系型数据的集中清洗、存储、管理，为数据展示层做好支撑；数据计算层利用离线计算、查询引擎、语义分析、各类文件类型的计算等技术实现数据的处理功能，通过丰富的数据组装、处理、分析等能力，供场景和应用灵活使用；分析应用层利用jQuery、Restful、Bootstrap、HTML5、Report等技术实现数据直观展示给客户的所有功能，是系统的使用界面和展示界面，可以灵活地定制满足客户各种场景和应用的需求，提供了数据统计分析、数据分析、数据检索、数据导出等应用界面。

图8.10　教学大数据平台总体业务架构(www.daowen.com)

2.教学大数据平台部署架构

教学大数据平台可以统一采用客户现场私有云模式部署，以支持以下两种产品部署方法，其一为客户开放远程服务器访问，手工通过远程安装部署；其二为客户根据远程安装说明书，已安装系统的服务器上启动自动部署脚本，通过安装工具自动完成下载安装和部署；其三为一体化部署，教学大数据决策系统一体机软件系统可以采用目前IT新技术新思路定制构建，软硬的超融合结合，可以使校园业务稳定持续，实行系统全智能化管理。

3.教学大数据平台技术特点

教学大数据平台应当采用当前比较成熟的软件架构，且必须已经在多个实验室进行现场环境测试运行，能够很好地完成并且支撑现有大数据量存储及计算业务，保证系统的稳定、实时、大数据量存储的计算需求。教学大数据平台有以下几个特点：

第一，集群容量：集群采用多节点，大存储，并且采集压缩技术，保证存储数据的完成与长时间存储；第二，高可应用性：保持服务的24小时不间断运行，服务出现故障时，服务器集群系统可以自动将服务从故障节点切换到另一个备用节点，从而提供不间断性服务，保证了业务的持续运行；第三，可扩展性：动态在线集群扩容，对业务系统透明；第四，错误恢复：当一个任务在一个节点上还没有完成时，由于某种原因，执行失败，此时，另一个服务节点应该能接着完成此任务，这是服务器集群提供的错误恢复功能，通过错误的重定向，保证了每个执行任务都能有效完成；第五，弹性部署：根据现实环境的不同可灵活配置，在保证运行稳定性能的前提下，节约资源。