大数据管理系统全面整合城市管理资源，包括各类视频资源、图像资源、城市管理业务数据、公众服务信息和应急指挥数据等，通过计算机技术对数据进行深入分析，对智慧城市管理系统的建设提供有力支撑。

大数据时代的到来，为面向中国新型城镇化规划的科学化及城市管理的高效化提供了方法，使得城市管理各部门基于数据获取以及有效整合的基础，能够进行实时、动态的科学决策与响应。大数据分析平台主要包括大数据管理子系统、存储管理子系统、大数据分析支撑系统、智慧城市管理三大指数分析等方面。

1）大数据管理子系统

大数据管理子系统由数据标准管理子系统、数据采集管理子系统、数据仓库管理子系统、基础支撑管理子系统、多数据类型管理子系统、数据键值管理子系统构成，如图2-19所示。

图2-19　大数据管理子系统构成

（1）数据标准管理子系统

完成统一数据标准，以及管理维护主数据的完整性，主数据在多个城市管理业务系统间共享。

（2）数据采集管理子系统

完成数据采集、数据清洗，具体包括检查数据的一致性、处理无效值和缺失值。数据仓库中的数据是面向某一主题的数据的集合，这些数据通常包括从多个业务系统抽取而来的数据、从外部采用爬虫机制抽取而来的数据，以及历史数据。数据仓库里不符合要求的数据主要包括不完整的数据、错误的数据和重复的数据3大类。

（3）数据仓库管理子系统

管理公共数据资源、数据集和数据仓库。以分析型处理为主，针对城市管理的某些主题的历史数据进行分析，根据分析结果支持管理决策。

（4）基础支撑管理子系统

支持分布式存储；支持HDFS文件系统解决方案；支持访问权限管理；支持数据安全管理；能分析访问日志。

（5）多数据类型管理子系统

基于Hadoop分布式文件系统存储非结构化数据和混合型结构数据，主要采用主从结构关联主节点负责的分布式文件系统的元数据，以及提供统一的命名空间。在开源基础上开发能提高效率并提升Hadoop的性能。

（6）数据键值管理子系统

在大数据管理中，数据资源的开放应用是重点内容，它采用综合手段管理结构化、半结构化、非结构化数据。它借助分布式的键值数据库提高了HDFS上混合结构数据的查询速度，键值数据库对数据值没有大小限制，可以存储任意结构的数据，此外，它配以基于键值的哈希检索和高性能缓冲技术，实现高并发读写混合结构数据。

2）存储管理子系统

存储管理子系统作为城市管理基础数据的永久存储载体，整合了城市管理各业务应用系统数据，是领导进行城市管理决策和指挥调度的信息资源，成为局各业务科室平时处理日常业务、行使监督和控制职能的数据基础。该子系统为城市管理局政务信息的公开化提供了数据支持，其主要围绕推进城管执法、市政设施管理、园林绿化、市容环境等业务，充实信息内容，以及整合信息资源，为各项业务提供全面、客观的支持和指导。该系统模块主要包括数据标准管理、数据采集管理、数据仓库管理、数据键值管理、基础支撑管理、多数据类型管理等。

存储管理子系统的架构如图2-20所示。

图2-20　存储管理子系统架构

大数据分析子系统的组成如图2-21所示。(www.daowen.com)

图2-21　大数据分析子系统组成

大数据分析平台建设的主要目的是全面整合各项城市管理资源，如视频资源、图像资源、城市管理业务数据、公众服务信息和应急指挥数据等，通过数据挖掘、人工智能及深入分析等技术逐步完善数据模型，其服务对象主要是区城市管理局领导、各业务人员。面向智慧城市综合管理的业务运行、公众服务、领导决策等提供个性化服务，实现快速跟踪和响应突发事件，提高对危机行为变化的理解力与判断力，以进一步提高预测需求和应对变化的能力。该平台通过建设大数据分析支撑系统和大数据专项分析系统实现，如图2-22所示。

图2-22　大数据分析平台构成

简而言之，大数据分析平台主要通过主数据管理模块对各业务系统的业务数据进行管理，再使用ETL数据抽取工具对数据进行清洗与处理，装载到数据中心保存，为上层应用和外部系统提供统一的数据服务。

3）大数据分析支撑系统

大数据分析支撑系统由计算支撑子系统、大屏可视化子系统、智能报表子系统组成。

（1）计算支撑子系统

计算支撑子系统由数据挖掘引擎和实时分析引擎实现，这两个引擎的底层由实时计算、批量计算和流式计算3个组件支撑。数据挖掘引擎主要处理离线分析，而实时分析引擎主要处理在线分析。计算支撑子系统主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成与处理，最后加载到大屏可视化系统中，是数据分析处理的核心。

（2）大屏可视化子系统

大屏可视化子系统是对数据以及处理结果进行可视化的系统。该系统的主要目的是将各级数据库中的数据以灵活、直观、可视化的方式展现出来，以辅助人们快速、准确地得到隐藏在数据背后的信息，使智慧城市管理中心各级决策者获得相应信息作出更好的决策。该系统的可视化展现方式有仪表盘、表格、日历等，且具有个性化定制内容、指标等功能，直接将管理者及业务人员关注的指标展现出来实现真正的个性化服务。

（3）智能报表子系统

智能报表子系统是进行大数据分析的重要组成部分，主要用于准确、全面、灵活地体现城市管理运行中的数据信息，为业务管理人员提供可靠的、有效的数据信息支持及决策支持。该系统主要包括图形报表制作、报表设计、多样展示和报表导出4个部分。

重庆市江北区智慧城市管理大数据分析平台如图2-23所示，其展现的是重庆市江北区智慧城市管理大数据平台提供的图像报表环卫系统界面。

图2-23　重庆市江北区智慧城市管理大数据分析平台

4）智慧城市管理三大指数分析

智慧城市管理指数主要由建设指数、运行指数和健康指数构成，智慧城市管理指数服务可以对城管海量数据实时在线分析，支持分层下钻分析，无须提前进行大量的数据预处理，极大地提高了智慧城市管理指数计算效率。

建设指数是指智慧城市管理“1322”架构体系的建设情况。实现城市管理智慧化、业务应用智能化、公众服务创新化、决策分析科学化、应急指挥扁平化。

运行指数应根据城市管理实际情况，从人员管理、车辆管理、运行管理、评价考核等方面进行综合评定，实现对“人、地、事、物”的综合监督管理。对各系统是否有数据交互、各系统是否有评价指标、各系统评价结果是否纳入考核等进行综合评价。

健康指数通过智慧城市管理数据中心的基础数据和各系统平台运行数据，结合区域的部件量、单元网格数、商铺量及入驻率、民调数据、投诉满意率、环保监测数据、交通运行、人口密度等全要素数据进行科学建模、智能研判，对城市部件设施完整度、城市市容秩序整洁度、交通路况评价、环境污染度等城市综合运行管理进行整体评价。

大数据在智慧城市管理应用中起了很大的作用，但仍处于低级阶段。为了提升城市建设和管理服务，便捷民众生活，将以人为本作为核心战略，在充分考虑人群需求的条件下对智慧城市管理进行合理规划。在此基础上不断完善信息基础设施建设和技术，为城市智慧化管理实现提供重要保障。同时，有效平衡管理体系，促使各部门联动协作整合多种类型数据，合理有效地构建城市管理标准与基础框架，最终实现高效的、可持续的、科学化的城市化管理。