1.应用定制服务模式
应用定制服务模式面向外部系统的复杂业务需求采用定制开发模型,最大限度地发挥SOA构架优势,即服务端只需要接受客户端输入的相应数据和参数,就能够完成定制产品数据的生产,并将最终生成的产品数据返回给客户端。
2.应用定制系统建设
应用定制系统采用分布式集群架构,以共享文件系统为支撑,以任务调度为核心,通过自主技术构建可配置的功能组件,实现以数据驱动的任务生成模式,采用工作流的形式,实现外部模型的自动化和半自动化并行执行,并通过分布式的调度控制服务实现对计算资源和存储资源的动态分配和高效利用。
为实现业务处理的并行化,首先需要根据业务需求,参照并行调度管理规范,开发业务处理模型;然后基于并行调度框架的开发接口,构建并行处理业务应用系统。在部署期间,需要首先部署并行调度环境,完成节点注册,并根据需要设计工作流模型,然后创建并启动任务,可实时查询任务进度,任务执行完成后即可获取处理结果。并行调度的运行模式如图4-17所示,运行流程如图4-18所示。
图4-17 并行调度运行模式
图4-18 并行调度运行流程
上层业务应用系统不需要关心如何实现复杂任务的并行调度,只需分析如何将业务需求进行分解,开发业务模型,设计工作流后进行调度处理。并行调度框架负责调度底层通信、调度算法、资源管理等模块,一方面可缩短上层业务系统的开发周期,另一方面可提高功能模块和工作流的复用性。
任务调度主要是基于并行框架实现定制计划分析、定制任务调度、定制任务监控、定制任务统计等功能。其中,定制计划分析负责实现定制计划的接受、分析,转换为内部定制任务,并基于规则的资源分配,进行任务的拆分;定制任务调度负责实现将拆分的任务分配到并行计算节点,在挖掘节点接受任务并调用模型执行,并负责运行过程中的日志实时记录;定制任务统计负责资源利用率、模型使用频度、模型运行时间等统计。具体包含以下七项功能。
(1)任务接收
负责对任务管理模块下达的定制计划进行语法语义的校验,判读定制计划单的合法性,对于合法的计划单进行格式解读,根据计划单的内容进行合理性判断,对于可执行的计划单反馈确认信息,不合法的计划单反馈不合法确认信息。
(2)任务拆分
负责对可执行的计划单的分析和分解,转换为内部任务,并基于规则的资源分配,进行任务的拆分,并将拆分的子任务移入等待队列,进行等待队列更新、调度队列更新、处理队列更新、完成队列管理、取消队列管理和异常队列管理六个阶段调度管理流程。
(3)任务分配
在集群环境中,根据流程顺序、优先级算法、资源使用状况以及任务运行情况,将等待队列中的待运行的子任务实时动态分配到并行计算处理节点上。
(4)任务执行
并行计算处理节点能及时接受分派的子任务,任务执行过程中保持和管理节点的通信,实时发送当前运行状态和运行日志。
(5)任务查看
能实现以图形化界面展示任务运行状态,支持流程图和列表形式展现当前任务运行状态,还支持任务日志的查看,支持任务数据的实时查看。(www.daowen.com)
(6)任务控制
支持任务暂停/恢复/重新执行/停止等任务控制操作。
(7)任务统计
支持计算资源利用率、模型使用频度、运行时间等统计分析。
3.应用定制服务关键技术
(1)开放可伸缩的应用定制模型集成框架
开放可伸缩的应用定制模型集成框架是为在统一的框架下实现各个业务应用定制的协调工作,支持应用方案的集成搭建和可视化配置,增强业务化应用系统适应需求不断变化的能力,提高系统可复用性,为上层应用系统提供基础支撑。数据挖掘分析框架采用开放式、可扩展式的应用构建技术,以“框架+可聚合的功能插件+功能库”的机制快速构建业务化应用系统。
应用构建技术分为业务集成框架和应用插件两部分,如图4-19所示,其中业务集成应用框架定义公共的插件接口标准,用户可以根据自己的业务需求开发功能插件,方便灵活地集成到系统框架之中,使系统具有最大限度的灵活性和可扩展性。业务集成框架与应用插件能够相互通信,并且在系统框架不变的情况下,可以通过增减插件或修改插件动态调整应用程序的功能。软件插件技术是一种基于组件技术的软件体系结构,在保证实现单一业务功能的前提下,遵照特定的标准进行封装。
图4-19 应用构建技术
(2)可扩展易重用的模型构建技术
应用定制模型是一种结构化组件,它能够与宿主程序交互并提供特定的功能,模型可以通过应用程序已经定义好的接口,插入主系统中,从而扩展系统的功能,其本质在于不修改程序主体的情况下对软件功能进行扩展和加强。应用定制模型由参数描述文件和功能算子构成,分为“自动运行模型”与“交互运行模型”。参数描述文件即模型与平台交互的接口文件;功能算子是指实现某一独立功能的最小可执行单元。“自动运行模型”只有输入和输出,执行过程不需要人工干预;“交互运行模型”需要通过人机交互进行选择或浏览,然后再通过运算输出相应结果。
模型组件统一接口设计技术实现了各类应用业务算法的统一接口设计,能够实现系统的动态加载,管理好各类算法组件,为系统提供灵活的应用。设计一个合理的应用业务算法组件库,对于各类应用业务算法组件进行统一管理,能够对新的应用业务实现注册,对于取消的应用业务进行删除处理。
1)模型注册
当用户注册新的应用业务时,原型系统自动将新注册的应用业务备份至数据库中:一是数据库表中新增应用业务记录;二是应用业务实体文件压缩后上传至服务器磁盘。
2)模型更新
当应用业务有更新时,首先检查客户端是否存在此模型,如果存在则对客户端模型进行更新,更新只需将新版本的算法替换掉原版本的模型;然后对元数据进行更新,同时将新版本模型压缩后替换服务器中原版本模型。
3)模型下载
当用户使用某个应用业务模型时,首先在客户端本地文件系统中查找该算法是否存在,如果存在则直接调用本地模型,如果不存在则客户端原型系统自动从数据库中查询该模型,下载算法并解压缩至客户端机器进行使用。
4)模型删除
当用户要删除已有应用业务模型时,原型系统将进行两步操作:一是从数据库表中删除选中的模型记录(包括元数据信息);二是删除服务器磁盘上的相应模型实体文件。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。