理论教育 数据计算软件架构优化

数据计算软件架构优化

时间:2023-06-17 理论教育 版权反馈
【摘要】:目前主流的数据计算软件架构包括Google MapReduce、Hadoop MapReduce 等。MapReduce系统架构,能在大规模普通PC集群上实现并行处理。Mapreduce由Map函数和Reduce函数组成。谷歌技术有“三宝”,即:GFS、Map Reduce和大表。HDFS为上层提供高效的非结构化存储服务,HBase是提供结构化数据服务的分布式数据库,Hadoop Map Reduce是一种并行计算的编程模型,用于作业调度。综上所述,广电网络用户规模小、网络设施不同、终端及系统异构,这让业务的开发、部署、寻找用户、业务运营带来许多困难。

数据计算软件架构优化

目前主流的数据计算软件架构包括Google MapReduce、Hadoop MapReduce 等。其中,Mapreduce是一种编程模型,是一种编程方法,也是一个软件框或软件架构,是分布式架构中解决并行计算问题的核心基础,实际应用中是由软件或平台提供方基于Mapreduce架构下并根据具体业务、流程或服务等实际情况而开发出来的一组或一套计算程序。MapReduce系统架构,能在大规模普通PC集群上实现并行处理。Mapreduce由Map函数和Reduce函数组成。Map函数接口:处理一个基于key/value(后简称kv)的成对(pair)数据集合,同时也输出基于kv的数据集合;Reduce函数接口:用来合并Map输出的kv数据集合。具体介绍如下:

Google Map Reduce是Google产出的一个编程模型,总的来讲,Google MapReduce所执行的分布式计算会以一组键值对作为输入,输出另一组键值对,用户则通过编写Map函数和Reduce函数来指定所要进行的计算。谷歌技术有“三宝”,即:GFS、Map Reduce和大表(BigTable)。

Map Reduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一是分布式计算框,就是mapreduce,缺一不可。也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。Hadoop中的Map Reduce是一个使用简单的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错式并行处理TB级别的数据集。二者对比Hadoop实际上就是谷歌技术“三宝”的开源实现,Hadoop Map Reduce对应Google Map Reduce,HBase对应Big Table,HDFS对应GFS。HDFS(或GFS)为上层提供高效的非结构化存储服务,HBase(或BigTable)是提供结构化数据服务的分布式数据库,Hadoop Map Reduce(或Google Map Reduce)是一种并行计算的编程模型,用于作业调度。GFS和Big Table已经为我们提供了高性能、高并发的服务,但是并行编程不是所有程序员都玩得转的活儿,如果我们的应用本身不能并发,那GFS、Big Table也都是没有意义的。

互联网智能云平台与广电网络智能云平台区别基于互联网云平台上开发和发布应用,云平台较少关注网络和终端,乃至基本上不关注网络和终端,应用就可以开发和发布了;基于广电网络的云平台要做到让应用的开发和发布简单易行,云平台得屏蔽网络和终端才能让业务应用“轻飞如燕”,否则应用仍然没有可起飞的平台。让发布的业务应用产生运营价值(用户的消费或流量)是平台必须提供的基础能力,否则应用开发的投入很难产生回报,类似于在公有云的僵尸网站、僵尸公众号、僵尸游戏等。因此云平台向智能云平台发展是必然的,智能主要体现在让应用分享用户价值、分享流量价值,最重要的是让业务和用户需求能够准确快速碰撞出火花来,大数据智能推荐是最基本的。(www.daowen.com)

以互联网为例,一个业务可以是部署云服务+开发APK算是完成了技术工作,也可以是部署云服务+开发微信小程序,两者最大的不同是APK需要和手机适配,APK面临iOS和Android两大阵营(也就是APK需要分别开发iOS版本和Android版本),然后还有和多种手机进行测试、适配。微信小程序这些开发与测试工作少很多。业务应用只是负责寻找用户以及用户需求而已,适配终端和操作系统直接可以省略。

综上所述,广电网络用户规模小、网络设施不同、终端及系统异构,这让业务的开发、部署、寻找用户、业务运营带来许多困难。因此,基于广电网络基础设施的IaaS、PaaS与互联网模式不同,广电智能云平台应建设成类似于微信“小程序”架构,最起码让业务的应用开发与终端操作系统尽量无关、与网络基础设施尽量无关。面向广电网络及终端应用的智能云平台(PaaS)基本需求广播电视视频送达用户的业务开发及运营无须针对网络及终端的基础设施进行适配调整;视频时移、回看、点播等业务的开发及运营无须针对网络及终端的基础设施进行适配调整;新开展业务能够尽量通过PaaS普及到广泛的用户手上;让平台上积累的业务和应用成果能够通过PaaS平滑地渗透到所有可能接入网络及终端基础设施的设备上,从而拓展用户规模;引进和接入更多的成熟的杀手级业务到平台的用户;基于平台的用户规模能支撑以轻量的开发投入产生强大的应用价值。

总之,支撑业务的运营规模和降低应用开发与发布门槛是广电网络PaaS平台的基本要求和重要指标。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈