理论教育 流式数据技术在交通物流行业的应用与研究

流式数据技术在交通物流行业的应用与研究

时间:2023-06-11 理论教育 版权反馈
【摘要】:近年来,大数据技术兴起,流式数据的特点决定了相关技术和应用离不开大数据技术。本章4.2.1和4.2.2中,使用流行的分布式实时计算框架和相关大数据产品,结合交通运输物流行业中的流式数据对相应的业务场景进行实时分析,使用CluStream流式聚类方法对交通运输物流热力实时分析方法进行研究,之后基于流式数据分析与实时计算框架提出一种大规模流式数据环境下车货实时匹配分析方法。

流式数据技术在交通物流行业的应用与研究

本章介绍了流式数据的定义、特点、统计方法和聚类方法,以及流式数据实时分析在交通运输物流领域中的应用。流式数据指按照时间顺序无限增加、持续的数据组成的数据序列,它具有与传统静态数据不同的特点:非匀速、按时间顺序到达、无限、易失和突发等。由于流式数据具有的这些特点,针对流式数据进行统计分析需要首先解决数据存储和数据时效性等问题,常用的抽样统计方法有:抽样技术、概要技术和时间窗口等。这些统计方法的提出给流式数据聚类提供了良好的指导思想,很多经典流式数据聚类算法都是利用抽样统计技术等存储和维护相应的流式数据的统计信息,使用时间窗口对不同时间段的数据进行差异化处理,提高了流式数据聚类的准确度,降低了内存、硬盘等存储资源的使用量。流式数据聚类算法来自传统数据聚类算法,因此也可以分为基于划分、基于层次和基于网格密度等几类。主要的流式数据聚类算法有Stream、CluStream、HPStream、DenStream和D-Stream等。近年来,大数据技术兴起,流式数据的特点决定了相关技术和应用离不开大数据技术。本章4.2.1和4.2.2中,使用流行的分布式实时计算框架和相关大数据产品,结合交通运输物流行业中的流式数据对相应的业务场景进行实时分析,使用CluStream流式聚类方法对交通运输物流热力实时分析方法进行研究,之后基于流式数据分析与实时计算框架提出一种大规模流式数据环境下车货实时匹配分析方法。(www.daowen.com)

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈