【摘要】:相比于传统静态数据,流式数据有以下特点。
相比于传统静态数据,流式数据有以下特点。
1.时效性
流式数据是实时非匀速到达的。流式数据实时产生,且随时间不断演化,如系统不能及时有效地对数据进行接收和处理,将造成数据的丢失,影响系统的挖掘效果。
2.时序性
流式数据按时间顺序到达,到达次序独立,不受应用系统所控制。流式数据的到达顺序和系统配置无关,系统对流式数据的访问只能按其到达顺序进行。
3.无限性(www.daowen.com)
流式数据保持持续不断到达,数据规模宏大且不能预知其最大值。所以流式数据无法一次性全部存储。
4.易失性
对待流式数据,原则上只能进行一次或有限次访问,数据一经处理,除非特意保存,否则不能被再次取出处理,或者再次提取数据代价昂贵。数据以“流”的形式存在,数据量巨大,但存储空间有限,若不能及时保存将不能重复访问。
5.突发性
流式计算环境中,数据的产生完全由数据源确定,由于不同的数据源在不同时空范围内的状态不统一且发生动态变化,导致流式数据的速率呈现出了突发性的特征。前一时刻数据速率和后一时刻数据速率可能会有巨大的差异,这就需要系统具有很好的可伸缩性,能够动态适应不确定流入的流式数据。系统还需具有很强的计算能力和大流式数据量动态匹配的能力。一方面,在突发高流式数据速的情况下,保证不丢弃数据,或者识别并选择性地丢弃部分不重要的数据;另一方面,在低数据速率的情况下,保证不会太久或过多地占用系统资源。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。
有关交通运输物流大数据分析与应用的文章