理论教育 面临挑战的数据挖掘研究与应用

面临挑战的数据挖掘研究与应用

时间:2023-06-17 理论教育 版权反馈
【摘要】:将物联网、云计算、大数据与数据挖掘研究联系起来,不仅具有深远的科学研究价值,而且将产生巨大的经济效益和社会价值。

面临挑战的数据挖掘研究与应用

7.3.1.1 数据挖掘与物联网、云计算和大数据

简单来说,物联网就是物物相连的网络,是数字世界物理世界的高度融合。物联网底层的大量传感器为信息的获取提供了一种新的方式。这些传感器不断地产生着新的数据,随着各种各样的异构终端设备的接入,物联网采集的数据量也就会越来越大,其数据类型和数据格式也会越来越复杂。这些数据与时间和空间相关联,有着动态、异构和分布的特性,也为数据挖掘任务带来了新的挑战。

云计算是一种基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态、易扩展且经常是虚拟化的资源(包括硬件、平台和软件),实现了设备之间的数据应用和共享。随着物联网的发展,感知的信息不断增加,需要不断地增加服务器的数目来满足需求。但由于服务器的承载能力是有限的,服务器在节点上出现混乱和错误的概率大大增加。为了更好地提供服务,基于云计算的系统能有效地解决物联网分布式数据挖掘中所遇到的问题,在进行相关数据挖掘时能够显著地提高性能。

目前,大数据已成为继物联网、云计算之后又一信息科技的新热点。大数据在本质上仍然是海量数据,但规模更大,实时性和多样性特点更明显,相应的数据挖掘技术也需要有所改进,研究如何处理半结构化,甚至非结构化的数据是目前大数据挖掘面临的挑战之一。

将物联网、云计算、大数据与数据挖掘研究联系起来,不仅具有深远的科学研究价值,而且将产生巨大的经济效益和社会价值。

7.3.1.2 大数据时代的数据挖掘面临着新的挑战

大数据时代的数据挖掘面临着新的挑战,主要表现在以下几个方面。

(1)数据类型的多样性(www.daowen.com)

不同的应用、系统和终端,由于标准的差异性,会产生不同结构的数据,其中包括结构化数据、半结构化数据和非结构化数据,对这些异构化数据的抽取与集成将成为一大挑战。

(2)数据挖掘算法的改进

大数据时代,数据的量级达到了一个新的阶段,而且还有其他新的特征,现有挖掘算法需要基于云计算进行改进,以适应不同应用对数据处理能力的需求。

(3)数据噪声太大

由于普适终端所处地理位置的复杂性,产生的数据具有很多噪声。在进行数据清洗时,不易把握清洗粒度。粒度太大,残留的噪声会干扰有价值的信息,粒度太小,可能会遗失有价值的信息。

(4)数据的安全性与隐私保护

互联网的交互性使得人们在不同地点产生的数据足迹得到积累和关联,从而增加了隐私暴露的概率且这种隐性的数据暴露往往是无法控制和预知的。随着数据挖掘工具和电子产品的日益普及,保护隐私和信息安全是数据挖掘将要面对的一个重要问题。这就需要进一步地开发,以便在适当的信息访问和挖掘过程中保护隐私和信息安全。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈