理论教育 探析大数据管理的关键技术和指标

探析大数据管理的关键技术和指标

时间:2023-05-29 理论教育 版权反馈
【摘要】:大数据将用户分为潜在用户、竞争对手用户、现有用户、流失用户等。其中,针对大数据源的智能感知识别、传输的适配和接入等技术为关键技术。对于大数据而言,高可存储性、高可视化、高处理性、高可靠性及有效传输等几个关键问题是大数据管理技术的关键性能指标。

探析大数据管理的关键技术和指标

随着移动互联网的迅速发展和云技术的不断创新,大数据(Big Data)越来越引起人们的关注。大数据是指无法在短时间和一定范围内用常规软件工具(包括数据库软件在内)进行数据捕捉、数据管理和数据分析处理的数据集合。大数据需要用新的方式来增强数据分析的能力、数据挖掘的能力和流程预期的能力,以实现当前对数据需求的海量、高增长性和多样化的需求。另外,大数据是一个综合性的概念,它包括但不限于海量的数据集合和数据产生的信息资产,是一种对数据集合进行收集整理、存储划分、后期处理、分析和利用的技术,它能够通过这些数据获得实用意义和观点,分析市场发展走势、了解终端用户需求,并根据分析结果对用户进行精准化的服务跟进,发掘一切可以利用的价值。

大数据技术在呼叫中心的发展中起着至关重要的作用,呼叫中心本身就是数据集合的载体,呼叫中心承载的不仅仅是大批量的、结构化可分析的数据,还有很多非结构化的附属数据,所以未来呼叫中心发展需要以大数据和云计算为基础,深层拓展数据可用性、挖掘数据延展性,为呼叫中心智能化、便捷化、精准化发展作出重要贡献。

金融科技行业的发展竞争激烈,产品的种类已经定型,可以衍生出的有创意的新产品凤毛麟角,那怎样才能在这场没有硝烟的战争中脱颖而出,获得最后的胜利呢?大数据应用就是一把利剑,谁能利用好这个武器,对金融数据、产品和用户进行定制化的专业分析并做出相应策略,谁就能获取最后的胜利。

不仅是在金融科技行业,激烈市场竞争中的所有行业都存在这样的问题,所以怎样通过用户的最前端数据深入挖掘市场的需求、了解市场动向、规避企业风险等就成为至关重要的一环。而前端数据正是由企业的窗口——呼叫中心产生的,用户的来电信息、产品信息和投诉信息里蕴含了企业发展的重要信息。

大数据将用户分为潜在用户、竞争对手用户、现有用户、流失用户等。

潜在用户是营销工作中耗费精力和时间成本最多的一类用户。在潜在用户的心理状态处于左右未定的阶段第一时间切入营销,是建立和提高潜意识满意度的最佳时机。

竞争对手用户在营销中需要谨慎对待。因为既有的潜意识满意度思维会引导用户排斥同类的其他商家,商家需要在话术和技巧上下较大功夫。一旦用户有排斥的话语出现一定要提前为客服提供话术变化的支持服务,如可以通过抓住用户对现有产品的不满之处为用户推荐新品。

现有用户是相对较容易维护的用户。针对现有用户所关注和使用的产品进行新品推荐购买是非常容易的。

流失用户是企业较大的风险来源。风险控制除了通过人员监督控制以外,更需要通过系统得到预警。不同来源的零散大数据通过抽取用户的完整信息来展现用户是如何流失的。用户在流失前的种种互动迹象就是警告信息,从开始抱怨到最终流失之间的任何时候都可以进行干预和挽回。同时流失后用户对产品的失望会延续,仍然可能会通过社交媒体波及身边的亲人和朋友,流失用户的继续跟进和主动服务也是企业服务的必修课。

大数据在呼叫中心的应用不止于此,数据的应用涉及企业管理、员工管理、用户维护等。企业管理中需要依据实时的消息做出积极的响应,大数据的应用能够全方位的监控企业服务和运行状态,为企业全天候实时把脉,高效规避风险,提升企业竞争力

●大数据技术盘点

目前,大数据技术主要集中在大数据收集、大数据存储、大数据结构处理和数据分析方面。以当前技术背景分析,互联网产生的海量数据中超过80%的数据都不是结构化的数据,主要是半结构化和非结构化的数据,传统的关系型数据库已经无法处理如此海量数据了。

数据处理关键技术主要包括大数据采集技术、大数据存储及管理技术、大数据预处理技术、大数据分析及挖掘技术、大数据展现和应用技术。

●大数据采集技术

数据采集,首先需要定义什么是数据,数据是指通过人工记录、平台技术手段记录、社交网络交互及移动互联网等方式获得的各种类型的结构化、半结构化及非结构化的海量数据,是大数据技术服务模型的根本。目前,基本的数据采集手段已不能满足海量数据的需求,这就需要采用具有分布式结构特点,能更高速且更可靠进行数据采集和获取并可以进行大批量数据全映像的大数据收集技术和能突破高速数据解析、转换与装载等的大数据整合技术来设计质量评估模型和开发数据。

大数据采集是一个繁杂的过程,需要从以下两个层次进行解析。第一层为大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入体系,实现对结构化、半结构化、非结构化海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。其中,针对大数据源的智能感知识别、传输的适配和接入等技术为关键技术。第二层是基础支撑层,主要提供大数据服务平台所需要的虚拟或物理服务器、结构化、半结构化及非结构化数据的数据库工具及物联网络资源等基础支撑环境

●大数据存储及管理技术

大数据存储指的是用存储器把多渠道采集来的海量数据存储起来,并进行管理和调用。大数据管理技术的重点是如何解决复杂结构化、半结构化和非结构化大数据管理与处理的技术。对于大数据而言,高可存储性、高可视化、高处理性、高可靠性及有效传输等几个关键问题是大数据管理技术的关键性能指标。大数据存储及管理技术包括开发可靠的分布式文件系统,能效优化的存储,能融入计算的存储,大数据信息的去冗余及高效低成本的大数据存储技术,分布式非关系型大数据管理与处理技术,处理异构数据的数据融合技术,大数据组织技术,大数据建模技术,大数据索引技术,大数据移动、备份、复制等技术,开发大数据可视化技术等。

●大数据预处理技术

大数据预处理,就是对大数据进行预先处理,主要完成对已接收数据的分析提取、清洗等操作。(www.daowen.com)

①提取:因为从各个渠道获取的数据必定具有多种结构和类型,数据提取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的结构,以达到快速分析处理的目的。

②清洗:面对海量大数据资源,并不是所有数据都有利用价值,有些数据并不是我们所关心的内容,有些数据甚至是完全错误的干扰项,因此要对数据进行过滤“去噪”从而提取出有效数据。

●大数据分析及挖掘技术

大数据分析技术指的是改进现有数据挖掘和人工智能学习的技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘的技术;基于对象的数据连接、数据的相似性连接等大数据融合的技术;对于用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘的技术。

大数据挖掘技术就是从大量的、无规则的、定义不清晰的、不同业务的实际应用数据中,提取隐含在里面的、不确定是否有实际意义,但实际上又是潜在的有用信息和知识的技术。数据挖掘涉及的技术有多种分类法,根据挖掘任务的不同可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等;根据挖掘对象的不同可分为关系数据库、面向对象数据库、时态数据库、文本数据源、空间数据库多媒体数据库、异质数据库、遗产数据库等;根据挖掘方法不同可分为:机器自动学习方法、数据统计方法、神经网络方法和数据库方法等。机器自动学习方法可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习方法、遗传算法等。数据统计方法可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法可细分为:前向神经网络、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析方法,也是最常用的方法。

大数据挖掘任务和挖掘方法,需要着重突破以下五项内容:

(1)数据可视化分析

数据可视化是把数据直观地显示出来,不管使用者是谁,数据可视化分析都是最基本的功能。数据图像化可以让数据自己说话,让用户直观地感受结果。

(2)数据挖掘算法

数据可视化、数据图像化是将机器语言翻译给用户也就是使用的人看,而数据挖掘就是机器的母语。分割算法、集群算法、孤立点分析算法还有其他各种算法为我们精炼数据、挖掘价值提供技术支持。这些算法一定要在才能够应对大数据量的同时还具有很高的处理速度。

(3)预测性分析

预测性分析是市场或者企业重要的应用环节,可视化的数据可以让分析师根据图像化分析和数据挖掘的结果做出一些利于公司发展或者产品法阵的前瞻性判断。

(4)语义引擎分析

语义引擎分析是语言处理技术的一种,它涉及人工智能技术,有自我学习能力的人工智能引擎,可以从数据中主动地提取信息并进行分析。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。

(5)数据质量和数据管理

数据质量与管理是呼叫中心管理的最佳实践,透过标准化流程对数据进行处理以确保获得预设质量的分析结果。

●大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,提高整个社会经济的集约化程度。在我国,大数据已重点应用于以下三大领域:商业智能、政府决策和公共服务。如电信数据信息处理与挖掘技术,电网数据信息处理与挖掘技术,气象信息分析技术,环境监测技术,警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统),大规模基因序列分析比对技术,网页信息挖掘技术,多媒体数据并行化处理技术,影视制作渲染技术和其他各种行业的云计算和海量数据处理应用技术等。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈