理论教育 暗数据分析:金融科技的解决方案

暗数据分析:金融科技的解决方案

时间:2023-08-09 理论教育 版权反馈
【摘要】:而进行暗数据分析时,人们主要是在分析那些文本形式的原始数据,如文本信息、文件、电子邮件、音频视频文件以及静态图像。暗数据分析通常关注三个维度:手头上的未开发的数据。金融科技是以数据为资源,以技术为基础的,暗数据分析将会大大缓解科技初创企业及金融机构巨头对日益趋近饱和的数据的“焦虑感”。不过,要清楚,效果最好的暗数据分析项目往往有清晰的目标和范围。

暗数据分析:金融科技的解决方案

互联网浪潮下,数据获取变得很容易,但如何利用数据是最有利的呢?把所有想得到的数据,所有可能的服务都集合到终端上是一个很不错的思路。互联网使数据的积累变得连续,数据点极大地丰富了起来,数据观念发生了变革。

对于企业来说,不断增加的存储数据仍然是非结构化的数据。虽然大数据一直在强调其对非结构化数据的挖掘和分析能力,但目前,仍然只有极少企业能分析非传统的数据源,如图片、声音和视频文件,物联网产生的机器和感应器信息流,还有“深网”未探索的那些海量的原始数据将更难处理。然而,最近计算机视觉、模式识别和认知分析等技术的发展,使公司能够看到这片蓝海,从而把对非结构化数据的获取提上了日程。

当人们谈到商业数据时,会用“暗”字来形容那些未发掘或未理解的东西。而进行暗数据(Dark Data)分析时,人们主要是在分析那些文本形式的原始数据,如文本信息、文件、电子邮件、音频视频文件以及静态图像。有的时候,人们也会对“深网”进行暗数据分析。所谓“深网”是指那些没有被索引擎索引的网络信息,包括“暗网”的一个小的子集(暗网是一种匿名且不对外开放的网站)。我们无法精确计算出整个深网的大小,但据估计,它比表网大了至少500倍(表网是人们每天会浏览的那些网站)。

暗数据分析通常关注三个维度

(1)手头上的未开发的数据。很多组织中,大量的结构化和非结构化数据都是闲置的。“传统”的非结构化数据如电子邮件、笔记、信息、文件、日志以及通知(包括物联网设备的推送通知),都是文字信息,而且都储存在企业内部,但它们的开发程度还是很低。如果把这些非结构化数据资产加以挖掘,会得到许多关于定价、客户行为以及竞争对手的有价值的信息。(www.daowen.com)

(2)非传统的非结构化数据。对于这种数据,你不能用传统的报告和分析技术进行挖掘,包括音频、视频文件和静态图像等。运用计算机视觉、高级模式识别以及视频和声音分析等技术,公司可以更深入地理解顾客、雇员、运营和市场。例如,分析录像中顾客的姿势、表情和手势,零售商就可以更好地理解顾客的心情和意图;对于油气公司,可以通过声音感应器监控管道,通过算法对石油流速和组成实现可视化检测;而娱乐公园只需分析他们的安保录像带就能实现到园人数统计——到园游玩的客人中,自己开车来的、坐公共交通工具来的、走路来的分别有多少,又分别是什么时候来的。如果能对音频和视频类的流文件做实时分析,就能实现信号检测和回应。诸如此类的数字信息不仅带来解决现有问题的新思路,还会带来新机会。

(3)深网数据。深网中包含的未开发信息可能比任何其他网络都多,这些数据来自学术界、财团、政府机构、社区以及其他第三方领域。不过深网不仅体积庞大,而且明显缺乏结构性,这两点大大提高了搜索难度,就目前而言,要想得到有用的信息,你只能对那些定义明确的目标进行数据挖掘。随着智能机构开始监控深网活动的体积和环境来识别潜在威胁,帮助用户定位深网中发现的科学研究乃至业余爱好者线索将成为未来的趋势之一。

金融科技是以数据为资源,以技术为基础的,暗数据分析将会大大缓解科技初创企业及金融机构巨头对日益趋近饱和的数据的“焦虑感”。显然,通过在上述几个维度寻找最适合的暗数据分析方法,这些企业就能够找到技术创新和服务创新的空间。

不过,要清楚,效果最好的暗数据分析项目往往有清晰的目标和范围。和任何分析都一样,成功的第一步是提出一系列具体的问题。你要解决什么问题?先有一个具体的问题和方向,才能谈数据分析,这样才能避免企业迷失在数据的海洋里。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈