(一)技术挑战
企业在应对处理大数据的各种技术挑战中,对于以下七个问题应引起高度重视。
1.大数据的去冗降噪技术
大数据一般都来自多个不同的源头,而且往往以动态数据流的形式产生。因此,大数据中常常包含有不同形态的噪声数据。另外,数据采样算法缺陷与设备故障也可能会导致大数据的噪声。
2.大数据的新型表示方法
目前表示数据的方法,不一定能直观地展现出大数据本身的意义。要想有效利用数据并挖掘其中的信息或知识,必须找到最合适的数据表示方法。
3.高效率低成本的大数据存储
大数据的存储方式不仅影响其后的数据分析处理效率,而且还会影响数据存储的成本。
4.大数据的有效融合
数据不整合就发挥不出大数据的大价值。大数据的泛滥与数据格式有很大关系。
5.非结构化和半结构化数据的高效处理
据统计,目前采集到的数据有85%以上是非结构化和半结构化数据,而传统的关系数据库技术无法胜任这些数据的处理,因为关系数据库系统的出发点是追求高度的数据一致性和容错性。以Map Reduce和Hadoop为代表的非关系数据分析技术,以其适合非结构数据处理、大规模并行处理、简单易用等突出优势,在互联网信息搜索和其他大数据分析领域取得了重大进展,已成为大数据分析的主流技术。
6.适合不同行业的大数据挖掘分析工具和开发环境
不同行业需要不同的大数据分析工具和开发环境,应鼓励计算机算法研究人员与各领域的科研人员密切合作,在分析工具和开发环境上进行创新。
7.大幅度降低数据处理、存储和通信能耗的新技术
大数据的获取、通信、存储、管理与分析处理都需要消耗大量的能源。
(二)运用大数据技术的挑战
从系统的方面讲,从操作系统到数据库,再转变到数据服务平台,在大数据时代,传统开发工具已经不能适应时代的发展,大数据管理及处理能力将引领网络发展,社会计算将引起应用模式的变革,新的工业革命正在以一种全新的形式悄然出现。目前,大数据技术的运用仍存在一些困难与挑战,主要体现在大数据挖掘的四个环节中,具体内容如下。
1.数据收集方面
要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。
2.数据存储方面
要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。
3.数据处理方面
有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多元异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。
4.结果的可视化呈现
目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
(三)大数据可用性的挑战
确保数据可用性是一项十分困难的任务。考虑到大数据的数据量大、数据产生速度快、数据类型复杂、价值大密度低等特点,确保大数据可用性将变得难上加难。大数据可用性有以下五个挑战:(www.daowen.com)
1.高质量大数据获取与整合的理论和技术
高质量数据的获取是确保信息可用性的重要前提。海量数据的来源多种多样,数据形态千差万别,质量参差不齐,加工整合困难。
2.完整的大数据可用性理论体系
如何形式化地表示数据可用性?如何从理论上判定数据可用性?如何定量地评估数据可用性?数据错误自动发现和修复的理论依据是什么?数据和数据质量融合管理的理论基础是什么?数据如何演化?若没有一个完整的数据可用性理论体系,这些问题是无法回答的。
3.数据错误自动检测与修复的理论和技术
现有的数据可用性的方法和系统缺乏坚实的理论基础,不能实现自动的错误检测和修复。
4.弱可用数据上的近似计算的理论和技术
当数据中的错误不能彻底修复时,这些数据称为弱可用数据。直接在弱可用数据上进行满足给定精度需求的近似计算,不失为一个有意义的选择,遗憾的是现有的理论与算法无法支持弱可用数据上的近似计算。
5.弱可用数据上的知识发掘与演化的机理
大数据的可用性问题必然导致源于数据的知识的可用性问题。当数据完全可用时,从正确的大数据中发掘知识以及从数据演化探索知识演化机理的研究已经很困难。当数据弱可用时,弱可用大数据上的知识发掘与演化机理的研究将更加困难。
(二)风险挑战
大数据技术在很大程度上缩短了数据处理的时间,提高了财务信息使用效率,加强了企业财务预算管理的能力,改善了内部控制环境,强化了风险管控意识,促使财务人员进一步转变角色,极大地提升了企业财务管理的信息化水平。与此同时,也带来了财务管理内涵、管理机制以及管理技术和信息安全等方面的变革和挑战。
1.财务管理的价值内涵发生变化
大数据时代,企业的财务管理理念也发生了根本性变化。传统的财务管理模式主要集中于票据核算、报表分析和记账预算等工作,在大数据技术的发展和影响下,财务管理内涵逐渐扩大,逐渐渗透到业务部门,甚至整个行业,开始在海量资料中收集、提取分析和处理财务数据,为生产、研发、销售和流通等领域提供更有决策性、价值性的财务信息。此外,随着信息资产日益成为企业重要的生产要素,财务部门也从初始的服务性、辅助性职能部门向集财务风险管理、成本控制、融资等于一体的综合性管理部门转变。这一方面有利于财务信息和非财务信息的高度整合,保证资金流稳定,实现与物流的对接;另一方面也扩大了财务管理对象的范围,增加了数据收集和处理的难度,加大了财务管理工作量,对财务人员提出更高要求,其能否转变传统管理理念、树立战略性思维、提升业务能力、打破数据边界、扩展财务信息处理的深度和广度,则成为企业竞争中取胜的重点。
2.财务管理机制和组织结构变革
财务数据是企业进行财务管理的基础和核心,它通过对企业的资金收支情况的详细记录,反映企业的经营状态,并在充分处理和分析前提下,识别企业的财务风险,为企业进一步决策提供依据。在大数据时代,由于财务信息收集和处理的复杂性,在很大程度上给企业财务管理机制带来了挑战,主要体现在以下两个方面:
一是财务数据规模膨胀,收集和处理的难度增大。大数据背景下财务数据的来源较广,且类型复杂多样、变化速度快,如何进行数据收集和整理,并有效分类和处理成为管理机制的新难题。
二是财务信息与业务信息的融合,延伸了管理广度。财务数据不仅要关注传统的会计信息,更要将各业务部门、各行业、社会各方面的信息纳入数据体系,造成财务管理工作量加大,有待于进一步创新财务管理方式予以解决。此外,由于大数据技术的影响,财务部门内部分工日益精细,在组织结构调整上也将带来重大变革,以明晰岗位需求和人员责任,为财务管理水平的提高创造条件。
3.财务管理的技术难度增加
在信息化时代,大数据的多样性和复杂性为企业财务管理掌握更多的信息,提高数据的处理效率带来了机遇。但与此同时,大数据本身的规模巨大、类型多元和价值密度低等特征也对企业财务信息的管理和技术水平要求提出了挑战,主要体现在以下两个方面:
一是财务数据来源广,结构复杂,信息收集和挖掘技术难度大。大数据时代财务数据打破了国家、行业以及地域等方面的限制,来源渠道更加多元,且呈现网络化和层次性特征。语义、语态等方面的变化也导致数据结构更加复杂,如何在巨量的数据资料中收集和挖掘财务信息还需要进一步提高技术水平,向更加动态、智能化的分析方法发展。
二是大数据的价值密度低,信息准确性不高,在财务数据的辨别上技术要求提高。财务数据的真实性和准确度在很大程度上影响企业的战略决策和发展方向,若不能辨别财务数据的真伪,则很难在市场竞争中获得主动。大数据的价值密度低,对企业的财务管理技术提出了更高要求,需要创新分析工具,运用新技术手段解决这一难题,为企业决策提供依据。
4.财务管理信息的安全性降低
对传统的财务管理来说,对财务数据的使用和处理一般采用实名制,需要验证个人信息才能进入系统、应用数据,通过使用痕迹可以实现用户追踪,因此财务数据的安全系数极高,被成功窃取的概率较低。
在大数据时代,由于互联网等技术的广泛应用,财务数据具有来源丰富、类型复杂多样的特点,加之开放使用、更新速度快、环节增加,不仅容易造成信息失真,更给企业财务管理的安全性带来风险,主要体现在以下两个方面:
一是用户信息获取更简单。大数据时代,用户在应用互联网、电子信息设备等收集、使用数据的过程中,也无形中部分泄露了个人的关键信息,数据供应商很可能“钻空子”,给企业造成财务风险。
二是财务信息破解的难度降低。大数据的使用使得财务信息流互动频率增加,在交易过程中很容易造成源代码的流失和密码破解,加之企业防火墙等信息软件更新速度慢,导致企业财务管理信息的安全性降低,亟待创新安全工具和防护软件,严密维护企业财务信息安全。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。