大数据的奥秘

事实上并不是说大数据的处理就有多困难。收集一些数据，企业的分析专家团队就可以开始进行数据价值的探索。企业要做的就是要让分析专家团队最近地去接触那些数据，接下来的工作才是开始进行分析探索。要相信分析专家和数据科学家们都会很好地做好他们应该完成的工作。

一个很老的拇指法则指出，分析数据的工作的时间中有70%~80%都花在了收集和整理之上，剩下的20%~30%的时间才是真正的分析。大数据在刚开始处理的时候，分析时间所占的比例就更低了。一开始分析专家会用95%左右的时间来处理数据，甚至有时还会达到100%，接下来才会思考这些数据如何用来做更为深层次的分析。

上述做法必须得到理解。首先分析数据的流程中最重要的一环就是要先弄明白数据源的本质。对它们的表现、调整加载情况过程反复地进行检查，才能保证选择出能够更好地服务于目标的数据，虽然有很多数据并不那么吸引人或是令人兴奋，可确实是选出了最重要的数据。要是这些步骤都被忽略的话，那后面的分析环节就不能继续。

大数据中最优价值的部分被确定了，也就能确定用什么办法选择提取这些最优且精确的部分，这是最为关键的环节。这一环节必然是非常耗时的，尽管是花了比预计还要多的时间，也不用为此懊恼。因为企业的分析专家和业务赞助商是需要在弄明白数据源的过程中寻找一个代价最小、见效最快的方式。不论这东西是不是微不足道，但要给企业展示的一定是最有价值的东西。人们可以因此对此过程保持最高的兴趣，并协助其他人理解进展的过程。

大数据要如何应用到业务中，这是个非常耗时耗力的过程。在这一过程中，企业的分析专家和业务赞助商总是想要找到最有效的方式，为企业展示这方面的进展，并以此来赢得最稳定的回报。

举个欧洲零售商的例子，公司总想获得最为详尽的网络日志数据。公司在经历了一个漫长且复杂的收集数据的过程后，开始实施了一系列简单的举措，其中包括鉴别用户浏览过的商品，在这些数据的基础上，他们建立了一个电子邮件系统，目的是为了给浏览过商品却未购买的顾客发邮件。企业从中获取了高额的利润。

公司采取了类似的基本早期措施外，还会继续投资于收集和加载网络数据之上。最为关键的一点在于他们缺乏处理整套数据流的经验和意愿。试想一下经过数据的深层次分析后他们所得到的回报。也正是因为这些快速及时的进展，每个在企业中的人都乐意再继续下去。他们或许从最早期的举措当中看到了数据的巨大威力，也已经为未来的努力买过单了。

顾客给予的是个体具体行为，这一点是最重要的。上述的例子当中已经让他们认定个人的重要性体现在了模式分析的输入数据上。每个个体从获取价值上来说并不需要识别。分析专家如今已经可以利用数据库技术在不识别个体的情况下完成分析。很多隐私的顾虑就可以就此消除了。事实上不少企业都这样来定位和分析具体个体的顾客。这些企业想必都已经制定了关于隐私保护的政策，不论在什么前提之下，这些隐私政策都要谨慎地遵守。

世界在小数据时代是如何运作的，人们总是希望通过分析和收集数据来证明这一设想。不久以后，大数据时代的到来，人们就不再局限在这设想中。因为数据的分析和研究让人们发现了从前没发现的联系。(www.daowen.com)

自然理论或是社会科学带来的人们的设想，也让我们理解和预测周围的世界。人类在经历假想时代到数据时代的过渡中，很可能会发现理论不再需要了。

《连线》杂志的主编克里斯·安德森（Chris Anderson）在2008年就指出：“科学研究方法因为数据爆炸都变得落伍了。”此后他还在《拍字节时代》（The Peta byte Age）的封面故事中提到了，从某种意义上说，大数据就说明了“理论的终结”。安德森曾提出，如今不再需要一系列因果关系来验证各种设想了，这种传统研究模式早已被无理论指导的纯粹相关关系研究所代替。

安德森为了证明自己的想法，阐述了之所以量子物理学称为纯理论学科的原因正是由于高耗费、复杂实验等等。他所提到的潜在观点就在于量子物理学的理论已经和实际剥离了。他提到了谷歌设计的搜索引擎和基因排序工作，他认为：“海量数据时代，所有其他的学科已经为应用学科所取代。只要是有足够的数据问题就可以说明清楚。假设有一拍字节的数据，并了解数据之间的相互关系，那问题就可以得以解决。”

安德森的文章在专业领域引起了轩然大波，事实上安德森也认识到了自己发出了过于偏激的言论，可是某种程度上说他的话还是值得深究的。当中最为核心的是，截至目前，理论总是用来在实践中理解和分析世界的，可是到了大数据时代理论已经不再必要，数据就够了。也就是说譬如世界的运作、人类的行为等等普遍规则也都不重要了。现在最重要的是数据分析，一切问题都能解决了。

事实上，大数据也是有理论基础的。譬如分析大数据所用的就是统计和数学理论，还可能涉及部分计算机科学理论。尽管和地心引力理论差异很大，但不管怎么说也是理论。大数据分析模式如果建立在这些理论之上，那必然可以实现大数据的预测能力。事实上，为人们提供新鲜深刻的洞见就是大数据的价值所在。

第一要关注的是如何收集数据，是不是数据收集的方便程度就是决定的关键因素呢，还是数据收集的成本呢？众多的理论影响了人们的决定，就如达纳·博伊德（Danah Boyd）和凯特·克劳福德（Kate Crawford）说的那样，一定程度上，结果由选择所决定。谷歌用检索词来预测的是流感而不是鞋码。分析数据的时候选择工具依赖的同样也是理论。研究结果的解读同样应用的也是理论。在大数据时代不代表理论消亡，相反却是在大数据的方方面面都渗透着理论。

安德森作为第一个发现这个问题的人，尽管没有得到合适的答案，也值得让人们欢呼。大数据不会宣称“理论已死”，当然它也从本质上改变了理解世界的方式。以往的习惯都被颠覆了，旧有的制度也面临着巨大的挑战。

当人们选择大数据的理念和方法的时候，就会感觉大数据所释放出来的价值已经让这些不再是一种权衡，而是未来的必然改变。高科技行业当中，不少人认为要依靠新的工具来到达大数据的彼岸，这观点可以理解为由于他们是工具制造者的缘故。大数据趋势的深层原因就是海量数据的存在，包括越来越多以数据形式存在的事物。