指引大数据未来发展方向的九大真理
风格 《 中华读书报 》( 2013年10月30日 21 版)
1.“相关性并非因果关系”
在名为《猜测的隐性成本》的文章中,Alistair Croll指出:“最明显的相关性表现在大数据的专长方面……并行计算、算法的改进以及摩尔定律的准确特性已经大大降低了对数据集进行分析的成本,”由此衍生出一个“由数据驱动的社会,既聪明又愚蠢。”最终结论?保持聪明的特性,尊重相关性与因果关系之间的差别。模式只是表现、并非结论。
2.“所有模型都是错误的,但其中一些确实管用”
意外事件统计学家George E.P.Box在他1987年编撰的教科书《实证模型构建与响应面》当中写下了这样的结论。在从教的整个职业生涯当中,Box一直努力将自己的思路转化成模型,而这种习惯对于大数据分析技术而言非常适用。
3.大数据(几乎)洞悉一切
如果大家还无法认同这一结论,请尽快强迫自己接受。这句话源自Scott McNealy在1999年发表的一份声明,他表示“大家将彻底告别隐私……请学会适应这一点。”如今大数据侵入个人生活的例子比比皆是:分析师有能力根据社交言论推断发言者的性别,或者通过购买习惯判断其家中是否存在孕妇。
4.“与业务相关的信息当中,有八成源自非结构化形式,主要是文字(但也包括视频、图像以及音频)”
在2008年的一篇文章中有这样的结论———虽然正如当时所说,由于很难精确量化,可能早在上世纪90年代初非结构化数据已经扮演起重要角色,只是我们当时体会不到。总而言之,八成以上的说法只是种模糊的概念而不能过分较真。
5.“这不是信息超载,而是过滤器故障”
Clay Shirky在2008年9月于纽约举办的Web2.0博览会上提出了这一论断。Shirky对于过滤器本身的评价显得有些保守,例如“数据量的增加并不意味着就能带来更好的结论”,但这正好与我的观点不谋而合。但前提是事情别做过头。
6.“相同的含义可以通过多种不同方式进行表达,相同的表达当中可以涵盖多种不同含义”
在2009年3月IEEE智能系统大会上,谷歌公司员工Alon Halevy、Peter Norvig以及Fernando Pereira在一篇题为《数据的非合理化有效性》一文中陈述了以上观点。数据的非合理化有效性是如何显露出来的?他们给出的答案是,“不精确且模棱两可的”自然语言的语义解释就是最好的实例。
7.“大数据的核心不是数据!大数据的价值在于分析”
哈佛大学教授Gary King在与第六条中的几位谷歌员工一同出席IEEE会议时表达了这一观点。不过我并不完全赞同King的这种
说法。在核实数据需求并制定理想方案以收集并整理数据结构的执行过程当然也存在价值。分析能够帮助我们发现这些价值,因此我站在King的肩膀上总结出这样一种更准确些的表述:大数据的价值通过分析来实现。
8.“直觉的重要性并未受到影响”
这句话来自Phil Simon,Somin解释称,“大数据并没有,至少目前还没有,取代直觉;后者仅仅作为前者的补充存在。二者之间的关系是连贯统一的,而绝不是非黑即白。Tim Leberecht在今年六月由CNN刊发的《为什么大数据永远无法替代商业直觉》一文中也做出了类似的表述。
最后,这八大指引未来的真理还需要最后一点补充才够完整———不过这一点尚未得到广泛理解:
9.大数据的未来在于综合与背景
大部分解决方案当中所欠缺的元素在于整合不同来源信息的能力,这种能力会以适当方式考量与内容相关的产生环境,从而得出准确的结论。这里我打算引用设计策略师Jon Kolko在一份启发性论文中所涉及的论证过程(当然,多少会有些断章取义)。首先,Kolko援引了认知心理学家———他们尝试研究直觉与解决方案之间的联系———的结论作为例子。当事者会“根据实际背景理解人物、地点以及事件之间的关联,弄清事件发生的具体时间,从而对未来可能发生的情况做出判断并采取相应的行动。”
Kolko将设计综合性视为关键性要素,是一种“将数据的操作过程、组织、调整以及过滤过程与背景相结合的方式,旨在将数据转化为信息与知识。”这能带来怎样的结果?IBM公司研究员Jeff Jonas认为,“通用目的”型背景系统将有助于在同一数据空间内对不同数据加以定位。此类方案能够使我们对不断变化的观察空间进行可规模化扩展、实时且前所未见的探索。