更多的数据，更大的麻烦

贺琴川

大数据也有大麻烦

我们身处于这样一个数据爆炸的时代，尤其是最近这些年来我们生产的数据量和分析量都在激增。据统计分析，过去的30年里，每两年，世界上的数据量就增加了约10倍——这一比率甚至使得摩尔定律都相形见绌。而现在世界上90%的数据是在过去两年里创造出来的。对于数据分析来说，这是伟大的，现在的我们得到了比人类历史上任何时候都要多得多的数据供我们分析和操纵。很了不起不是吗？但是这就代表着我们可以高枕无忧地随意使用这些数据了吗？

在大数据时代，人们越来越倾向于“用数据说话”。由数据驱动的决策被认为是一种明智的做法，但数据的真实性又会很大程度上影响决策的正确与否。因为数据是有偏见的，或者说人类收集和分析数据时是有偏见的。数据并不是越多越好，鱼龙混杂的结果就是可能让我们更加难以接近真相。

在许多分析算法中，筛选信息起着非常重要的作用。如果没有筛选，我们可能会经历“无用输入/无用输出”的情形。但是筛选的依据是什么？是以数量决定权重吗？毋庸置疑，肯定是越近期的事件可参考的数据越多，如果将此定为高权重的部分，那么我们很容易得到一个不太准确的结论，因为我们抛弃了那些因为年代久远而被认为是低权重的重要事实。

最新的就一定更好？

喜新厌旧似乎是我们每个人的天性，我们对他人或是事件的最新认知往往会在做判断时占据主要的地位。……