大数据的本质《智能时代--大数据和智能革命重新定义未来》

首先我们要承认世界的不确定性，这样避免用确定性的思维来面对不确定的世界。了解到信息或者数据能够消除不确定性，就能理解为什么大数据的出现能够解决智能的问题，因为很多智能问题就是消除 不确定性的问题。

        大数据的特征就是数据量大、多维度、多完备性。

        （1）从信息论的角度出发，数据量不够不足以消除不确定性，所以我们需要大量的数据。

        （2）数据的多维度，一个角度看是“互信息”，为了获得相关性需要多维的的信息。第二个视角是“交叉验证”，湿度大下雨可能性比较大，但并非很确定，结合气压信息、云图信息准确性就会大很多。

         （3）先介绍一个信息论里面很重要的概念“交叉熵”（库尔贝克--莱伯勒距离），它可以反映两个信息源之间的一致性，或者两种概率之间的一致性。当两个数据源完全一致时，他们的交叉熵等于0，当他们的相差很大时，交叉熵也很大。所有采用数据驱动的方法，建立模型所使用的数据和使用模型数据之间需要有一致性，也就是盖洛普所讲的代表性，否则方法就会失效，而交叉熵就是对这种代表性或者一致性一种精确的量化度量。任何基于概率统计的模型都会有很多小概率事件覆盖不到，即“黑天鹅效应”（极为罕见，在预期之外的事件），那么如何防止很多漏网的情况？就是大数据的完备性。数据的完备性具备了之后，就相当于训练模型的数据集和使用这个模型的测试集合是在同一个集合，或者高度重复的，这样交叉熵几乎接近于0，这样就不会出现覆盖不了很多小概率事件的灾难。这样数据驱动才具有普遍性。