数据分析的区别，传统分析与高级分析

上一次我们说到企业都需要高级分析，那这次就来说说什么是高级分析，它又高级在了哪里。

01什么是高级分析

高级分析的核心之一是预测，说来也巧，在英文中predict和forecast都有着预测的意思，那他们之间的区别在哪里？

我们可以用天气预测来说明。假设我们已知某地区现在正在下雨，要预测一个小时以后，这个地区是否依然会下雨，其中一个方法是：我们通过历史的数据（例如：温度、湿度、光照强度等）去做建模，用统计学的方法，预测（predict）出一小时以后这个地区大概率不下雨；

当然我们还有另一种预测方法：这一次，我们不仅仅通过已有数据进行计算，还通过卫星拿到了遥感数据，将当前该地区云层的变化考虑了进去，又通过当前室外的传感器得到了环境信号。同时在算法上也进行了升级，考虑了信号有效性可能会降低，做了信号衰减处理，同时引入注意力机制解决信息超载问题等，通过数据层面的扩充以及算法层面的升级，这一次我们预测（forecast）出，一个小时后，这个地方依然在下雨。

从这两种预测降雨的方法中我们大致感受到了传统的数据分析和高级分析的区别在哪里，接下来我们说说二者的具体区别在哪里。

02传统分析与高级分析的区别

我们来看看传统的数据分析是什么，从Gartner对于高级分析的定义中我们看出，高级分析不仅限于传统BI系统的洞察、预测（prediction）及建议生成，那什么是BI呢？

商业智能（BI）是利用技术手段或方法，将数据转化为知识，用以支撑企业决策、发掘商业价值的一套解决方案。

随着BI在国内的发展，现在一提到BI，不免使我们想到了了许多标签化的词语，例如“展示”和“可视化”，这两个最容易想到的词语揭示了BI的一项重要功能，即数据可视化。通过数据可视化将数据分析结果以更直观明了的方式进行展示，能为决策者提供更清晰更深入的见解。

同时另一个标签“报表”也从某种程度上反映了我国的BI建设现状。按照BI的定义，报表工具也是BI的一部分，不过并不能完全代表BI。但是我国企业信息化水平整体偏低，很多企业的决策支撑仍然以报表为主，所以报表也是BI在我国企业内的一个主要表现形式。

以上这些形成了我们目前对BI的初步印象，也就是对传统的数据分析的印象，那高级分析又是怎样的呢？

有人将高级分析作为BI的一部分来阐述，但这样其实是不对的，因为我们发现谈论BI会促使人们立即考虑报表和仪表板。相反，我们谈论的高级分析是从BI到描述性和预测性分析的滑动范围–从对过去的描述性知识到对未来的越来越多的预测。

所以我们通过对比能发现，高级决策分析与传统数据分析是有许多不同的，我们将这些不同主要归为五大类：

1所创造的价值

传统的数据分析是将原料做归集呈现，而高级分析是尽可能的拿到所需要的数据，通过预测从而支撑决策；

2交互操作

传统数据分析主要是“看”图表这样的被动固化感知，而高级分析更多的表现出主动性，我们可以通过使用工具去主动探究；

3模型

传统的数据分析主要是对历史的统计进行描述，也就是看过去以及现在的情况，而高级分析是根据过去和现在的情况对未来进行预测，这也是其标志性的不同点；

4组织知识

传统的数据分析一般存在于少数高水平业务专家头脑中，而高级分析因为通过知识图谱、专家系统、规则引擎等实现了业务知识的标准化，从而比较容易形成组织知识，这样更便于保存，不易流失；

5使用数据

传统的数据分析所使用的主要是内部已经整理好的数据，一般都是有什么数据就分析什么数据，而高级分析因为其所需要解决的问题，所以要尽可能多的获取数据，包括新闻资讯、社交媒体、图片图像、卫星遥感、传感器等数据。

03传统数据分析向高级分析转化

通过这些对比我们发现传统的数据分析向高级分析演化是一个趋势：

可视化功能已经属于各个厂家的标配，且功能趋同性日益加强。在以往的一段时间里，我们往往可以一眼分辨出A产品与B产品的区别，因为在图表外观上就有明显的差异。但在最近一两年，如果不是业内人士，可能需要仔细才能看出来，图表的样式甚至默认配色都越来越像了。这规律与手机的发展是一样的。

客户逐渐成熟，逐步由看热闹转为看门道。当大家第一次做数据分析项目时，可能很容易被图表的美观所吸引，然后才会逐渐认识到性能，权限管理等重要性。所以高级分析是用来分析问题的而不只是看或者打印的。一个3D的柱图通常不会比一个2D的柱图能带来更多的分析能力，更不要提3D粒子组件这样的内容了。

数据的极大丰富，大数据发展了这么多年使得数据质量有了极大的提升，不仅仅是数据量提升明显，同时，数据的质量、数据的多样性、数据的精细程度都有了显著提升，这使得分析可使用的原材料变得更加的充实。

高级算法应用普及化，随着人工智能的发展，机器学习、逻辑回归、朴素贝叶斯、神经网络等高级算法现在已经是我们日常就能接触到的，这些算法为我们通过高级分析做预测提供了极大地帮助。

云计算以及硬件的发展使得算力获得极大地提升，以前处理大量的数据往往需要一个特别长的时间段，这使得这样的计算效率低下，不适用于日常生产经营活动。而现在，算力的提升使得这个时间在级别上得到了缩短，这也使得高级分析适用的场景更加丰富了。

04高级分析技术代表

而正因为高级分析包括数据/文本挖掘，机器学习，模式识别，预测（forecast）,可视化发现，语义分析、情感分析、网络及聚类分析、多变量统计、图谱分析、仿真模拟、复杂事件处理、神经网络建模等。所以人工智能技术在这里变得尤为重要，而下面的技术也成为支撑高级分析的几个代表性技术手段：

一、深度学习技术

深度学习是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。这就像生物神经大脑的工作机理一样，通过合适的矩阵数量，多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样。

二、数据准备自动化技术

数据整合，数据准备等数据科学工作将越来越自动化，这会大大提升数据科学家的工作效率。数据集成等手动工作的自动化有助于提高专业和民间数据科学家的效率，缓解人手不足的问题。

三、自然语言处理技术

自然语言理解是计算机科学领域与人工智能领域中的一个重要方向，它研究如何能让计算机理解并生成人们日常所使用的语言，使得计算机懂得自然语言的含义。自然语言处理技术将能把数据分析的结果以叙事的方式表达给用户，便于用户理解。用户将通过搜索和自然语言的方式进行分析查询，如同siri那样的交互，而不必通过专家或者计算机语言进行查询。

自然语言生成技术可为数量日益庞大的数据集提供更多分析功能，因此发展十分迅猛。在虚拟个人助理等应用的推动下，搜索和自然语言处理技术的易用性将逐步提高。

四、知识图谱

知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论、方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。

它把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制而显示出来，揭示知识领域的动态发展规律，为学科研究提供切实的、有价值的参考。

五、交互可视化

传统的数据可视化，平面的图标往往占到绝大多数，这样的信息流动是单向的，用户只能接受每日传递来的信息，而媒体并不能接受用户的反馈并调整，这样就限制了信息的传递量，而交互可视化的实现，使得信息与受众之间形成双向关系，用户可以对数据进行特定调整，也使得数据可用性变得更强。

当然以上列出的仅仅是冰山一角，在高级分析中人工智能的重要性显而易见，所以，在之后的文章中，我们就要看到人工智能技术是如何在高级分析中发挥其作用的。