R语言玩数据：数据+算法+计算引擎+知识表达

作者：陆勤

摘要：介绍玩数据的四部曲，分别是数据、算法、计算引擎和知识表达。

文章《R语言玩数据：R语言和数据》介绍了R语言和数据。 文章《R语言玩数据：流程和环境》介绍了玩数据的流程和环境搭建。

本文介绍玩数据的四部曲，分别是数据、算法、计算引擎和知识表达。

一、数据

数据的观点，如下：

• 玩数据首先要拥有数据，”巧妇难为无米之炊“。
• 业务问题是什么？预期目标是什么？围绕问题和目标所要的数据是什么？这些数据是否拥有，有多长和多宽？如何利用这些数据解决业务问题和实现预期目标？
• 数据的结构是什么？是结构化的、半结构化还是非结构化的；数据的源头是那些？是业务数据、前端与后端日志数据、第三方数据、埋点收集数据等；数据的类型是是什么？是数字、还是文本、还是音频、图像、视频，甚至是综合体。总之，数据具有多样性
• 数据的采集极其复杂，也富有挑战性，不仅是源头多样，结构迥异，还有各种“不确定性”的因素。究竟是一窝蜂地记录所有的数据，还是根据不同阶段有针对性地收集和存储数据呢？
• 数据的商业价值需要通过分析和挖掘，然后以有效地知识表达出来，才能实现“数据变现”或者基于数据创造新的商业模式。

如何从数据中学习到有用的知识，就需要算法+计算引擎+知识表达。

二、算法

算法的观点，如下：

• 算法是什么？算法就是告诉计算机做事情的步骤与方法，一类算法就是严谨地一步步告诉计算机要做什么以及最后输出什么结果；领一类算法就是通过给计算喂养数据（Data），从Data中学习到有用知识，然后利用这些知识去做预测或者判别的有价值的行动。
• 算法有其特定的适用场景，那种“一招通吃”的期盼肯定是不现实的。这就注定了面对不同业务问题和数据，要选择适合的算法。换句话说，“天下没有免费的午餐！”
• 同一问题，面对多种算法处理时，选择那种既能够达到预期效果，又能够简单易用的算法，换句话说，“若无必要，勿增实体！”

三、计算引擎

算法要让计算机来执行，面对各种逻辑弄清楚后，落地就是“计算”了。因此，熟悉常用的计算引擎和选择合适的计算引擎，也是非常重要的。 数据人网的数据技术里面包括R、Python、Hadoop和Spark，实则它们都可以当作一种计算引擎。关于计算引擎的使用，唯一的建议，根据具体的问题选择合适的计算引擎，秉持“不负荷和不浪费”的原则。

四、知识表达

从数据中学习到有用的知识后，知识如何表达呢？或者说，输出的结果怎么表达的？ 知识表达观点，如下：

• 知识表达有多重形式，可以表格化，可以规则化，可以数值化，可以模式化等等。
• 知识表达的形态可以促进我们对学习过程的理解，对所解决问题进一步认识。
• 知识表达的方式也决定了我们如何利用知识的方式与方法。
• 知识表达也是人工智能所研究的一个重要领域。

总结

一个玩数据的人，数据这四部曲，需要花费时间和精力去修炼。庆幸的是，“你不是一个人在奋斗！”