架构设计---智能引擎到物联网详解

前言：

大数据技术一共分为：大数据底层技术、大数据平台技术、机器学习与数据分析技术。

大数据底层技术：

就是指各种大数据计算框架，存储系统、SQL引擎等等，这些技术比较常用，经过最近十几年的发展，主流的技术产品相对比较集中，主要就是MapReduce、Spark、Hive、Flink技术的产品。

大数据平台技术：

Spark、Hive这些大数据底层技术产品，大数据计算数据通常不是用户请求的数据，计算时间超过了一次用户请求响应能够接受的时间，但是大数据的计算结果需要在用户交互的过程中直接呈现，比如说智能推荐的商品，这些推荐的商品就是大数据计算的结果。所以在互联网系统架构中，需要把处理用户请求的在线业务系统和大数据计算系统打通，这就需要一个大数据平台来处理完成的。

大数据平台架构：

大数据平台主要就是跨越需要长时间处理的大数据，计算和需要实时响应的互联网应用之间的鸿沟，使系统称为一个完整的整体。

首先要有数据，数据主要有两个来源，一方面是应用服务器以及前端App实时产生的数据、日志以及埋点采集的数据，另一方面是外部爬虫和第三方数据。

通过大数据平台的数据同步系统，这些数据导入到HDFS中，由于不同数据源格式不同，数据源存储系统不同，因此需要针对不同的数据源，开发不同的同步系统，同时，为了能够更好对写入HDFS的数据进行分析和挖掘，还需要对这些数据进行清洗、转换，因此数据同步系统实际上承担的是传统数据仓库ETL的职责，即数据的抽取（Extract）、转换（Transform）、载入（Load）。

写入到HDFS的数据会被MapReduce、Spark、HIve等大数据框架执行。数据分析师，算法工程师提交SQL以及MapReduce或者Spark机器学习程序到大数据平台。大数据平台的计算资源通常总是不足的，因此这些程序需要在任务调度管理系统的调度下排队执行的。

Sql或者机器学习程序的计算结果写回到HDFS，然后再通过数据同步系统导出到数据库，应用服务器就可以直接访问这些数据，在用户请求的时候为用户提供服务了，比如店铺访问统计数据，或者智能推荐数据等。

所以就有了大数据平台，用户平台产生了数据就会被大数据系统进行各种关联分析与计算，然后又应用于用户请求处理。只不过这个数据可能是历史的数据，比如说淘宝卖家只能查看24小时前的店铺访问统计。

大数据计算也许需要几个小时甚至几天，但是用户有时候可能需要实时得到数据，比如说想要看当前的访问统计，那么就需要用到大数据流的计算处理了，来自数据源的数据实时进入大数据流计算引擎Spark Streaming等，实时处理后写入数据库，这样卖家既能看看到历史统计数据，又可以看到当前统计数据。

智能推荐算法：

大数据平台只是提供了数据获取、存储、计算、应用的技术方案，真正挖掘出这些数据之间的关系，让数据发挥价值的是各种机器学习算法，这些各种算法中，最常见的大概就是智能推荐算法了。

比如说：基于人口统计的推荐是相对比较简单的一种推荐算法，根据用户的基本信息进行分类，然后将商品推荐给同类用户。

用户A和用户C的年龄相近，性别相同，那么可以将用户A和用户C划分为同类，用户A系统商品D，那么推测用户C可能也系统这个商品，系统就可以将这个商品推荐给用户C了。

图中的示例比较简单，在实践中，还应该根据用户收入、居住地区、学历等因素进行分类的处理，使得推荐的商品更加的准确。

基于商品属性的推荐和基于人口统计的推荐相似，只是根据商品的属性进行分类，然后根据商品分类进行推荐的处理。

这些推荐的算法其实比较简单的，事实上，要想做好推荐算法其实非常的困难的。推荐算法的不断优化升级，才能适应环境的处理。

物联网大数据架构：

物联网的目标是万物互联，将我们生产生活有关的一切事物都通过物联网连接起来，家里冰箱、洗衣机、扫地机器人，空调都通过智能音响连接起来，汽车、停车场、交通信号等都通过交通指挥中心连接起来，这些被连接的设备数据再经过分析计算反馈给工厂、电厂等部门，控制生产的投放处理。

物联网架构的关键是终端设备数据的采集，处理与设备的智能控制，背后依然是大数据与AI算法