Note_Logistics_Day01(客快物流项目概述及Docker入门)

Logistics_Day01：项目概述及Docker入门

在这里插入图片描述

01-[理解]-客快物流大数据项目概述

大数据分析中，主要分析引擎：

• 1）、MapReduce 分析引擎，更多使用Hive编写SQL，底层转换为MR程序
• 2）、Spark 分析引擎，物流项目，主要使用Spark 分析引擎处理分析数据：离线分析和实时分析
  • DataFrame/Dataset = RDD + Schema
  • 离线分析：SparkSQL、实时分析：StructuredStreaming
• 3）、Flink 分析引擎

在这里插入图片描述

大数据项目：业务数据量大（传统数据库RDBMS无法满足需求）和数据分析复杂性提高。

在这里插入图片描述

课程安排如下所示：主要分为3个部分内容

• 1）、项目概述和环境准备（数据采集）
• 2）、数据实时ETL存储和离线报表与即席查询、快速检索
• 3）、OLAP分析，使用ClickHouse数据库存储和查询

在这里插入图片描述

整个项目来说，属于Lambda架构项目，既有离线分析，又有实时分析，使用SparkSQL和Structured

• 1）、批处理层：Batch Layer，离线分析
• 2）、速度层：Speed Layer，实时分析
• 3）、服务层：Server Lay，提供离线分析和实时分析结果数据，便于查询和使用

TIM截图20191101174020.png

整个物流项目技术亮点：

在这里插入图片描述

02–[了解]-第1天课程内容提纲

主要讲解2个方面的内容：物流项目概述

• 1）、物流项目概述
  • 项目整体介绍，比如项目背景、项目功能实现盈利（针对物流快递公司）等等
  • 物流项目中，实时大屏展示
  • 项目业务核心流程，物流快递行业发送快递流程
  • 项目逻辑架构
  • 项目数据流转图和核心业务剖析
  • 项目中非功能新说明，开发周期，服务器配置，软件版本，技术选项等等

1615516050929

03–[掌握]-项目整体介绍

在整个中，最后给大家展示：实时大屏统计分析，实时性要求不是很高，分钟基本延迟。 实时大屏每隔10秒，刷新一下记录，从ClickHouse 数据库中查询分析数据，进行大屏展示。

在这里插入图片描述

1）、行业背景介绍： ​ 自从国内电商购物节开始以后，每年用户电商APP购买物品增加，快递数量指数级别增长。

1615516364716

• 2）、物流行业特点：属于复合型产业，实时产生大量的业务数据，需要关联性分析处理。

1615516445958

• 3）、项目背景介绍：基于上述诉求，需要将快递物流产生相关业务数据，存储到大数据平台引擎中，进行分析（离线报表和实时查询检索）。

1615516548580

• 4）、物流大数据作用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RadClEeU-1625444773065)(/img/1615516690862.png)]

• 5）、物流大数据应用案例
  • 传统物流行业报表分析，依然需要完成的，统计
  • 大数据应用主要体现在车货匹配、运输路线优化、库存预测、设备修理预测、供应链协同管理等方面

04–[理解]-物流实时大屏系统

​ 从实时OLAP数据库ClickHouse表中读取数据，大屏每隔10秒查询数据库表，将数据展示前端大屏，具体如下图所示：

1615517773800

在这里插入图片描述

针对实时大屏来说：

• 1）、大屏展示，如何做的？？NodeJS和Vue
• 2）、数据实时查询，存储在哪里？？？ClickHouse数据库

1615518197377

上述为整个实时大屏展示技术流程图，大家务必记清楚。

05–[理解]-项目核心业务流程

了解针对物流快递行业来说，业务流程是如何进行的：从客户A下单开始，一直到，客户B收到快件结束。

1615519058188

快递业务流程：

• 1）、发货客户：客户下单
• 2）、受理部分：快递员上门取货
• 3）、发货网点仓库：将快递放到网点仓库，其中需要分类处理，等到运输配送
• 4）、中转仓库：可选，只有不能直接送到，经过中转仓库，需要再次配送
• 5）、目的部门：快递经过运输，已经送达到目的地网点，分配给相应派送人员
• 6）、收货客户：收取快递。

06–[理解]-项目逻辑架构

​ 接下来，看一下整个物流项目：逻辑技术架构图，项目中每个步骤使用什么技术，技术选项（为什么选这个技术框架）。

在这里插入图片描述

AdHoc：即席查询，即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。 即席查询，在大数据领域中，比较普遍需求，随时依据用户的需求，查询分析海量数据。

1615520350430

在神策数据产品中，用户自定义查询，就是所说的即席查询，底层使用Impala分析引擎。

1615520489122

思考：为什么选择这些技术框架，原因是什么？？？

• 1）、异构数据源：表示业务数据存储到不同系统中，此处仅仅演示2个数据库

1615520562416

• 2）、数据采集平台：物流项目数据采集属于实时增量采集，类似Flume日志数据。

1615520585596

• 3）、数据存储平台

1615520679816

• 4）、数据计算平台：实时查询（Impala和StructuredStreaming、ES）和离线分析（SparkSQL）

1615520701818

• 5）、大数据平台应用

1615520747674

07–[掌握]-项目数据流转及核心业务

任何一个大数据项目，首先数据流转图：项目数据从哪里来的，存储到哪里去，进行什么应用分析。

1612062344860

• 1）、业务服务器（存储业务数据）
  • 物流项目来说，需要将多个业务系统数据，实时采集到大数据框架Kafka中
  • 物流系统Logistics业务数据，存储Oracle数据库
  • CRM客户关系管理系统业务数据，存储MySQL数据库

1615520934019

08–[理解]-项目技术选型及软件版本

针对每个项目来说，要清楚一点，技术框架选择（为什么选择）。

• 1）、流式处理平台：采用Kafka作为消息传输中间介质 在大数据领域中，主要是实时数据分析，实时数据ETL转换等等，基本上都是从Kafka消费数据。

1615521764969

• 2）、分布式计算平台：分布式计算采用Spark生态 在大数据分析中，可以使用Spark解决问题，就不要考虑Flink框架。

1615521850305

​ 本项目使用Structured Streaming开发实时部分，同时离线计算使用到SparkSQL，而Spark的生态相对于Flink更加成熟，因此采用Spark开发。 为什么不使用SparkStreaming进行实时数据ETL转换存储呢？？而是使用StructuredStreaming...

• 3）、海量数据存储
  • ETL后的数据存储到Kudu中，供实时、准实时查询、分析 Kudu数据库，提供HBase数据库：随机读写数据；提供HDFS文件系统功能：批量快速加载数据

1615521957745

• Elastic Search作为单据数据的存储介质，供顾客查询订单信息

1615522029351

1615522349559

框架软件版本：主要基于CDH 6.2.1版本（版本较新），将来编写简历时，此版本不可用 使用CM安装CDH，采集单机部署，提供node2.itcast.cn虚拟机上，全部安装完毕，无需到操作。

1615522724344

新框架：Kudu和Impala都属于CDH产品，由于都是Cloudera公司开发的框架。

09–[理解]-项目非功能描述

​ 在实际项目开发中，除了依据业务开发应用（实时ETL数据转换、报表分析、即席查询等）之外，比如集群规模、业务数据量、开发团队人员配置等等。 编写简历时，每个项目【非功能描述】准备好，牢记于心。

• 1）、框架版本选型

1615530844168

• 2）、服务器选型

不差钱，金融相关公司，使用物理机最好。

1615530955959

• 3）、集群规模

数据量：物流项目来说，核心数据【快递单】和【运单】等相关数据

1615531002911

• 4）、集群资源如下图所示

在实际项目，服务器来说，系统盘（安装操作系统）和数据盘（存储数据）时分开的，

1615531193610

• 5）、人员配置参考

1615531243757

• 6）、开发周期

1615531288321

10–[了解]-技术亮点及服务器规划

​ 在项目该物流项目时，有哪些技术亮点：技术框架属于目前大数据技术中比较新的框架，使用较多的

1615531604193

客快物流大数据项目学习中，需要2台服务器（虚拟机）分别构建服务器环境，拓扑图如下：

1615531800300

因服务器资源有限，该项目采用两台服务器进行演示学习，每台服务器配置如下：

1615531841368

需要在windows映射配置文件，配置上述主机名和IP地址隐射：C:\Windows\System32\drivers\etc\hosts

1615531973081