2019—2020 学年第二学期《分布式系统原理与技术》期末大作业评分表 | ||||
---|---|---|---|---|
评价内容 | 评价标准 | 占比 | 得分 | |
课程期末作业 | 文档内容规范 | 文章结构严谨,逻辑性强,表达层次清晰,语言准确,文字流畅,内容翔实。 | 30 | |
分布式集群搭建 | Hadoop 集群搭建成功,可在浏览器查看其启动情况。MAVEN、IDEA 等软件安装与配置合理。 | 20 | ||
分布式计算 | 生成 Mapreduce 的 Jar 包,可在虚拟机的主节点或本地计算机上进行分布式计算。 | 20 | ||
大数据采集 | 使用数据爬虫采集的数据至少 100 条 | 10 | ||
运行的流畅性 | 整个分布式计算过程,运行时没有产生什么逻辑错误或系统错误。 | 10 | ||
格式 | 符合各项格式规范要求,且达到规定篇幅要求。 | 10 | ||
总分 | ||||
教师评语 | 教师签名: | |||
2020 年 6 月 日 |
1.1Hadoop集群搭建与配置
1.1.1Hadoop简介
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。它的目的是从单一的服务器扩展到成千上万的机器,将集群部署在多台机器,每个机器提供本地计算和存储。Hadoop 框架最核心的设计是 HDFS 和 MapReduce。
Hadoop 为在多个节点集群上处理数据提供了有效的框架,可以在多台机器上运行,提供数据的并行处理。Hadoop 可以处理海量数据量;可以处理繁多的数据类型,包括文本、网页、语音、图片、视频等;可以进行数据分析,提取有价值信息;处理速度快、时效高。Hadoop 有开源、分布式处理、可靠性和高容错性、可扩展性、费用低、数据本地化、传统数据处理系统等特点。
Hadoop 的核心组件有:Common、HDFS、MapReduce 等。其中,HDFS 为分布式文件系统,是 Hadoop 的主要存储系统,由主节点 Namenode 和从节点 Datanode 组成;MapReduce 是一种编程模型,主要用于海量数据的
图 1.1 Hadoop 生态系统
1.1.2Hadoop集群搭建
(1) 准备工作
⚫ CentOS-6.10
⚫ Java
⚫ Hadoop
图 1.2 CentOS-6.10
图 1.3 Java 安装包
图 1.4 Hadoop 安装包
⚫
Vmware 15
图 1.5 Vmware 15 界面
Vmware 用于虚拟机的安装和运行等操作。
⚫ Xshell
图 1.6 Xshell 界面
Xshell 是 Windows 的 SSH 客户端,可以跟虚拟机进行远程连接。
⚫
WinSCP
图 1.7 WinSCP 界面
WinSCP 用于传输 Windows 和虚拟机上的文件。
⚫ Notepad++
图 1.8 Notepad++界面Notepad++用于修改虚拟中的文件。
(2) 新建虚拟机
在已经安装好的 Vmware 中新建虚拟机,安装 CentOS-6.10。
图 1.9 新建虚拟机
图 1.10 虚拟机安装完成界面
(3) 建立主节点
图 1.11 更改 namenode 的主机名
图 1.12 关闭防火墙
图 1.13 关闭主机防火墙
图 1.14 虚拟机 IP 地址
图 1.15 VMnet8 在主机上产生的 IP 地址
图 1.16 主机连通虚拟网
图 1.17 虚拟网连通主机
打开 Xshell,新建 Session,选择 SSH 协议。连接成功后,可在主机中控制虚拟机。
图 1.18 SSH 连接
打开 WinSCP,文件协议选择 SFTP。连接成功后,可以实现主机与虚拟机的文件互传。
图 1.19 WinSCP 连接
图 1.20 传输 Hadoop 和 JDK 安装包
(4) 建立从节点
新建虚拟机 datanode1,重复建立主节点的 1-5 步后,关闭虚拟机。对 datanode1 进行完整克隆,并将克隆虚拟机名称改为 namenode2。
图 1.21 克隆虚拟机
完成克隆后,使用 Xshell 建立两台新建虚拟机的连接,并建立免密 SSH 互访。
图 1.22 namenode 测试连通性
图 1.23 datanode1 测试连通性
图 1.24 datanode2 测试连通性
(5) 安装 Hadoop
将之前通过 WinSCP 传入 namenode 的 JDK 压缩包解压到 opt 目录中,并修改文件名为 jdk。
图 1.25 JDK 压缩包解压至 opt 文件夹中
配置 JDK 环境,编辑/etc/profile 文件,并加载使其立即生效。
图 1.26 配置 JDK 环境变量
图 1.27 测试 JDK 是否正常工作
⚫ 在 hadoop-env.sh 中配置 java 环境
图 1.28 hadoop-env.sh 中配置 java 环境
⚫ 在 yarn-env.sh 中配置 java 环境
图 1.29 yarn-env.sh 中配置 java 环境
⚫ 配置 slave 节点
图 1.30 slave 节点
⚫ 使用 Notepad++软件配置 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
文件
图 1.31 namenode 文件修改
(6) 建立分布式集群
输入start-all.sh 命令启动hadoop 的各个监护进程;输入stop-all.sh 可以关闭hadoop 的各个监护进程。输入 jps 命令查看 hadoop 是否配置和启动成功。
图 1.32 查看 namenode、datanode1、datanode2 的 hadoop 配置和启动状态
图 1.33 hadoop 启动成功界面可以用本地浏览器打开 50070,则代表 hadoop 安装成功。
1.2Maven安装与配置
1.2.1Maven简介
Maven 是用于项目管理和构建的工具,它可以对项目进行快速简单的构建。因为使用IDEA 或 Eclips 对项目进行构建,步骤比较零散,不好操作。为了让项目管理和构建更加简便,本文使用 Maven 对项目进行管理和构建。在 Maven 中,Ant 是专门的项目构建工具,配置需要明确源码包、class 文件和资源文件的位置。
1.2.2Maven工程的创建
(1) 下载 Maven(本文选择 Maven-3.3.3 版本)
图 1.34 Maven 目录
(2) 配置 Maven 的环境变量
图 1.35 Maven 环境变量的配置
(3) 启动并查看 Maven
图 1.36 cmd 中查看 Maven 是否安装成功
(4) 下载 IntelliJ IDEA,并在 IDEA 中安装 Maven
图 1.34 IntelliJ IDEA 界面
图 1.35 设置 maven home 的路径
图 1.36 Settings.xml 镜像配置
(5) 新建 Maven 工程
图 1.37 新建 Maven 项目
图 1.38 在 pom.xml 文件中导入第三方库
jar 包下载成功后,Maven 工程即可使用。
1.3windows搭建hadoop开发环境
1.3.1在windows上搭建hadoop开发环境的原因
上文中已经创建好了 Maven 工程,本文在使用分布式计算框架 MapReduce 编程时,需要将 Java 工程打包,提交到 Yarn 上才可以在 hadoop 虚拟环境中运行。当 MapReduce 修改之后,Java 工程需要构建、打包,再次提交到 Yarn 上运行,步骤比较繁琐。
图 1.39 MapReduce 作业运行机制
因此为了简化这个过程,需要在 windows 上搭建 hadoop 开发环境,使程序可以直接在本地运行。
1.3.2windows搭建hadoop开发环境
(1) 下载 Hadoop
图 1.40 windows 上下载 hadoop-2.7.1 压缩包并解压
(2) 下载 winutils
图 1.41 windows 上下载 winutils 对应的 hadoop-2.7.1 版本
将 winutils 中的 winutils.exe 和 hadoop.dll 复制到 hadoop-2.7.1\bin 目录下:
图 1.42 添加文件
(3) 配置环境变量
在 windows 中配置 HADOOP_HOME,完成 hadoop 开发环境在 windows 上的搭建。
图 1.43 Hadoop 环境变量配置
(4) 查看 Hadoop 是否安装成功
图 1.44 Hadoop 开发环境安装成功
2.1数据选取
由于自 2020 年 11 月以来,宁波气温时高时低。因此本文选取 2019 年 11 月-2020 年 2 月
的天气数据,进行统计分析,再与 2020 年 11 月-2021 年 1 月的天气数据进行比较,得出最终的数据分析。
2.2网页结构分析
本文使用的数据来自天气+(http://lishi.tianqi.com),其中宁波 2019 年 11 月-2020 年 2 月的天气链接如下表所示:
表 2.1 宁波 2019 年 11 月-2020 年 2 月天气数据链接
时间 | 链接 |
---|---|
2019 年 11 月 | http://lishi.tianqi.com/ningbo/201911.html |
2019 年 12 月 | http://lishi.tianqi.com/ningbo/201912.html |
2020 年 1 月 | http://lishi.tianqi.com/ningbo/202001.html |
2020 年 2 月 | http://lishi.tianqi.com/ningbo/202002.html |
为准确爬取天气网上宁波 2019 年 11 月-2020 年 2 月的天气数据,需要先对网页结构进行
分析。本文先打开 2019 年 11 月的天气页面,如下图所示:
图 2.1 2019 年 11 月宁波天气页面
根据网页,本文需要爬取的数据为以“日期、最高气温、最低气温、天气、风向”为表头的整张表。为的到这一部分的网页结构,本文通过浏览器打开“开发者调试工具(F12)”,通过 Elements 获取该表的结构如下所示:
图 2.2 2019 年 11 月宁波天气主体表格网页结构根据该网页信息,可以获取本文需要提取数据的大体结构:
图 2.3 网页天气历史数据大体结构
2.3爬取数据
通过 2.2,本文对 2019 年 11 月数据所在位置的网页进行了大体的结构分析,再通过查看
2019 年 12 月-2020 年 2 月的数据,发现网页结构并没有改变,主体都是一致的。因此,本文使用 python 先对 2019 年 11 月的天气数据进行爬取,代码如下所示(具体代码放在附录中):
图 2.4 2019 年 11 月天气数据爬取代码
爬取好的数据放入 weather.csv 文件中,接下来对 2019 年 12 月-2020 年 2 月的数据进行爬取,也加入至 weather.csv 文件中,代码如下所示:
图 2.5 2019 年 12 月-2020 年 2 月天气数据爬取代码
最终共得到 119 条数据。
略
略