下载docker镜像 首先下载需要使用的五个docker镜像 docker pull bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8 docker pull bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8 docker pull bde2020/hadoop-resourcemanager:1.1.0-hadoop2.7.1-java8 docker pull bde2020/hadoop-historyserv
Job，主要用于负责**批量处理(一次要处理指定数量任务)短暂的一次性(每个任务仅运行一次就结束)**任务。Job特点如下：
使用浏览器访问 saturn.vip.vip.com。如果启用了登录功能(-Dauthentication.enabled=true)，会被重定向到CAS进行身份认证。
这一节想介绍如何开发你的作业，包括Java和Shell两种类型，并使用你熟悉的IDE进行调试。
调度管控是指运维监控人员对作业容器，和作业的人工干预过程。对于作业容器来说，可以进行启动、停止，暂停、取消暂停，重置，重载。以及重新设置作业容器的运行参数和并行度。对于作业来说，可以进行执行、运行依赖、中断、中断循环，禁用、禁用一次、启用，强制跳过，锁定，置顶优先级等操作。
Hadoop是一个开源Apache项目，允许在大型数据集上创建并行处理应用程序，分布在网络节点上。它由处理节点间数据可扩展性和冗余的Hadoop分布式文件系统（HDFS™）和Hadoop YARN组成：用于在所有节点上执行数据处理任务的作业调度框架。
由于在dockerhub上没有查询到有关于TASKCTL的镜像就只能自己制作了，但由于本人仅是对软进 行件部署安装，没有实际的应用场景，所有制作的镜像也仅提供了最基础的运行环境。这也是给想要 在Docker上部署TASKCTL的小伙伴提供一点思路，可以根据个人的不同需求来定制自己的镜像。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
Apache Flink 是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可以在所有常见集群环境中运行，并能以内存速度和任意规模执行计算。目前市场上主流的流式计算框架有Apache Storm、Spark Streaming、Apache Flink等，但能够同时支持低延迟、高吞吐、Exactly-Once（收到的消息仅处理一次）的框架只有Apache Flink。
如何快速的投入到Flink的学习当中，很多人在搭建环境过程中浪费了太多的时间。一套一劳永逸的本机Flink开发环境可以让我们快速的投入到Flink的学习中去，将精力用在Flink的原理，实战。这也对于工作和面试有着巨大帮助。
如图所示，1.x的架构也采用的是主从结构：即master-slaves架构，一个JobTracker带多个TaskTracker
强烈建议再搭建hadoop集群之前体验一下单机模式和伪分布式模式的搭建过程，可以参考以下链接：
上一节我们讲了单机模式如何部署启动，这节我们基于CentOS 7虚拟机搭建一个3个节点的集群：
有时候我们直接在终端中执行了命令，等待很长时间后发现还需要很久才能执行完，又不想一直开着终端等待结果，可以按照下面的方式，将前台进程转至后台，并重定向输出内容至文件，以便随时连接回来查看执行状态。
Taskctl Free应用版原型是在原有商用版Taskctl 6.0衍生扩展开发出的专门为批量作业调度自动化打造的一款轻便型敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。
上一篇博客博主已经为大家介绍了 Flink的简介与架构体系，本篇博客，我们来学习如何搭建Flink集群。
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢 1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output
启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: [hadoop@hadoop-1 test]$ hadoop fs -ls /gsw/rs 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:[hadoop@hadoop-1
项目地址：https://github.com/vipshop/Saturn 参考文档：https://vipshop.github.io/Saturn/#/zh-cn/3.0/ https://vipshop.github.io/Saturn/#/zh-cn/2.x/ 版本下载：https://github.com/vipshop/Saturn/releases
Dlink 为 Apache Flink 而生，让 Flink SQL 更加丝滑。它是一个 交互式的 FlinkSQL Studio，可以在线开发、预览、校验 、执行、提交 FlinkSQL，支持 Flink 官方所有语法及其增强语法，并且可以同时对多 Flink 实例集群进行提交、停止、SavePoint 等运维操作，如同您的 IntelliJ IDEA For Flink SQL。
http://www.apache.org/dyn/closer.cgi/hadoop/common/
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在集群安装初期由于未规范集群HOSTNAME，带来集群管理的不便，现需要将CDH集群的HOSTNAME统一规范化，在修改HOSTNAME的过程中需要注意什么？本篇文章Fayson主要介绍如何修改Kerberos环境下的CDH集群的HOSTNAME。修改集群所有主机的hostna
Saturn包括两大部分，Saturn Console和Saturn Executor。
Quartz的原理不是很复杂，只要搞明白几个概念，然后知道如何去启动和关闭一个调度程序即可。
首先，我们通过一个示意图来了解TASKCTL对各种作业类型的调用过程，并理解什么是插件，以及插件的作用。
YARN产生背景 Hadoop1.x时: MapReduce: Master/Slave架构，1个JobTracker带多个TaskTracker JobTracker: 负责资源管理和作业调度 TaskTracker: 定期向JT汇报本节点的健康状况、资源使用情况、作业执行情况; 接收来自JT的命令: 启动任务/杀死任务 YARN: 不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度 XXX ON YARN的好处： 与其他计算机框架共享集群资源，按资源需要分配，进而提高集群资源的利用率 X
1. command & ： 后台运行，你关掉终端会停止运行 2. nohup command & ： 后台运行，你关掉终端也会继续运行
作为一名系统重启工程师（SRE），你可能经常需要重启容器，毕竟 Kubernetes 的优势就是快速弹性伸缩和故障恢复，遇到问题先重启容器再说，几秒钟即可恢复，实在不行再重启系统，这就是系统重启工程师的杀手锏。然而现实并没有理论上那么美好，某些容器需要花费 10s 左右才能停止，这是为啥？有以下几种可能性：
作业容器信息面板提供了作业容器快速切换选择组件和作业容器的命令菜单。还展示了当前选定的作业容器基本信息，运行信息、状态信息。采用圆环图展示了作业运行状态数量、比例统计信息。
1 SIGHUP 挂起进程 2 SIGINT 终止进程 3 SIGQUIT 停止进程 9 SIGKILL 无条件终止进程 15 SIGTERM 可能的话终止进程 17 SIGSTOP 无条件停止进程，但不是终止进程 18 SIGSTP 停止或暂停进程，但不终止
后台作业虽然被送往后台允许，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，同时剥离与终端的关系。可以使用下面两种方法：
作为一名系统重启工程师（SRE），你可能经常需要重启容器，毕竟 Kubernetes 的优势就是快速弹性伸缩和故障恢复，遇到问题先重启容器再说，几秒钟即可恢复，实在不行再重启系统，这就是系统重启工程师的杀手锏。然而现实并没有理论上那么美好，某些容器需要花费 10s 左右才能停止，这是为啥？有以下几种可能性： 容器中的进程没有收到 SIGTERM[1] 信号。 容器中的进程收到了信号，但忽略了。 容器中应用的关闭时间确实就是这么长。 对于第 3 种可能性我们无能为力，本文主要解决 1 和 2。 如果要构建一个
Dlink 为 Apache Flink 而生。它是一个 FlinkSQL Studio，可以在线开发、预览、执行 FlinkSQL，支持 Flink 官方所有语法及其增强语法，并且可以远程提交 Sql 作业到集群，无打包过程。
CDH的高级功能"群集利用率报告"(Cluster Utilization Report)是整个多租户方案体系里的一部分，可以用来查看租户的资源使用情况，并可以通过Cloudera Manager的API导出资源使用报表。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 现生产环境的集群版本为5.12.1，开发环境的CDH集群版本为5.10.0过低，需要将开发环境的CDH集群滚动升级至5.12.1版本，与生产环境版本一致。Fayson在前面的文章也有介绍《如何升级Cloudera Manager和CDH版本》，本篇文章Fayson主要介绍跨多
1、本系列以Ubuntu Linux作为开发和生产平台 2、Linux所需的软件包括：
Dlink 是一个基于 Apache Flink 开发的 FlinkSQL Studio，可以连接多个 Flink 集群实例，并在线开发、执行、提交 FlinkSQL 语句以及预览其运行结果，支持 Flink 官方所有语法并进行了些许增强。
版权声明：本文为木偶人shaon原创文章，转载请注明原文地址，非常感谢。 https://blog.csdn.net/wh211212/article/details/53484028
Saturn英文意思是：土星，太阳系中的第二大行星。比地球高一个层级，地球是八大行星之一。而今天我们介绍的Saturn，是IT行业的一个分布式作业调度平台。可以看到Saturn的管理界面的象征性图标就是如下一个土星标志：
github 地址：https://github.com/DataLinkDC/dlink
在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：
Kubernetes（K8s）中的 Container Lifecycle Hooks 允许容器管理生命周期事件。这些钩子使得在容器生命周期的特定时刻执行代码成为可能，例如在容器启动或终止时。理解和使用这些 Hooks 可以帮助更好地控制容器的行为和响应。
2.上传flink-1.12.0-bin-scala_2.12.tgz到node1的指定目录
Fayson在两年前的文章中介绍过CDH的卸载，参考《0008-如何卸载CDH（附一键卸载github源码）V1.2》，《0609-6.1.0-如何卸载CDH6.1》和《0621-6.2.0-如何卸载CDH6.2》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH，否则并没有现成的一键卸载的脚本供使用。
CICD 系统 / 发布系统 / 作业平台 / 监控系统 / 云监控 / 故障自愈 / K8S 集群管理 / CMDB / 公有云资源管理 / 工单系统
要创建一个 cronjob，你可以使用 crontab 命令，并添加 -e 选项：
Apache Yarn（Yet Another Resource Negotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop 2引入，最初是为了改善MapReduce的实现，但是它具有通用性，同样执行其他分布式计算模式。
在Linux中，启动、停止、终止以及恢复作业的这些功能统称为作业控制。作业控制中的关键命令是jobs命令，jobs命令允许查看shell当前正在处理的作业。jobs命令中输出有加号和减号，带加号的作业被当做默认作业，带减号的为下一个默认作业。
Docker命令全解 镜像操作 - `docker search`: 搜索Docker Hub上的镜像。 $ docker search nginx - `docker pull`: 从Docker Hub拉取指定镜像和版本。 ```bash $ docker pull nginx:latest ``` - `docker push`: 将本地镜像推送到Docker Hub或其他仓库。 $ docker push repo1:v1.0 - `docker images`: 查看本地所有镜像。 $ docker images - `docker rmi`: 删除一个或多个镜像。 $ docker rmi mynginx:1.0 mynginx:2.0 - `docker image prune`: 删除未标记或未使用的镜像。 $ docker image prune - `docker tag`: 给镜像添加新的标签。 $ docker tag mynginx:1.0 nginx1 - `docker save`: 将镜像保存为.tar文件。 $ docker save mynginx:1.0 > mynginx_v1.tar - `docker load`: 从.tar文件中载入镜像。 $ docker load -i mynginx_v1.tar - `docker commit`: 根据容器创建新的镜像。 $ docker commit [CONTAINER] [new_image_name]
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
