本篇文章大概2892字，阅读时间约8分钟 根据Flink官网资料，实操CDH5.16.2上配置Flink on yarn，给出了flink on yarn的集成方式和HA的配置方式 1 文档编写目的...记录Flink on yarn的部署流程 集群环境：CDH5.16.2 2 Flink如何与YARN交互 ?...Flink的Jobs 3 在CDH5上部署Flink 添加HADOOP_CONF_DIR环境变量 vi /etc/profile # 配置HADOOP_CONF_DIR export HADOOP_CONF_DIR...: hdfs:///flink/flink-checkpoints ?...看到yarn上的attempt id增加， flink的web ui可以重新进行访问了 flink on yarn ha 测试完成
1 文档编写目的 Flink1.10.1版本编译集成CDH5.16.2 前置条件 jdk maven nvm 2 源码编译 拉取flink1.10.1的代码后，idea中全局查找一下flink.shaded.version...，确定应该选择的flink-shaded版本 ?...执行编译命令指定hadoop版本为2.6.0-cdh5.16.2 mvn clean install -DskipTests -Dhadoop.version=2.6.0-cdh5.16.2 ?...执行源码编译命令 mvn clean install -DskipTests -Dfast -Drat.skip=true \ -Dhaoop.version=2.6.0-cdh5.16.2 -Pvendor-repos...\ -Dinclude-hadoop -Dscala-2.11 -T2C 源码编译成功 获取编译完成的包 flink-dist/flink-1.10.1-bin/flink-1.10.1 ?
环境准备 各组件版本如下 Flink 1.13.1 Hudi 0.10 Hive 2.1.1 CDH 6.3.0 Kafka 2.2.1 1.1 Hudi 代码下载编译 下载代码至本地 steven@wangyuxiangdeMacBook-Pro...=/opt/flinkexport HIVE_HOME=/opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hiveexport HIVE_CONF_DIR...-0.10.0-SNAPSHOT.jar包放入到以下路径 [flink@dbos-bigdata-test005 jars]$ pwd/opt/cloudera/parcels/CDH-6.3.0-1....cdh6.3.0.p0.1279813/jars 进入到hive lib目录，每一台hive节点都要放置jar包 [flink@dbos-bigdata-test005 lib]$ pwd/opt.../cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hive/lib//建立软链接[flink@dbos-bigdata-test005 lib]
作为新一代流计算引擎，Flink的发展速度是惊人的，尤其是在其母公司被阿里巴巴收购后，Flink在国内工业界已经得到了广泛地应用。本文讲解如何在CDH7.1.1上部署Flink1.10.1。...后续会有多篇文章详细介绍Flink的使用和源码分析，并且基于工业界的实际场景和需求，探讨如何扩展Flink，二次开发等等。此外，我们会深入研究有关流计算的内容。...安装Flink 下载Flink1.10.0的csd文件，发送到Cloudera Manager Server服务器/opt/cloudera/csd目录下，重启Cloudera Manager Server...parcel包地址 进行下载、分配、激活操作 在CM主页点击”添加服务”，选择添加Flink服务 选择Flink History Server以及Gateway节点，点击继续 审核更改 等待Flink...History Server启动成功，完成后点击继续 完成 Flink运行示例 执行Flink自带的example的wordcount例子，使用flink run提交到YARN 在YARN和Flink
：部署CDH和Flink，然后做相关设置 Flink实战：在Yarn环境提交Flink任务 整个三部曲的实战内容如下图所示： ?...sha验证码 8 flink-1.7.2-bin-hadoop26-scala_2.11.tgz flink安装包 9 hosts ansible用到的远程主机配置，里面记录了CDH6服务器的信息 10...ansible.cfg ansible用到的配置信息 11 cm6-cdh5-flink1.7-single-install.yml 部署CDH时用到的ansible脚本 12 cdh-single-start.yml...-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、flink-1.7.2-bin-hadoop26...和Flink 启动CDH 设置CDH、在线安装Yarn、HDFS等 调整Yarn参数，使Flink任务可以提交成功
12:49 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar [root@cdh1 csd]# ?...2.下载Flink1.12的Parcel并部署到httpd服务的/var/www/html/flink目录下 [root@cdh1 csd]# cd /var/www/html/flink/ [root...662662978 May 31 13:03 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198-el7.parcel -rw-r--r-- 1 root root...root 46264 May 31 13:01 FLINK-1.12-csa1.3.0.0-cdh7.1.6.0-297-11607198.jar -rw-r--r-- 1 root root...4.总结 1.在CDP上基于Parcel的方式安装Flink1.12与CDH5和CDH6集群下安装Kafka、Spark等服务方式一致。
vim /etc/cloudera-scm-server/db.properties
/p/csa/1.6.2.0/csd/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar Parcel相关文件 https://archive.cloudera.com.../p/csa/1.6.2.0/parcels/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel https://archive.cloudera.com... 44 -rw-r--r-- 1 root root 44267 Apr 13 11:14 FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar [root...Flink1.14 Parcel拷贝到httpd服务的/var/www/html目录下 [root@cdh0001 flink1.14]# pwd /var/www/html/flink1.14 [root...@cdh0001 flink1.14]# ll total 618480 -rw-r--r-- 1 root root 633304194 Apr 13 11:36 FLINK-1.14.0-csa1.6.2.0
文是《Flink on Yarn三部曲》系列的第二篇，上一篇《Flink on Yarn三部曲之一：准备工作》已将所需的机器和文件准备完毕，可以部署CDH和Flink了； 全文链接 《Flink on...Yarn三部曲之一：准备工作》 《 Flink on Yarn三部曲之二：部署和设置 》 《Flink on Yarn三部曲之三：提交Flink任务》 执行ansible脚本部署CDH和Flink(...执行命令开始部署：ansible-playbook cm6-cdh5-flink1.7-single-install.yml 整个部署过程涉及在线安装、传文件等耗时的操作，因此请耐心等待（半小时左右），...接下来是选择服务的页面，我选择了自定义服务，然后选择了HDFS、YARN、Zookeeper这三项，可以满足运行Flink的需要： ? 在选择主机的页面，都选择CDH服务器： ?...如下图所示，检查参数yarn.nodemanager.resource.cpu-vcores的值，该值必须大于1，否则提交Flink任务后YARN不分配资源执行任务，（如果您的CDH服务器是虚拟机，当CPU
flink-connector-kafka是 flink 内置的Kafka连接器，包含了从topic读取数据的Flink Kafka Consumer 和 向topic写入数据的flink kafka...本文基于flink 1.10.1 和 flink-connector-kafka-0.10_2.11版本，pom如下： org.apache.flink...on YARN的方式运行作业 [root@cdh3 bin]# flink run -m yarn-cluster -c com.iiot.alarm.InSufficientOilAlarms /data0.../flink-root-client-cdh3.macro.com.log20/11/30 01:40:16 INFO cli.CliFrontend: -Dlog4j.configuration....macro.com:2181,cdh2.macro.com:2181,cdh3.macro.com:2181 sessionTimeout=60000 watcher=org.apache.flink.shaded.curator.org.apache.curator.ConnectionState
环境信息 CDH 版本：cdh5.16.2 Flink 版本：release-1.10.0-rc1 Flink 使用了 RC 版本，仅供测试，不建议用于生产环境。...配置 CDH Repo 仓库 修改 flink-shaded 项目中的 pom.xml，添加 CDH maven 仓库，否则编译时找不到 CDH 相关的包。 在 ....../source/flink-shaded/flink-shaded-hadoop-2-uber/target/flink-shaded-hadoop-2-uber-2.6.0-cdh5.16.2-9.0.../org/apache/flink/flink-shaded-hadoop-2-uber/2.6.0-cdh5.16.2-9.0/flink-shaded-hadoop-2-uber-2.6.0-cdh5.16.2.../target/flink-shaded-hadoop-2-uber-2.6.0-cdh5.16.2-9.0.jar Hive 依赖 hive-exec-1.1.0-cdh5.16.2.jar hive-metastore
11 16:59 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674.jar [root@cdh1 csd]# ?...2.下载Flink1.9.1的Parcel并部署到httpd服务的/var/www/html/flink1.9.1目录下 [root@cdh4 flink1.9.1]# ll total 135664...-rw-r--r-- 1 root root 138867394 Feb 11 14:44 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674-el7.parcel...-rw-r--r-- 1 root root 1065 Feb 11 14:43 manifest.json [root@cdh4 flink1.9.1]# ?...总结 1.在CDP DC上基于Parcel的方式安装Flink1.9.1与CDH5和CDH6集群下安装Kafka、Spark等服务方式一致。
2.2Java和CDH和FLINK 登录集群任意节点，将集群的Java目录拷贝至（hadoop11.macro.com）节点的/usr/java/目录下 scp -r /usr/java/jdk1.8.0...同样方法复制FLINK文件夹 ?...Flink配置文件： ?...=/opt/cloudera/parcels/CDH export FLINK_HOME=/opt/cloudera/parcels/FLINK export PATH=$FLINK_HOME/bin:...使用Flink ? ? ?
简单来说CDH就是把我们知道的大数据家族组件进行了一个组合，然后提供了一个WEB-UI的页面，使原来的搭建操作变得非常简单。CDH架构图如下： ?...前期准备: 操作系统：CentOS 6 JDK版本：1.7.0_80 所需安装包及版本说明： CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel CDH-5.4.0-1.cdh5.4.0...下载目录 http://archive.cloudera.com/cdh5/parcels/5.4.0/ 对应文档： CDH5.4 http://archive.cloudera.com/cdh5/...Cloudera Manager5.4.3： http://www.cloudera.com/downloads/manager/5-4-3.html 这里面CDH-5.4.0-1.cdh5.4.0...写入：CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha ?
Hadoop环境快速搭建 官方文档： YARN Setup 在上一篇 Flink部署及作业提交（On Flink Cluster） 文章中，我们介绍了如何编译部署Flink自身的资源分配和管理系统，并将作业提交到该系统上去运行...我这里使用的是CDH的Hadoop发行版。...下载地址如下： http://archive.cloudera.com/cdh5/cdh/5/ 首先需要安装好Java运行环境，由于比较简单这里就不演示了： [root@hadoop01 ~]# echo.../cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz 解压下载好的压缩包： [root@hadoop01 /usr/local/src]# tar -zxvf hadoop-2.6.0...-1.11.2/flink-dist/target/flink-1.11.2-bin/flink-1.11.2/ /usr/local/flink 配置环境变量，否则Flink会报找不到Hadoop相关
》：完成CDH和Flink部署，并在管理页面做好相关的设置； 现在Flink、Yarn、HDFS都就绪了，接下来实践提交Flink任务到Yarn执行； 全文链接 《Flink on Yarn三部曲之一：...接下来分别实战这两种模式； 准备实战用的数据(CDH服务器) 接下来提交的Flink任务是经典的WordCount，先在HDFS中准备一份文本文件，后面提交的Flink任务都会读取这个文件，统计里面每个单词的数字...浏览器访问CDH服务器的38301端口，可见Flink服务已经启动： ?...再开启一个终端，SSH登录CDH服务器，切换到hdfs账号，进入目录：/opt/flink-1.7.2 执行以下命令，就会提交一个Flink任务（安装包自带的WordCount例子），并指明将结果输出到...浏览器访问Flink页面(CDH服务器的38301端口)，也能看到任务的详细情况： ?
xuchao918.github.io/2019/05/31/Centos7%E5%AE%89%E8%A3%85%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0CDH
本文Fayson主要是介绍如何在CDH6.3中安装Flink1.9以及运行你的第一个Flink例子，以下是测试环境信息： 1.CM和CDH版本为6.3 2.Redhat7.4 3.JDK1.8.0_181...-1.9.0-csa1.0.0.0-cdh6.3.0.jar -rw-r--r-- 1 root root 24630 Sep 4 20:02 STREAMS_MESSAGING_MANAGER-2.1.0...-cdh6.3.0-el7.parcel -rw-r--r-- 1 root root 41 Nov 8 01:28 FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7...第一个Flink例子 1.执行Flink自带的example的wordcount例子。...3.在YARN和Flink的界面上分别都能看到这个任务。 ? ? 至此，Flink1.9安装到CDH6.3以及第一个例子介绍完毕。
CDH7.1.3 中 Ozone终于可以正式用于生产环境了。为了直观体验Ozone，我们需要把现有CDH7.1.1集群升级到CDH7.1.3。如何升级CDH集群，这便是本文要讲的主要内容。...CDH的升级共有三种版本的升级：major,minor和maintenance。...运行以下命令升级Cloudera Manager Server 验证是否升级成功 启动Cloudera Manager Server服务 登录Cloudera Manager管理界面，显示升级向导 CDH...升级 准备CDH7.1.3的parcel包 备份NameNode上的HDFS Metastore和数据库 向集群中添加新版的存储库 升级Cluster1上运行的版本 集群升级成功 添加Ozone服务，Ozone...Recon页面 到此CDH和CM升级完成。
flink 能访问到。...EXISTS kudu_test ( id BIGINT, name STRING ) WITH ( 'connector' = 'kudu', 'kudu.masters' = 'cdh001...:7051,cdh002:7051,cdh003:7051', 'kudu.table' = 'impala::xxx.test', 'kudu.hash-columns' = 'id',...EXISTS kudu_test ( id BIGINT, name STRING ) WITH ( 'connector' = 'kudu', 'kudu.masters' = 'cdh001...:7051,cdh002:7051,cdh003:7051', 'kudu.table' = 'impala::xxx.test', 'kudu.hash-columns' = 'id',
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
