前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >CSA部署方案

CSA部署方案

作者头像
大数据杂货铺
发布2021-05-20 15:12:55
7730
发布2021-05-20 15:12:55
举报
文章被收录于专栏:大数据杂货铺大数据杂货铺

我们在Cloudera的流分析系列中介绍了《Cloudera中的流分析概览》和《SQL Stream Builder的概览》,今天我们来进行下一个章节:CSA的部署方案。

您可以根据要构建的应用程序在私有云基础版上部署Streaming Analytics。

  • 仅使用Flink的DataStream应用程序。在这种情况下,您需要创建一个Flink应用程序集群。
  • 将Flink与SQL Stream Builder结合使用的SQL Streaming应用程序。在这种情况下,您需要创建一个Streaming SQL群集。

您可以使用以下工作流程来了解部署过程:

使用Flink的集群服务布局

在Cloudera Streaming Analytics(CSA)中,Flink对HDFS、YARN和Zookeeper具有强制性依赖性。您需要根据强制依赖性将Flink Gateway和HistoryServer角色分配给主机。

Flink作业作为YARN应用程序执行。HDFS用于存储恢复和日志数据,而ZooKeeper用于作业的高可用性协调。在标准布局中,Apache Kafka群集通常位于执行Flink群集的YARN群集附近。

Flink网关与YARN和HDFS网关并置。Flink HistoryServer与HDFS角色并置,该角色可以是活动角色,也可以是网关。并置Flink角色和依赖项时,请使用以下常规服务布局。

使用SSB的集群服务布局

在Cloudera Streaming Analytics(CSA)中,SQL Stream Builder(SSB)与Flink和Kafka具有强制依赖关系。但是由于其与Flink的依赖关系,您还需要在群集上添加YARN、HDFS和Zookeeper作为强制性服务。您需要以与分配Flink角色相同的方式分配SSB角色。

ban

原文链接:https://docs.cloudera.com/csa/1.3.0/deployment/topics/csa-deployment-scenario.html

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-05-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据杂货铺 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 使用Flink的集群服务布局
  • 使用SSB的集群服务布局
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档