alpakka项目是一个基于akka-streams流处理编程工具的scala/java开源项目,通过提供connector连接各种数据源并在akka-streams里进行数据处理。...用akka-streams集成kafka的应用场景通常出现在业务集成方面:在一项业务A中产生一些业务操作指令写入kafka,然后通过kafka把指令传送给另一项业务B,业务B从kafka中获取操作指令并进行相应的业务操作...在alpakka中,实际的业务操作基本就是在akka-streams里的数据处理(transform),其实是典型的CQRS模式:读写两方互不关联,写时不管受众是谁,如何使用、读者不关心谁是写方。...用户可以通过typesafe config配置文件操作工具来灵活调整配置 2、de/serializer序列化工具:alpakka-kafka提供了String类型的序列化/反序列化函数,可以直接使用...akka.kafka.producer配置段落在alpakka-kafka的reference.conf里提供了默认配置,不需要在application.conf里重新定义。
inputFormat 是一个较新的参数,针对使用的 Kafka 索引服务,我们建议你对这个数据格式参数字段进行设置。...不幸的是,目前还不能支持所有在老的 parser 中能够支持的数据格式(Druid 将会在后续的版本中提供支持)。...因为 Druid 的数据版本的更新,在老的环境下,如果使用 parser 能够处理更多的数格式。 如果通过配置文件来定义的话,在目前只能处理比较少的数据格式。...在我们的系统中,通常将数据格式定义为 JSON 格式,但是因为 JSON 的数据是不压缩的,通常会导致传输数据量增加很多。...如果你想使用 protobuf 的数据格式的话,能够在 Kafka 中传递更多的内容,protobuf 是压缩的数据传输,占用网络带宽更小。
1.文档编写目的 ---- 前面Fayson讲过《如何使用Hue创建Spark1和Spark2的Oozie工作流》和《如何使用Hue创建Spark2的Oozie工作流(补充)》,在创建Oozie工作流时会遇到需要登录到其它服务器上去执行脚本或命令...本文主要介绍如何创建Ssh Action的Oozie工作流。...4.创建Oozie的Ssh Action测试 ---- 1.登录Hue创建Oozie工作流 [s9iqjjcfpw.jpeg] [0lor6usecc.jpeg] 输入ssh登录信息及执行的指令或脚本...5.总结 ---- 在非Kerberos环境的集群中,ssh actions会以oozie用户执行,因为oozie的服务进程是以oozie的用户起的。...在CDH集群中oozie用户默认是不能登录的,如果需要通过su切换到oozie用户,则需要使用root用户在/etc/pam.d/su文件中增加如下配置: auth [success=ignore
KafKa CMAK 介绍 Cluster Manager for Apache Kafka是雅虎开源应用于Kafka集群,用户可在Web 界面执行简单的集群管理操作。...CMAK(以前称为Kafka Manager)是用于管理Apache Kafka群集的Web工具。...使用可选的主题配置创建主题(0.8.1.1与0.8.2+具有不同的配置) 删除主题(仅在0.8.2+上受支持,并记住在代理配置中设置delete.topic.enable = true) 主题列表指示标记为删除的主题...(仅在0.8.2+上受支持) 批量生成多个主题的分区分配,并可以选择要使用的代理 批量运行分区的多个主题的重新分配 将分区添加到现有主题 更新现有主题的配置 支持ldap用户认证 准备依赖环境 CMAK...解压到指定目录 unzip cmak-3.0.0.4.zip -d /data CMAK Config 修改如下配置即可,通过逗号分隔来指定多个zookeeper主机。
这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。...3.选择你要运行的副本 4.基于当前分区状况进行 5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 6.删除topic(只支持0.8.2以上的版本并且要在broker..." 2.4启动 bin/kafka-manager kafka-manager 默认的端口是9000,可通过 -Dhttp.port=9001,指定端口; -Dconfig.file=conf/application.conf...【Topic】>【Create】可以方便的创建并配置主题。...如果设置的Partitons和Replication Factor都是1,这时只会根据算法在某个Server上创建一个分区,可以是P0~4中的某一个(分区都是新建的,不是先存在4个然后从中取1个)。
了解了kafka原理之后,对kafka的的应用场景有了一些想法。在下面的一系列讨论中把最近一个项目中关于kafka的应用介绍一下。...我们把这个库存更新功能的实现作为典型的kafka应用案例来介绍,然后再在过程中对akka系列alpakka-kafka的使用进行讲解和示范。 首先,后端业务功能与前端数据采集是松散耦合的。...在我们的案例里,以库存管理平台为核心,一端通过kafka连接所有的平台用户。这些分布在各处的应用通过kafka的集群功能同时向kafka的写入端写入消息。这些消息实际是序列化的库存更新指令。...这个平台是一个以alpakka-kafka-stream为主要运算框架的流计算软件。我们可以通过这次示范深入了解alpakka-kafka-stream的原理和应用。...然后,是否采用分布式运算模式,如何解决多线程竞争问题,这些问题都比较复杂,用一篇博客无法完全解释清楚,就留着在下面的博客中再详细描述吧。
这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。 它支持管理多个集群、选择副本、副本重新分配以及创建Topic。...选择你要运行的副本 4.基于当前分区状况进行 5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置...kafka-manager-1.3.3.14.zip mv kafka-manager-1.3.3.14 kafka-manager cd kafka-manager 4.配置,填写要管理的zk地址...检查kafka-manager的配置文件application.conf,zookeeper地址是否正确 while starting up loggers kafka-manager日志显示如下 kafka-manager...解决 调整超时时间 更改配置文件kafka-manager-1.3.3.6/target/universal/kafka-manager-1.3.3.6/conf/application.conf从 akka
1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker。...这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。...选择你要运行的副本 4.基于当前分区状况进行 5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置...,指定端口; -Dconfig.file=conf/application.conf指定配置文件: nohup bin/kafka-manager -Dconfig.file=conf/application.conf... xuel 通过web界面创建topic-{1-4} 3.3 删除topic .
启动 默认使用 9000 端口,如果端口占用,可以通过参数指定端口: cmak -Dconfig.file=/opt/cmak/conf/application.conf -Dhttp.port=9000...启动 CMAK 服务后,通过 http://localhost:9000/ 地址进入 WEB UI 界面: image.png 可以通过 Add Cluster 菜单创建我们的 Kafka 集群:...image.png 注意的的是 Cluster Zookeeper Hosts 要配置 Kafka 在 ZooKeeper 中的 NameSpace,在这我们是 kafka,具体取决于 Kafka...的配置: zookeeper.connect=localhost:2181/kafka 看到如下页面表示我们已经创建好集群了: image.png 如果你遇到报如下错误: Yikes!...创建成功后,你就可以看到你的 Kafka 信息: image.png 参考: CMAK
机器上创建myid,并设置为1与配置文件zoo.cfg里面server.1对应。...这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。...选择你要运行的副本 4.基于当前分区状况进行 5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置...kafka-manager-1.3.3.7.zip 将application.conf中的kafka-manager.zkhosts的值设置为你的zk地址 如:kafka-manager.zkhosts...=9001 & 第一次进入web UI要进行kafka cluster的相关配置,根据自己的信息进行配置。
具体支持以下内容: 管理多个集群 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发) 运行首选副本选举 使用选项生成分区分配以选择要使用的代理 运行分区重新分配(基于生成的分配) 使用可选主题配置创建主题...(0.8.1.1具有与0.8.2+不同的配置) 删除主题(仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true) 主题列表现在指示标记为删除的主题(仅支持0.8.2...+) 批量生成多个主题的分区分配,并可选择要使用的代理 批量运行重新分配多个主题的分区 将分区添加到现有主题 更新现有主题的配置 支持ldap用户认证 kafka-manager 项目地址:https:...修改配置文件 conf/application.conf: kafka-manager.zkhosts="my.zookeeper.host.com:2181,other.zookeeper.host.com...创建kafka集群 ?
一: 在controller 定义属性 @Value("${adminPath}") public String adminPath; 二:在.properties 文件配置...: adminPath=/yykj 三:在spring 的配置文件添加: <util:properties id="APP_PROP" location="classpath:xx.properties
本篇博主带来的是Kafka的两种监控软件。 一. Kafka Monitor 1....将上传的jar包放入刚创建的目录下 [bigdata@hadoop002 kafka-offset-console]$ cp /opt/software/Kafka/KafkaOffsetMonitor-assembly...在/opt/module/kafka-offset-console目录下创建启动脚本start.sh,内容如下 [bigdata@hadoop002 kafka-offset-console]$ vim.../start.sh 如果出现下图就代表成功了 7.登录页面hadoop002:8086端口查看详情 下面可以进行一些简单的操作 先分别进行生产消费 然后通过web端进行查看 二..../ 2.修改配置文件conf/application.conf [bigdata@hadoop002 kafka-manager-1.3.3.15]$ vim conf/application.conf
创建带有可选主题配置的主题(0.8.1.1与0.8.2+具有不同的配置) 删除主题(仅在0.8.2+上受支持,并记住在代理配置中设置delete.topic.enable = true) 主题列表指示标记为删除的主题...(仅在0.8.2+上受支持) 批量生成多个主题的分区分配,并可以选择要使用的代理 批量运行分区的多个主题的重新分配 将分区添加到现有主题 更新现有主题的配置 Kafka Manager下载地址 https...下面搭建kafka测试环境,简单演示kafka manager部署与使用 1、kafka环境准备 可以使用如下脚本创建单节点的kafka测试服务器 脚本如下(脚本写得较简单,可以忽略脚本健壮性) #...--bootstrap-server 192.168.31.80:9092 --topic yuanfan_kafka_test 1)可以创建主题,测试主题的自生产与自消费 2)用之前配置文件中账户密码登录...kafka-manager 默认admin/password 3)登录后的界面 4)添加集群,修改连接集群的配置 5)查看topic的信息 6)Topic的综合信息及指标信息 ?
在配置conf/application.conf 中加入zookeeper的地址,不一定是kafka的集群zk地址 kafka-manager.zkhosts="localhost:2181" 启动,...运行分区分布策略,根据4产生的分布策略 6. 根据自定义配置创建topic 7. 删除topic,但是前提是配置kafka的delete.topic.enable=true 8....可以选择多个topic,然后指定特定的brokers,生成分区分布策略 9. 批量运行8生成的策略 10. 增加已存在topic的分区 11. 更新已存在topic的配置 12....加入kafka开启jmx的话,可以监控broker和topic级别的监控指标。 kafka manager图解说明 首先创建集群 ? 接着在topic管理界面 ? 然后就是消费者界面 ?...kafka 开启jmx的方式很简单在kafka-server-start.sh中修改如下 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS
我把主要的参数说明列在了下面的表格里,你至少要了解一下这些参数的含义。 现在,我举一个实际的例子来说明一下如何运行这个命令。...你可以在Kafka Manager的target/universal目录下找到生成的zip文件,把它解压,然后修改里面的conf/application.conf文件中的kafka-manager.zkhosts...-Dconfig.file=conf/application.conf -Dhttp.port=8080 该命令指定了要读取的配置文件以及要启动的监听端口。...你可以修改config下的application.conf文件,删除application.features中的值。...Control Center不但能够实时地监控Kafka集群,而且还能够帮助你操作和搭建基于Kafka的实时流处理应用。更棒的是,Control Center提供了统一式的主题管理功能。
-订阅系统,Apache Kafka在Yahoo内部已经被很多团队所使用,例如媒体分析团队就将其应用到了实时分析流水线中,同时,Yahoo整个Kafka集群处理的峰值带宽超过了20Gbps(压缩数据)。...通过Kafka Manager用户能够更容易地发现集群中哪些主题或者分区分布不均匀,同时能够管理多个集群,能够更容易地检查集群的状态,能够创建主题,执行首选的副本选择,能够基于集群当前的状态生成分区分配...创建可选主题配置的主题(0.8.1.1具有不同于0.8.2+的配置) 删除主题(仅支持0.8.2+,并记住在代理配置中设置delete.topic.enable = true) 主题列表现在表示标记为删除的主题...可选地筛选出在zookeeper中没有ids / owner /&offset /目录的消费者。...application.conf 或者后台运行 并且配置端口 $ nohup bin/kafka-manager -Dconfig.file=/home/hadoop/app/kafka-manager
流处理。 需要将己收集的流数据提供给其他流式计算框架进行处理,用Kafka 收集流数据是一个不错的选择。 持久性日志。 Kafka 可以为外部系统提供一种持久性日志的分布式系统。...2.2.2、验证kafka是否安装成功 由于kafka是将元数据保存在ZooKeeper中的,所以,可以通过查看ZooKeeper中的信息进行验证kafka是否安装成功。 ? ? ?.../ cd /export/servers/kafka-manager-1.3.3.17/conf 第二步:修改配置文件 #修改配置文件 vim application.conf #新增项,http访问服务的端口...--describe --zookeeper node01:2181 3.1.1.3、删除topic 通过kafka-topics.sh执行删除动作,需要在server.properties文件中配置...3.2、通过Java Api操作Kafka 除了通过命令行的方式操作kafka外,还可以通过Java api的方式操作,这种方式将更加的常用。 3.2.1、创建工程 ? 导入依赖: <?
---- Github地址 https://github.com/yahoo/CMAK 详见README.md ---- 因为误用了 Apache 的商标,kafka manager改名为CMAK(Cluster...3.0.0.2 之前的 Releases 版本中仅 提供源码 Source 包,未提供编译好的二进制 Binary 包。...---- Require cmak-3.0.0.5 要求 JDK >= 11 ---- 安装 配置文件 修改conf/application.conf 配置文件 [root@localhost conf...]# pwd /root/cmak-3.0.0.5/conf [root@localhost conf]# cat application.conf zk地址 # Settings prefixed...---- 配置 【添加】 左上角 ? ? 建议也勾选 Enable JMX Polling 其他参数保持不变 , 点击 【save】 ? ? ? ? 行了,这样吧,剩下的自己摸索吧
领取专属 10元无门槛券
手把手带您无忧上云