首页
学习
活动
专区
工具
TVP
发布

python3

专栏成员
11919
文章
14613061
阅读量
239
订阅数
Kafka动态增加Topic的副本
由于Producer和Consumer都只会与Leader角色的分区副本相连,所以kafka需要以集群的组织形式提供主题下的消息高可用。kafka支持主备复制,所以消息具备高可用和持久性。
py3study
2020-02-25
4.7K1
kafka删除topic数据
https://blog.csdn.net/u013256816/article/details/80418297
py3study
2020-02-25
4.5K0
kafka查看消费数据
在老版本中,使用kafka-run-class.sh 脚本进行查看。但是对于最新版本,kafka-run-class.sh 已经不能使用,必须使用另外一个脚本才行,它就是kafka-consumer-groups.sh
py3study
2020-02-24
6.4K0
kafka集群搭建
一个典型的Kafka 集群中包含若干Producer(可以是web 前端产生的Page View,或者是服务器日志,系统 CPU、Memory 等),
py3study
2020-02-21
1K0
Kafka 集群配置SASL+ACL
在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了。由于没有权限控制,集群核心的业务主题时存在风险的。
py3study
2020-02-21
4.4K0
kafka介绍与搭建(单机版)
根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能:
py3study
2020-02-20
9960
Kafka压力测试(自带测试脚本)(单机版)
        本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据10w、100w和1000w级别的消息处理结果,评估Kafka的处理性能是否满足项目需求。(该项目期望Kafka能够处理上亿级别的MQ消息)
py3study
2020-02-20
6.9K0
kafka基本版与kafka acl版性能对比(单机版)
线上已经有kafka集群,服务运行稳定。但是因为产品升级,需要对kakfa做安全测试,也就是权限验证。
py3study
2020-02-20
1.1K0
Kafka ACL使用实战(单机版)
自0.9.0.0.版本引入Security之后,Kafka一直在完善security的功能。当前Kafka security主要包含3大功能:认证(authentication)、信道加密(encryption)和授权(authorization)。信道加密就是为client到broker、broker到broker以及工具脚本与broker之间的数据传输配置SSL;认证机制主要是指配置SASL,而授权是通过ACL接口命令来完成的。
py3study
2020-02-19
1.9K0
Kubernetes 部署kafka ACL(单机版)
在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了。由于没有权限控制,集群核心的业务主题时存在风险的。
py3study
2020-02-19
2.8K0
RabbitMQ
RabbitMQ概述:RabbitMQ是使用最广泛的开源消息代理。RabbitMQ轻量级,易于在集群内部和云平台中部署。它支持多种消息传递协议。 它可以满足企业高规模,高可用性的要求。RabbitMQ使用Erlang语言开发的。 MQ概述:全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。 MQ运行机制: P表示生产者,C表示消费者,红色部分为消息队列
py3study
2020-01-20
1.5K0
RabbitMQ消息队列
  RabbitMQ是一个在AMQP基础上完整的、可复用的企业消息系统,遵循Mozilla Public License开源协议。MQ全称Message Queue(消息队列),它是一种应用程序对应用程序的通信方式。应用程序通过读写入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接他们。消息传递指的是程序之间通过在消息中发送数据通信,而不是直接调用彼此来通信,直接调用通常用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
py3study
2020-01-17
7020
数据结构(三):队列
  队列通常用来实现消息(任务)的快速读写,即消息队列。消息队列的常用来解决如下问题:
py3study
2020-01-16
3620
Kafka_python:简单使用
KafkaConsumer #!/usr/bin/env python #coding:gbk #kafka的使用 consumer使用 import kafka import KafkaConsumer #消费kafka中最新的数据 并且自动提交offsets[消息的偏移量] consumer = KafkaConsumer('my-topic', group_id='my-group', boot
py3study
2020-01-10
5890
41. Python Queue 多进
消息队列最经典的用法就是消费者和生产者之间通过消息管道来传递消息,消费者和生产生是不通的进程。生产者往管道中写消息,消费者从管道中读消息。
py3study
2020-01-10
5890
Python RabbitMQ
RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。
py3study
2020-01-09
4640
python 操作kafka
最近项目中总是跟java配合,我一个写python的程序员,面对有复杂数据结构的java代码转换成python代码,确实是一大难题,有时候或多或少会留有一点坑,看来有空还得看看java基础。这不今天又开始让我们连接kafka啦。公司的kafka跟zookeeper做了群集,连接比较麻烦,具体如何使用,java那面做的封装我也看不到,所以只能通过简单的沟通。
py3study
2020-01-09
6320
Python脚本消费kafka数据
kafka简介(摘自百度百科) 一、简介: 详见:https://blog.csdn.net/Beyond_F4/article/details/80310507 二、安装 详见博客:https://blog.csdn.net/beyond_f4/article/details/80095689 三、按照官网的样例,先跑一个应用 1、生产者: from kafka import KafkaProducer producer = KafkaProducer(bootstra
py3study
2020-01-08
8.4K0
【Python模块】rabbitMQ
父进程与子进程间,同一父继承可以用multiprocess的Manager模块来实现数据互访。
py3study
2020-01-07
9110
python对kafka的基本操作
from kafka import KafkaProducer from kafka import KafkaConsumer from kafka.structs import TopicPartition import time
py3study
2020-01-07
8210
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档