腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据成神之路

专注大数据领域的一切技术~

专栏作者

636

文章

1289186

阅读量

317

订阅数

「ClickHouse系列」Replication机制详解

在Clickhouse中, Replication的机制工作在表级别, 而不是库, 或者是节点层级. 一个节点可以同时存储使用Replication引擎的表以及不使用Replication引擎的表.

王知无-import_bigdata

2022-04-13

1.1K0

「Clickhouse系列」分布式表&本地表详解

分布式 zookeeper 数据库 sql 存储

一个逻辑上的表, 可以理解为数据库中的视图, 一般查询都查询分布式表. 分布式表引擎会将我们的查询请求路由本地表进行查询, 然后进行汇总最终返回给用户.

王知无-import_bigdata

2022-04-13

6.4K0

Kafka常用监控框架百科全书

kafka zookeeper https 网络安全 java

Kafka搭建好投入使用后，为了运维更便捷，借助一些管理工具很有必要。Kafka社区似乎一直没有在监控框架方面投入太多的精力，目前Kafka监控方案看似很多，然而并没有一个"大而全"的通用解决方案，各家框架也是各有千秋。很多公司和个人都自行着手开发 Kafka 监控框架，其中并不乏佼佼者。今天我们就来全面地梳理一下主流的监控框架。

王知无-import_bigdata

2021-11-18

6870

30个Kafka常见错误小集合

zookeeper kafka tcp/ip java spring

原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在或者设置auto.create.topics.enable参数

王知无-import_bigdata

2021-09-22

5.6K0

脱离ZooKeeper依赖的Kafka Controller Quorum（KRaft）机制浅析

raft kafka zookeeper

相信这几天大家正在被“Kafka要弃用ZooKeeper”的消息刷屏，并且无一例外地将其视为这个老当益壮的消息系统近年来最重大的变革。当然，由于ZooKeeper在Kafka中承担了Controller选举、Broker注册、TopicPartition注册与Leader选举、Consumer/Producer元数据管理和负载均衡等等很多任务，使Kafka完全摆脱ZooKeeper的依赖也不是一朝一夕就能完成的事情。

王知无-import_bigdata

2021-06-01

1.2K0

ELK+FileBeat+Kafka分布式系统搭建图文教程

kafka apache zookeeper Elasticsearch Service 网络安全

filebeat收集需要提取的日志文件，将日志文件转存到kafka集群中，logstash处理kafka日志，格式化处理，并将日志输出到elasticsearch中，前台页面通过kibana展示日志。

王知无-import_bigdata

2020-08-20

1.9K0

Flink 参数配置和常见参数调优

kafka flink 大数据 yarn zookeeper

ack 数据源是否需要kafka得到确认。all表示需要收到所有ISR节点的确认信息，1表示只需要收到kafka leader的确认信息，0表示不需要任何确认信息。该配置项需要对数据精准性和延迟吞吐量做出权衡。

王知无-import_bigdata

2020-08-11

2.5K0

Hbase FAQ热门问答小集合

hbase TDSQL MySQL 版 jvm zookeeper

问：Hbase大量写入很慢，一个列族，每个200多列，一秒写30000条数据，使用mutate添加数据，clientbuffer缓存大小为10M，四台测试机，128G内存，分配60G给Hbase，该怎么优化？

王知无-import_bigdata

2020-03-18

4470

Kafka+Spark Streaming管理offset的几种方法

kafka spark 存储 api zookeeper

场景描述：Kafka配合Spark Streaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需要将enable.auto.commit设为false。只有管理好offset，才能使整个流式系统最大限度地接近exactly once语义。

王知无-import_bigdata

2019-10-21

2.3K0

Druid实时OLAP数据分析存储系统极简入门

缓存 zookeeper

Druid 是一个开源的，分布式的，列存储的，适用于实时数据分析的存储系统，能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。

王知无-import_bigdata

2019-08-20

1.7K0

一致性协议浅析：从逻辑时钟到Raft

zookeeper 编程算法

春节在家闲着没事看了几篇论文，把一致性协议的几篇论文都过了一遍。在看这些论文之前，我一直有一些疑惑，比如同样是有Leader和两阶段提交，Zookeeper的ZAB协议和Raft有什么不同，Paxos协议到底要怎样才能用在实际工程中，这些问题我都在这些论文中找到了答案。接下来，我将尝试以自己的语言给大家讲讲这些协议，使大家能够理解这些算法。同时，我自己也有些疑问，我会在我的阐述中提出，也欢迎大家一起讨论。水平有限，文中难免会有一些纰漏门也欢迎大家指出。

王知无-import_bigdata

2019-07-09

9620

Apache-Flink深度解析-DataStream-Connectors之Kafka

kafka flink 大数据 apache zookeeper

Apache Kafka是一个分布式发布-订阅消息传递系统。它最初由LinkedIn公司开发，LinkedIn于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka用于构建实时数据管道和流式应用程序。它具有水平扩展性、容错性、极快的速度，目前也得到了广泛的应用。

王知无-import_bigdata

2019-03-22

1.8K0

Apache-Flink深度解析-DataStream-Connectors之Kafka

kafka flink 大数据 apache zookeeper

Apache Kafka是一个分布式发布-订阅消息传递系统。它最初由LinkedIn公司开发，LinkedIn于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka用于构建实时数据管道和流式应用程序。它具有水平扩展性、容错性、极快的速度，目前也得到了广泛的应用。

王知无-import_bigdata

2019-03-19

1.2K0

Flink-Kafka-Connector Flink结合Kafka实战

bash bash 指令 kafka zookeeper 大数据

启动zk：nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

王知无-import_bigdata

2019-03-07

1.3K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态