腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据社

专栏作者

128

文章

175947

阅读量

35

订阅数

90页PPT讲懂开源分布式流处理平台Kafka

微服务 kafka 批量计算 https

大家好，我是一哥，上周末邀请明哥一起给大家分享了Kafka的相关知识点，内容主要分为以下6部分：

2021-10-26

9110

数仓实战|实时同步Kafka数据到Doris

kafka flink 大数据文件存储数据库

大家好，我是一哥，Doris成为MPP数据库新贵。Doris起源于百度，致力于满足企业用户的多种数据分析场景，支持多种数据模型(明细表，聚合表)，多种导入方式（批量），可整合和接入多种现有系统(Spark， Flink， Hive， ElasticSearch)。

2021-08-27

4.2K0

去哪儿网数据同步平台技术演进与实践

数据库 TDSQL MySQL 版 sql kafka es

井显生，2019年加入去哪儿，现负责国内机票出票、退款、改签核心业务。在领域驱动设计(DDD)、高并发有大量实践经验。

2021-08-27

9230

ETL的灵魂：调度系统

数据库 sql https 消息队列 CMQ 版 kafka

大家好，我是一哥，最近有小伙伴私聊我说他们的调度系统经常出问题，领导要求大家人在哪电脑背到哪，家庭生活一地鸡毛……，其实我也有类似的经历，今天给大家分享一下做调度系统的一些经验！

2021-07-09

1.6K0

面试官系列：谈谈你对Flume的理解

编程算法消息队列 CMQ 版 kafka 大数据 apache

Flume最早是Cloudera开发的实时日志收集系统，最早的时候Flume的版本称为Flume OG（original generation），随着功能的扩展和代码的重构，随之出现了我们熟知的Flume NG（next generation），后来也捐给了Apache基金会成为了Apache的顶级项目。Apache Flume 是一个分布式、高可靠（事务）、高可用（failover）的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具。

2021-07-09

4520

干货，实战滴滴开源Logi-KafkaManager

kafka 运维数据库云数据库 SQL Server sql

滴滴开源了其Kafka 监控与管控平台 Logi-KafkaManager，因为有30+个集群的维护经验，使用过kafka-manager，kafka-eagle，kafka-mirrorkaker工具，所以很期待能有1个工具能够整合kafka所有工具优点于一身，这样对于生产环境中kafka集群的管理、监控、资源分配、平滑升级、数据跨机房传输是非常好的，所以在研究kafka源码的同时研究一下Logi-KafkaManager的源码和使用，滴滴提供了体验地址：http://117.51.150.133:8080/kafka ，账户：admin/admin。

2021-02-07

1.6K0

kafka实践（十二）：生产者（KafkaProducer）源码详解和调试

kafka 网络安全文件存储 ide 批量计算

在前面已经完成win环境下zk（3.4.12版本）的运行，并对kafka源码编译，参考：本地kafka源码的编译和调试，在idea的run-->debug-->中新增configuration来创建topic：yzg（3分区1备份），本地启动运行效果：

2020-12-08

7790

用户行为分析之数据采集

sdk ide 大数据日志数据 kafka

用户行为分析主要关心的指标可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出来就是WHO，WHEN，WHERE，WHAT，WHY以及HOW，HOW TIME。

2020-09-24

2.6K0

Kafka实战宝典：Kafka的控制器controller详解

控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的职责。换句话说，每个正常运转的 Kafka 集群，在任意时刻都有且只有一个控制器。官网上有个名为 activeController 的 JMX 指标，可以帮助我们实时监控控制器的存活状态。这个 JMX 指标非常关键，你在实际运维操作过程中，一定要实时查看这个指标的值。下面，我们就来详细说说控制器的原理和内部运行机制。

2020-08-27

2.2K0

日志收集组件—Flume、Logstash、Filebeat对比

日志数据大数据数据分析编程算法 kafka

数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是可以作为日志采集的工具，本报告将针对这三者进行分析。

2020-06-28

9.6K0

Kafka实战宝典：一文带解决Kafka常见故障处理

Kafka的bin目录下shell脚本是kafka自带的管理工具，提供topic的创建/删除/配置修改、消费者的监控、分区重载、集群健康监控、收发端TPS压测、跨机房同步等能力，Kafka运维者可以使用这些工具进行集群的管理。

2020-05-25

12.9K0

Kafka实战宝典：监控利器kafka-eagle

kafka sql 数据库云数据库 SQL Server jdk

该系统由《Kafka并不难学！入门、进阶、商业实战》的作者 smartloli 开发维护，很牛掰的一位大佬。参考官网：Kafka Eagle

2020-05-25

2.7K0

kafka实战宝典：手动修改消费偏移量的两种方式

kafka zookeeper bash bash 指令

工作中遇到过消费端报错的问题：包括数据Invalid Message和Failed_to_UNcompress等报错信息，导致消费端的iterator损坏，直接造成消费进程挂掉，如果不能及时发现问题，需要手动跳过某些数据；

2020-05-25

3.4K0

Kafka实战宝典：如何跨机房传输数据

kafka bash bash 指令

MirrorMaker 为Kafka 内置的跨集群/机房数据复制工具，二进制包解压后bin目录下有kafka-mirror-maker.sh，Mirror Maker启动后，包含了一组消费者，这些消费者属于同一个group，并从多个topic上读取数据，所有的topic均使用该group.id，每个MirrorMaker 进程仅有一个生产者，该生产者将数据发送给目标集群的多个topic；

2020-05-25

2.8K0

浅谈用户行为分析

大数据 sql kafka spark javascript

关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。在此分享一下自己的一些心得。

2020-05-25

4.1K1

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态