腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据与实时计算

专栏作者

45

文章

114339

阅读量

40

订阅数

kafka事务:入门篇

消息队列 CKafka 版大数据处理套件 TBDS 大数据大数据解决方案 kafka

Kafka 的消息传输保障机制非常直观。当生产者向 Kafka 发送消息时，一旦消息被成功提交到日志文件，由于多副本机制的存在，这条消息就不会丢失。

2022-08-31

8192

【Flink源码实战(一)】给Flink增加一个REST API

流计算 Oceanus 大数据处理套件 TBDS 大数据解决方案大数据

Flink官方实现了大量的REST API接口，有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManager的一部分在运行。默认端口是8081，可以通过flink-conf.yaml的rest.port参数进行配置。

2021-06-10

3.2K0

kafka0.10.1.0客户端导致0.9Server僵死问题排查

消息队列 CKafka 版大数据处理套件 TBDS 大数据解决方案大数据

此时客户端发往服务端的请求是处于异常阶段，如果不能快速恢复的话，存在数据丢失的风险。

2021-05-27

9430

【Flink笔记】kafka-connector消费protobuf格式数据

大数据处理套件 TBDS 大数据解决方案大数据可视交互系统大数据 java

Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议，可以用于网络通信和数据存储。

2021-01-05

4K0

kafka客户端指标上报Prometheus方案(已开源)

消息队列 CKafka 版大数据处理套件 TBDS 大数据大数据解决方案

在我们场景下，需要将海量数据透传到我们的Kafka集群，这时候我们常常会遇到这些问题:

2020-09-25

3.1K0

关注专栏作者，随时接收最新技术干货

腾讯高级工程师

【HBase】HBase迷你版MiniBase学习笔记

大数据处理套件 TBDS hbase 大数据数据库时序数据库 CTSDB

HBase相对复杂，想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华，希望可以通过学习MiniBase以小见大，能够对自己理解HBase这个庞然大物有所帮助。

2020-05-16

1.6K0

Flink双流处理:实时对账实现

大数据处理套件 TBDS 大数据解决方案大数据可视交互系统大数据

更多内容详见:https://github.com/pierre94/flink-notes

2020-03-10

3.9K0

Flink状态编程: 订单超时告警

大数据处理套件 TBDS 大数据大数据解决方案大数据可视交互系统

无状态计算实现的复杂度相对较低，实现起来较容易，但是无法完成提到的比较复杂的业务场景:

2020-03-03

2.5K1

flink学习笔记

大数据处理套件 TBDS 大数据大数据解决方案

2020-01-10

1.3K0

数据同步工具Flinkx的研究与实践

大数据处理套件 TBDS 大数据解决方案大数据

Flink是新型的计算框架，具有分布式、低延迟、高吞吐和高可靠的特性。其支持多种部署方式:local(单机)、standalone模式，也可以基于yarn，mesos或者k8s做资源调度。Flink提供了比较高级的API，我们能比较方便地扩展现有的API来满足一些特殊需求，此外Flink提供了完整的状态管理体系（checkpoint），可以基于这个机制实现断点续传。

2019-12-09

6.5K2

《hadoop权威指南》笔记一:走进hdfs

大数据 node.js 存储 hadoop

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。

2019-07-30

9570

flume 1.9 版本更新

大数据数据传输服务大数据解决方案

FLUME-2071 - Flume环境变量不支持float或double的配置值.

2019-04-29

1.9K0

【flink1.7官方文档翻译】DataStream API Tutorial

大数据 kafka maven jar api

在本指南中，我们将从头开始，从设置Flink项目到在Flink集群上运行stream分析程序。

2019-01-25

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态