首页
学习
活动
专区
工具
TVP
发布

暴走大数据

专栏成员
298
文章
584270
阅读量
100
订阅数
基于PushGateway+Prometheus+Grafana构建Flink实时监控体系
本文主要介绍将flink任务运行的metric发送到Prometheus,通过grafana报表工具展示。
大数据真好玩
2022-04-27
3.6K0
【Flume】实现MySQL数据增量自动提交到ClickHouse
源码在https://reviews.apache.org/r/50692/diff/1#2 下面的操作需要cd到
大数据真好玩
2022-03-28
2.5K0
Yarn运行中的任务如何终止?
我们的作业是使用yarn来调度的,那么肯定就需要使用相关的命令来进行管理,简单的有查询任务列表和killed某一个正在运行中的任务。
大数据真好玩
2021-03-30
7.2K0
不要到处翻了 | Hive开窗函数总结与实践
平常我们使用 hive或者 mysql时,一般聚合函数用的比较多。但对于某些偏分析的需求,group by可能很费力,子查询很多,这个时候就需要使用窗口分析函数了~ 注:hive、oracle提供开窗函数,mysql8之前版本不提供,但Oracle发布的 MySQL 8.0版本支持窗口函数(over)和公用表表达式(with)这两个重要的功能!
大数据真好玩
2021-01-26
5.6K0
Spring Cloud + ELK 统一日志系统搭建
ELK 是 Elasticsearch、Logstash、Kibana 的简称,这三者是核心套件,但并非全部。
大数据真好玩
2021-01-26
3.1K0
用户行为分析-埋点实时数仓实践
此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联。关于用户行为分析的概念、意义以及埋点相关的东西此文不作赘述
大数据真好玩
2020-11-30
6.8K1
Flink Back Pressure(背压)是怎么实现的?有什么绝妙之处?
场景描述:如果看到任务的背压警告(如 High 级别),这意味着 生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。如果能看到 Source 有警告,这意味着 Sink 消耗数据的速度比 Source 生成速度慢。Sink 正在向 Source 施加反压。
大数据真好玩
2019-10-23
3.3K0
全网第一 | Flink学习面试灵魂40问答案!
Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以便用户编写分布式任务:
大数据真好玩
2019-09-17
10.4K0
你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(下)
场景描述:今年有个现象,实时数仓的建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库建设的文章和方案。
大数据真好玩
2019-09-17
3.1K0
你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)
场景描述:今年有个现象,实时数仓的建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库建设的文章和方案。
大数据真好玩
2019-09-17
2K0
实战经验 | Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题
场景描述:如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会遇到Kafka Topic覆盖问题,具体表现为,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标Topic不起作用,数据仍然会被写入到Source中指定的Topic中。
大数据真好玩
2019-09-12
1.8K2
关于Redis的几件小事 | 并发竞争和Cluster模式
就是多客户端同时并发写一个key,可能本来应该先到的数据后到了,导致数据版本错了。或者是多客户端同时获取一个key,修改值之后再写回去,只要顺序错了,数据就错了。
大数据真好玩
2019-08-08
1.5K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档