首页
学习
活动
专区
工具
TVP
发布

Eights做数据

专栏作者
27
文章
58566
阅读量
11
订阅数
Flink(1.12.1)日志配置Logback实现日志切分和kafka发送
产线环境上的Flink应用是长时运行的应用,日志量较大,需要将flink应用的日志发送到外部系统,方便进行日志检索。
Eights
2021-03-16
1.6K0
Hbase1.2.0-cdh5.16.2使用PREFIX_TREE编码导致集群压缩队列异常
Hbase1.X版本中PREFIX_TREE作为BlockEncoding存在bug,会造成RegionServer节点compaction queue持续升高,甚至影响flush,最终阻塞写入。本文记录了整个RegionServer异常的故障定位过程。
Eights
2021-03-15
6770
如何处理Canal集群Server切换&表DDL变化造成的binlog无法解析问题
Canal集群在启用HA的情况下,如果配置了tsdb为内嵌的H2数据库,在Server宕机发生切换的情况下,同时MySQL的DDL发生变化,容易造成MySQL的Binlog无法解析,可采用将tsdb配置为MySQL的方式进行处理
Eights
2020-12-02
2.9K0
如何使用kafka-eagle-2.0.2管理Kafka集群
Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂。因此,大数据平台上需要一套Kafka的管理监控系统,Kafka-Eagle。
Eights
2020-11-09
2K0
如何将Flink应用的日志发送到kafka
产线环境上的Flink应用是长时运行的应用,日志量较大,通过flink web页面查看任务日志会导致浏览器卡死,通过日志排查问题非常不便。因此,需要将flink应用的日志发送到外部系统,方便进行日志检索
Eights
2020-09-10
2.2K0
如何使用Canal同步MySQL的Binlog到Kafka
Canal是阿里开源的增量解析MySQL binlog组件。通过将binlog投递到kafka,一方面可以直接进行指标计算。另一方面,可以减轻夜间离线数仓数据同步的压力。本文基于canal-1.1.4版本进行binlog解析和投递到kafka功能测试
Eights
2020-09-10
4.7K0
Flume拦截器实现按照事件时间接入HDFS
Flume作为一个数据接入组件,广泛应用于Hadoop生态中。在业务时间混乱的情况下,按照机器数据在HDFS上分区会降低ETL的效率。采用Flume自定义拦截器可以实现按照事件时间Sink到HDFS目录,以应对数据的事件时间混乱问题
Eights
2020-09-10
1.3K0
如何在CDH5上部署Dolphin Scheduler 1.3.1
本文记录了在CDH5.16.2集群上集成Dolphin Scheduler 1.3.1的详细流程,特别注意一下MySQL数据库的连接串!
Eights
2020-07-16
1.4K0
Hive常用窗口函数实战
本文介绍了Hive常见的序列函数,排名函数和窗口函数。结合业务场景展示了Hive分析函数的使用
Eights
2020-07-13
2.5K0
Dolphin Scheduler 1.2.1部署参数分析
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Eights
2020-07-10
1.6K0
Grafana安装部署
Grafana支持Cloudera Manager数据源,因此可以搞一波把大数据集群中各种组件的监控都做到Grafana上。同时,Grafana提供了对Prometheus的完整支持。
Eights
2020-07-10
4.5K0
如何在CDH5.16.2中安装Python Impyla
文档编写目的 整理CDH5中安装Impyla的步骤 集群环境 CDH5.16.2 anaconda3 python3.7 组件介绍 Impyla:适用于分布式查询引擎的HiveServer2实现(例如Impala,Hive)的Python客户端。 Impyla依赖包 six bit_array thriftpy thrift_sasl sasl 安装依赖 安装thrift_sasl需要先执行,否则安装会提示缺少sasl.h文件 yum install gcc-c++ python-devel.x86_
Eights
2020-07-10
9210
Prometheus监控工具安装部署
Prometheus是一个开放性的监控解决方案,其灵感来自于Google的Borgmon,于2016年5月继k8s后加入CNCF基金会。Prometheus具备易于管理,高效,可扩展,易集成的特点。详细介绍见官网:https://prometheus.io/docs/introduction/overview/
Eights
2020-07-10
2.5K0
Impala负载均衡异常处理
最近业务系统需要使用Impala作为查询引擎,在使用Impala JDBC连接Impala服务时,默认是不带负载均衡的,需要指定ImpalaD的机器。指定机器的情况下会产生单点故障和负载过重的问题,因此在多用户和生产环境下对于Impala的JDBC服务需要做负载均衡。
Eights
2020-07-10
1.2K0
Dolphin Scheduler 1.1.0升级1.2.0避坑指南
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Eights
2020-07-10
1.5K0
Prometheus监控Kafka
大数据组件中,Kafka使用非常广泛。而提及Kafka的监控,历来都是个头疼的事情,Kafka的开源社区在监控框架上并没有投入太多的精力。(Cloudera倒是有一个关于Kafka独立的产品Cloudera Streams Management)
Eights
2020-07-10
6.7K1
Flume - Error while trying to hflushOrSync异常处理
记录Flume的Error while trying to hflushOrSync异常处理流程
Eights
2020-07-10
1.4K0
DolphinScheduler-1.3.0-dev新功能尝鲜
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Eights
2020-07-10
1.6K0
从0-1搭建Spark本地开发环境(idea)
https://www.scala-lang.org/download/2.11.12.html
Eights
2020-07-10
3.1K0
从0-1搭建DolphinScheduler开发环境
https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
Eights
2020-07-10
2.9K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档