Eights

LV0
发表了文章

Flink(1.12.1)日志配置Logback实现日志切分和kafka发送

产线环境上的Flink应用是长时运行的应用,日志量较大,需要将flink应用的日志发送到外部系统,方便进行日志检索。

Eights
发表了文章

Hbase1.2.0-cdh5.16.2使用PREFIX_TREE编码导致集群压缩队列异常

Hbase1.X版本中PREFIX_TREE作为BlockEncoding存在bug,会造成RegionServer节点compaction queue持续升高...

Eights
发表了文章

如何处理Canal集群Server切换&表DDL变化造成的binlog无法解析问题

Canal集群在启用HA的情况下,如果配置了tsdb为内嵌的H2数据库,在Server宕机发生切换的情况下,同时MySQL的DDL发生变化,容易造成MySQL的...

Eights
发表了文章

如何使用kafka-eagle-2.0.2管理Kafka集群

Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂。因此,大数据平台上需要一套Kafka的管理监控系统,Kaf...

Eights
发表了文章

如何将Flink应用的日志发送到kafka

产线环境上的Flink应用是长时运行的应用,日志量较大,通过flink web页面查看任务日志会导致浏览器卡死,通过日志排查问题非常不便。因此,需要将flink...

Eights
发表了文章

如何使用Canal同步MySQL的Binlog到Kafka

Canal是阿里开源的增量解析MySQL binlog组件。通过将binlog投递到kafka,一方面可以直接进行指标计算。另一方面,可以减轻夜间离线数仓数据同...

Eights
发表了文章

Flume拦截器实现按照事件时间接入HDFS

Flume作为一个数据接入组件,广泛应用于Hadoop生态中。在业务时间混乱的情况下,按照机器数据在HDFS上分区会降低ETL的效率。采用Flume自定义拦截器...

Eights
发表了文章

如何在CDH5上部署Dolphin Scheduler 1.3.1

本文记录了在CDH5.16.2集群上集成Dolphin Scheduler 1.3.1的详细流程,特别注意一下MySQL数据库的连接串!

Eights
发表了文章

Hive常用窗口函数实战

本文介绍了Hive常见的序列函数,排名函数和窗口函数。结合业务场景展示了Hive分析函数的使用

Eights
发表了文章

Dolphin Scheduler 1.2.1部署参数分析

Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据...

Eights
发表了文章

Grafana安装部署

Grafana支持Cloudera Manager数据源,因此可以搞一波把大数据集群中各种组件的监控都做到Grafana上。同时,Grafana提供了对Prom...

Eights
发表了文章

如何在CDH5.16.2中安装Python Impyla

Eights
发表了文章

Prometheus监控工具安装部署

Prometheus是一个开放性的监控解决方案,其灵感来自于Google的Borgmon,于2016年5月继k8s后加入CNCF基金会。Prometheus具备...

Eights
发表了文章

Impala负载均衡异常处理

最近业务系统需要使用Impala作为查询引擎,在使用Impala JDBC连接Impala服务时,默认是不带负载均衡的,需要指定ImpalaD的机器。指定机器的...

Eights
发表了文章

Dolphin Scheduler 1.1.0升级1.2.0避坑指南

Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据...

Eights
发表了文章

Prometheus监控Kafka

大数据组件中,Kafka使用非常广泛。而提及Kafka的监控,历来都是个头疼的事情,Kafka的开源社区在监控框架上并没有投入太多的精力。(Cloudera倒是...

Eights
发表了文章

Flume - Error while trying to hflushOrSync异常处理

记录Flume的Error while trying to hflushOrSync异常处理流程

Eights
发表了文章

DolphinScheduler-1.3.0-dev新功能尝鲜

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系...

Eights
发表了文章

从0-1搭建Spark本地开发环境(idea)

https://www.scala-lang.org/download/2.11.12.html

Eights
发表了文章

从0-1搭建DolphinScheduler开发环境

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.4.14/zookeeper-3.4.1...

Eights

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券