Eights做数据

23 篇文章
11 人订阅

全部文章

Eights

长安汽车 · 大数据开发工程师 (已认证)

如何将Flink应用的日志发送到kafka

产线环境上的Flink应用是长时运行的应用,日志量较大,通过flink web页面查看任务日志会导致浏览器卡死,通过日志排查问题非常不便。因此,需要将flink...

11020
Eights

长安汽车 · 大数据开发工程师 (已认证)

如何使用Canal同步MySQL的Binlog到Kafka

Canal是阿里开源的增量解析MySQL binlog组件。通过将binlog投递到kafka,一方面可以直接进行指标计算。另一方面,可以减轻夜间离线数仓数据同...

11540
Eights

长安汽车 · 大数据开发工程师 (已认证)

Flume拦截器实现按照事件时间接入HDFS

Flume作为一个数据接入组件,广泛应用于Hadoop生态中。在业务时间混乱的情况下,按照机器数据在HDFS上分区会降低ETL的效率。采用Flume自定义拦截器...

8920
Eights

长安汽车 · 大数据开发工程师 (已认证)

如何在CDH5上部署Dolphin Scheduler 1.3.1

本文记录了在CDH5.16.2集群上集成Dolphin Scheduler 1.3.1的详细流程,特别注意一下MySQL数据库的连接串!

16730
Eights

长安汽车 · 大数据开发工程师 (已认证)

Hive常用窗口函数实战

本文介绍了Hive常见的序列函数,排名函数和窗口函数。结合业务场景展示了Hive分析函数的使用

10820
Eights

长安汽车 · 大数据开发工程师 (已认证)

Dolphin Scheduler 1.2.1部署参数分析

Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据...

13920
Eights

长安汽车 · 大数据开发工程师 (已认证)

Grafana安装部署

Grafana支持Cloudera Manager数据源,因此可以搞一波把大数据集群中各种组件的监控都做到Grafana上。同时,Grafana提供了对Prom...

13220
Eights

长安汽车 · 大数据开发工程师 (已认证)

如何在CDH5.16.2中安装Python Impyla

9330
Eights

长安汽车 · 大数据开发工程师 (已认证)

Prometheus监控工具安装部署

Prometheus是一个开放性的监控解决方案,其灵感来自于Google的Borgmon,于2016年5月继k8s后加入CNCF基金会。Prometheus具备...

10530
Eights

长安汽车 · 大数据开发工程师 (已认证)

Impala负载均衡异常处理

最近业务系统需要使用Impala作为查询引擎,在使用Impala JDBC连接Impala服务时,默认是不带负载均衡的,需要指定ImpalaD的机器。指定机器的...

9320
Eights

长安汽车 · 大数据开发工程师 (已认证)

Dolphin Scheduler 1.1.0升级1.2.0避坑指南

Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据...

17340
Eights

长安汽车 · 大数据开发工程师 (已认证)

Prometheus监控Kafka

大数据组件中,Kafka使用非常广泛。而提及Kafka的监控,历来都是个头疼的事情,Kafka的开源社区在监控框架上并没有投入太多的精力。(Cloudera倒是...

29520
Eights

长安汽车 · 大数据开发工程师 (已认证)

Flume - Error while trying to hflushOrSync异常处理

记录Flume的Error while trying to hflushOrSync异常处理流程

7010
Eights

长安汽车 · 大数据开发工程师 (已认证)

DolphinScheduler-1.3.0-dev新功能尝鲜

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系...

34061
Eights

长安汽车 · 大数据开发工程师 (已认证)

从0-1搭建Spark本地开发环境(idea)

https://www.scala-lang.org/download/2.11.12.html

11650
Eights

长安汽车 · 大数据开发工程师 (已认证)

从0-1搭建DolphinScheduler开发环境

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.4.14/zookeeper-3.4.1...

16740
Eights

长安汽车 · 大数据开发工程师 (已认证)

Flink on Yarn - CDH5

根据Flink官网资料,实操CDH5.16.2上配置Flink on yarn,给出了flink on yarn的集成方式和HA的配置方式

15140
Eights

长安汽车 · 大数据开发工程师 (已认证)

Flink 1.10.1源码编译(CDH5.16.2)

拉取flink1.10.1的代码后,idea中全局查找一下flink.shaded.version,确定应该选择的flink-shaded版本

17030
Eights

长安汽车 · 大数据开发工程师 (已认证)

构建第一个Flink应用-WordCount

使用maven初始化第一个flink的wordcount应用,将应用打包上传到flink-standalone集群,运行起来。

9220
Eights

长安汽车 · 大数据开发工程师 (已认证)

Flink运行架构及编程模型

翻译Flink官网关于flink运行架构及编程模型的内容,本文的图片来自flink官网。计划今年下半年将flink应用到生产环境,最近在进行flink的学习,会...

9930

扫码关注云+社区

领取腾讯云代金券