数据湖

分享有关数据湖、大数据和AI领域的最新洞见和最佳实践
43 篇文章
5.6K 次阅读
14 人订阅

全部文章

soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

Flink初试——对接Kafka

本篇文章我们用 Flink Kafka Connector对接Kafka,实现一个简单的报警业务。我们暂时不去谈论理论,先上手实现这个简单的需求。

8820
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

基于大数据技术的开源在线教育项目 二

模拟日志的数据格式如下,详细请参见我的开源项目 https://github.com/SoundHearer/kuaiban

11320
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

基于大数据技术的开源在线教育项目 三

本文代码可在开源项目https://github.com/SoundHearer/kuaiban中找到。

6010
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

sparkstreaming遇到的问题

这篇文章介绍sparkstreaming对接kafka时遇到的两个offset的问题,首选我们介绍下offset的存储。

12030
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

数据仓库实战 1

数据仓库(Data Warehouse),是为企业所有决策制定过程,提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程,控制成...

11330
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

数据仓库实战 2

首先我们从实时生成的日志文件通过flume采集到kafka中。log日志的格式是app-yyyy-mm-dd.log

8530
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

数据仓库实战 3

经过前面那么久的折腾,我们终于可以切入主题了,接下来我们用数仓分层的理论,在Hive中建立数据仓库。

7920
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

基于大数据技术的开源在线教育项目

毫无疑问最近几年是在线教育和内容付费的风口期,尤其是今年,大量做教育的公司都获得数额不小的投资。我们不是要去追这个风口,而是因为在线教育的成熟,开始产生巨量有价...

8010
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

数据仓库实战 4

91712 Map-Reduce Framework Map input records=125 Map output ...

16630
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

深入理解HDFS 一

Hadoop的发展至今已经有十余年的历史了,其核心设计HDFS和MapReduce,分别解决了海量数据的存储和计算这两个问题。

8330
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

Impala MetaData问题

Impala的核心组件是Impalad,提供查询服务,catalogd缓存和获取元数据,statestored则负责把元数据更新到每个impalad节点上。

15841
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

Ranger同步ldap组问题

按照我们之前的配置,在CDH7.1.1上为Ranger集成OpenLDAP认证这边文章中,我们为Ranger集成了OpenLDAP认证,刚开始给Hive、HDF...

24040
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

Kudu遇到的问题

kudu已经集成在了CDP runtime中,安装比较简单,选择master和tablet之后,配置数据目录即可

17030
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

如何通过Cloudera Manager页面自定义图表

在Cloudera Manager中我么可以看到很多图表,CDH的组件如HDFS、HBase等都有大量的描述CPU、磁盘、作业队列等的图表,这些图表可以通过ts...

19521
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

安装OpenLDAP和客户端

生产环境中CDH集群需要启用安全认证,在CDH7以后,Ranger被替换成了Ranger,因此启用安全认证的步骤包括:集群安装并启用Kerberos,安装Ope...

12920
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

MySQL常见问题一

这个错误一般发生在mysql 5.7以及 5.7以上的版本中,其原因是mysql的默认配置中,sql_mode="ONLY_FULL_GROUP_BY" 这个配...

9330
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

OpenLDAP集成sssd同步用户并集成SSH登录

sssd服务是一个守护进程,该进程可以用来访问多种验证服务器,如LDAP,Kerberos等,并提供授权。SSSD是 介于本地用户和数据存储之间的进程,本地客户...

16451
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

如何通过Cloudera Manager的API获取集群告警信息

告警监控对于一个集群来说,其重要性不言而喻。Cloudera Manager的告警功能非常详尽,CDH集群出现的异常、故障信息等都会及时地出现在CM页面上,通过...

16261
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

安装Grafana并使用Cloudera Manager DataSource

Grafana是一个Go语言编写的开源度量分析与可视化套件,经常被用作基础设施的时间序列数据和应用程序分析的可视化。本文主要讲述如何安装Grafana并使用Cl...

11410
soundhearer

比亚迪汽车 · 高级数据工程师 (已认证)

Hive Impala和Hue集成LDAP

重启之前将身份验证后端修改为desktop.auth.backend.AllowFirstUserDjangoBackend

23520

扫码关注云+社区

领取腾讯云代金券