create17

LV1
发表了文章

数仓面试高频考点--解决hive小文件过多问题

hive 中的小文件肯定是向 hive 表中导入数据时产生,所以先看下向 hive 中导入数据的几种方式

create17
发表了文章

彻底搞清Flink中的Window(Flink版本1.8)

在流处理应用中,数据是连续不断的,因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次,但是有时我们需要做一些聚合类的处理,例如:在过...

create17
发表了文章

快手EB级HDFS挑战与实践

导读:作为快手内部数据规模和机器规模最大的分布式文件存储系统,HDFS一直伴随着快手业务的飞速发展而快速成长。

create17
发表了文章

别乱提交代码了,你最好知道的 Git 分支开发规范!别错过好文哦

Git 是目前最流行的源代码管理工具。为规范开发,保持代码提交记录以及 git 分支结构清晰,方便后续维护,现规范 git 的相关操作。

create17
发表了文章

Hive MetaStore 在快手遇到的挑战与优化

导读:快手基于Hive构建数据仓库,并把Hive的元数据信息存储在MySql中,随着业务发展和数据增长,一方面对于计算引擎提出了更高的要求,同时也给Hive元数...

create17
发表了文章

分享一下我对 ambari 二次开发的一些理解~

安装过 hadoop 集群的人都应该清楚,hadoop 生态从安装、配置到后期运维是一个非常艰辛的过程,一般来说安装 hadoop 可能就需要几天时间,运维一个...

create17
发表了文章

完结撒花 | 全网稀有的Ambari自定义服务集成实战(全)

自从 2020 年开始,我就发觉网上使用 Ambari 的同学多了很多,随着 cloudera 收购 hdp 并进入收费模式,越来越多的公司选择了 Ambari...

create17
发表了文章

(内部资料)第十七讲:如何将服务一劳永逸的集成到ambari中,方便新环境部署,无需二次拷贝

通常,我们在自定义服务集成开发中,会将集成服务的代码项目放置到 /var/lib/ambari-server/resources/stacks/HDP/<ver...

create17
发表了文章

快来看,全网少有的Ambari自定义服务集成实战(全)

熟悉我的人都知道,2020年我录制了《Ambari自定义服务集成》的系列视频,视频中以 Ambari 2.7 集成 Elasticsearch v6.4.0 服...

create17
发表了文章

Ambari 2.7.3.0 安装部署 hadoop 3.1.0.0 集群完整版,附带移除 SmartSense 服务

这篇文章之前也写过类似的,已经有很多人在看了,也有很多朋友在这过程中碰到了困难,私聊我。为了提高各自的工作效率,所以我又将文章完善了一版,这应该算是第三版了。

create17
发表了文章

两种方法轻松上手 ConfigMap,用作容器云服务的配置中心

将 spring boot 项目部署在 k8s 上,需要打镜像,为了实现配置文件可配置,就需要将配置文件与镜像解耦。

create17
发表了文章

天呐,你生产环境中的密码还在裸奔吗?

这是节选自某个典型的 Spring Boot 项目的 application.yml 配置文件。

create17
发表了文章

Java api 远程访问 HDFS HA 通用写法总结,说实话,我之前就是前一种写法的那种人,笑哭~

今天将自己的程序部署到生产环境中,发现执行 hdfs 相关操作时报错了。原来是测试环境是 nameNode 单节点,生产环境上是 nameNode HA 。

create17
发表了文章

博主好贴心,为已有的 ambari 集群修改主机名~

时不时就有小伙伴微信里面问我有没有做过,为已有的 ambari 集群修改主机名?之前是有修改过 ip 的,主机名还真没修改过,只能给他提供一份官方的步骤:

create17
发表了文章

悄悄掌握 Kafka 常用命令,再也不用全网搜索了(建议收藏)

前言 对于从事大数据相关职位的朋友们来说,使用 kafka 的频率应该不会少。为了解决各位在操作 kafka 时记不住命令参数的痛点,所以我整理了一下在我工作中...

create17
发表了文章

解惑 | kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了

之前,Kafka 集群就一个 broker ,id 为 200 ,然后根据需求,我又扩展了 2 个节点,修改 broker.id 、listeners 、创建数...

create17
发表了文章

kafka 如何对 topic 分区 replica leader 进行负载均衡

在上一篇 《必会 | 教你如何重新分布kafka分区、增加分区副本数》文章中,描述了如何重新分配 kafka topic 分区以及增加分区副本数。在最后我留了一...

create17
发表了文章

必会 | 教你如何重新分布kafka分区、增加分区副本数

已知,Kafka 集群中有两个 kafka broker ,id 分别为 200、201 。

create17
发表了文章

Spring bean 加载顺序导致的 bug 问题

今天启动 spring boot 项目的时候,有时候会报加载不到配置文件的属性。配置文件的属性是用 @Value 获取的,属性有时候会是 null 。

create17
发表了文章

解惑 | 为什么我根据时间戳获得的offset为空呢?

最近有一个需求,要查询某一时间戳对应的offset值,于是就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffs...

create17

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券