程序猿的大杂烩

447 篇文章
35 人订阅

全部文章

端碗吹水

快速入门RabbitMQ核心概念

我们知道RabbitMQ是基于Erlang编写的,所以在安装RabbitMQ之前需要确保安装了Erlang环境。RabbitMQ与Erlang是有版本对应关系的...

4710
端碗吹水

大数据平台建设 —— 监控预警组件之OpenFalcon + Grafana

由于Redis和MySQL部署在其他机器上,所以需要修改一下这两个组件的连接信息。编辑open-falcon api模块的配置文件:

5730
端碗吹水

大数据平台建设 —— SQL查询引擎之Presto

Presto的安装方式有两种,一是到官网下载编译好的二进制包进行安装,二是从Github仓库上拉取源码进行编译安装。为了简单起见,我这里选择第一种方式,Serv...

6640
端碗吹水

大数据平台 - 数据采集及治理

ETL基本上就是数据采集的代表,包括数据的提取(Extract)、转换(Transform)和加载(Load)。数据源是整个大数据平台的上游,数据采集是数据源与...

5010
端碗吹水

大数据平台 —— 调度系统之Azkaban

其中AzkabanWebServer可以说是整个Azkaban工作流系统的主要管理者,它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执行进度...

8870
端碗吹水

大数据平台之权限管理组件 - Aapche Ranger

Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的...

9120
端碗吹水

基于Feign初探Ranger Api

在大数据平台之权限管理组件 - Aapche Ranger一文中我们了解了Ranger以及安装部署过程以及Admin可视化界面的使用。

4010
端碗吹水

在CentOS8下分布式部署Apollo配置中心

众所周知Apollo是携程开源的配置中心,所以中文文档也比较完善,因此这里就不过多赘述细节了。本文的主要目的是记录下如何在CentOS8下分布式部署Apollo...

3520
端碗吹水

Hive数据仓库之权限管理

延续数据仓库之Hive快速入门 - 离线&实时数仓架构一文,本文将介绍一下Hadoop/Hive自带的权限控制,权限控制是大数据平台非常重要的一部分,关乎数据安...

5930
端碗吹水

编译安装大数据平台权限管理组件 - Apache Ranger 3.x

进入源码目录:cd ranger,修改该目录下的pom文件,主要修改两个地方,第一是将仓库相关配置都给注释掉:

6020
端碗吹水

数据仓库之Hive快速入门 - 离线&实时数仓架构

了解了Hive中的SQL基本操作之后,我们来看看Hive是如何将SQL转换为MapReduce任务的,整个转换过程分为六个阶段:

9550
端碗吹水

分布式日志收集器 - Flume

Flume是一种分布式、高可靠和高可用的日志数据采集服务,可高效地收集、聚合和移动大量日志数据。它具有一种基于流数据的简单且灵活的体系结构。它具有健壮性和容错性...

5930
端碗吹水

搭建Hive3.x并整合MySQL8.x存储元数据

首先需要准备好Java运行环境和Hadoop环境,Hadoop搭建可以参考如下文章:

6430
端碗吹水

源码编译搭建Spark3.x环境

首先安装好JDK、Scala和Maven,由于安装都比较简单,本文就不演示了,我这里使用的JDK、Scala和Maven版本如下:

8920
端碗吹水

Flink History Server

Flink有一个History Server,可以用来在相应的Flink集群关闭后查询已完成作业的统计信息。例如有个批处理作业是凌晨才运行的,并且我们都知道只有...

11321
端碗吹水

Flink部署及作业提交(On Flink Standalone)

部署Flink之前首先需要安装好JDK,可以选择8或11版本,我这里选择的是JDK11:

11730
端碗吹水

Flink部署及作业提交(On YARN)

在上一篇 Flink部署及作业提交(On Flink Cluster) 文章中,我们介绍了如何编译部署Flink自身的资源分配和管理系统,并将作业提交到该系统上...

6210
端碗吹水

Spring Cloud Config - 统一配置中心

废话不多说,本小节我们来开发统一配置中心的server端,在IDEA中新建一个Spring Initializr项目,并选择相应的模块:

8940
端碗吹水

微服务之间的通信的方式

RestTemplate是一个Http客户端,类似于HTTPClient,org但比HTTPClient更简单。我们通过RestTemplate来简单演示一下服...

8430
端碗吹水

Apache Shiro权限框架理论介绍

Apache Shiro是一个简单易用且强大而灵活的开源Java安全框架,以下简称Shiro。它干净利落地处理身份认证、授权以及企业会话管理和加密。Shiro拥...

9130

扫码关注云+社区

领取腾讯云代金券