程序猿的大杂烩

463 篇文章
41.8K 次阅读
37 人订阅

全部文章

端碗吹水

大数据平台 —— 调度系统之Azkaban

其中AzkabanWebServer可以说是整个Azkaban工作流系统的主要管理者,它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执行进度...

15170
端碗吹水

大数据平台之权限管理组件 - Aapche Ranger

Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的...

16020
端碗吹水

基于Feign初探Ranger Api

在大数据平台之权限管理组件 - Aapche Ranger一文中我们了解了Ranger以及安装部署过程以及Admin可视化界面的使用。

5110
端碗吹水

在CentOS8下分布式部署Apollo配置中心

众所周知Apollo是携程开源的配置中心,所以中文文档也比较完善,因此这里就不过多赘述细节了。本文的主要目的是记录下如何在CentOS8下分布式部署Apollo...

12220
端碗吹水

Hive数据仓库之权限管理

延续数据仓库之Hive快速入门 - 离线&实时数仓架构一文,本文将介绍一下Hadoop/Hive自带的权限控制,权限控制是大数据平台非常重要的一部分,关乎数据安...

9930
端碗吹水

编译安装大数据平台权限管理组件 - Apache Ranger 3.x

进入源码目录:cd ranger,修改该目录下的pom文件,主要修改两个地方,第一是将仓库相关配置都给注释掉:

13130
端碗吹水

数据仓库之Hive快速入门 - 离线&实时数仓架构

了解了Hive中的SQL基本操作之后,我们来看看Hive是如何将SQL转换为MapReduce任务的,整个转换过程分为六个阶段:

17250
端碗吹水

分布式日志收集器 - Flume

Flume是一种分布式、高可靠和高可用的日志数据采集服务,可高效地收集、聚合和移动大量日志数据。它具有一种基于流数据的简单且灵活的体系结构。它具有健壮性和容错性...

7330
端碗吹水

搭建Hive3.x并整合MySQL8.x存储元数据

首先需要准备好Java运行环境和Hadoop环境,Hadoop搭建可以参考如下文章:

8430
端碗吹水

源码编译搭建Spark3.x环境

首先安装好JDK、Scala和Maven,由于安装都比较简单,本文就不演示了,我这里使用的JDK、Scala和Maven版本如下:

14620
端碗吹水

Flink History Server

Flink有一个History Server,可以用来在相应的Flink集群关闭后查询已完成作业的统计信息。例如有个批处理作业是凌晨才运行的,并且我们都知道只有...

19021
端碗吹水

Flink部署及作业提交(On Flink Standalone)

部署Flink之前首先需要安装好JDK,可以选择8或11版本,我这里选择的是JDK11:

13630
端碗吹水

Flink部署及作业提交(On YARN)

在上一篇 Flink部署及作业提交(On Flink Cluster) 文章中,我们介绍了如何编译部署Flink自身的资源分配和管理系统,并将作业提交到该系统上...

15610
端碗吹水

Spring Cloud Config - 统一配置中心

废话不多说,本小节我们来开发统一配置中心的server端,在IDEA中新建一个Spring Initializr项目,并选择相应的模块:

10340
端碗吹水

微服务之间的通信的方式

RestTemplate是一个Http客户端,类似于HTTPClient,org但比HTTPClient更简单。我们通过RestTemplate来简单演示一下服...

9130
端碗吹水

Apache Shiro权限框架理论介绍

Apache Shiro是一个简单易用且强大而灵活的开源Java安全框架,以下简称Shiro。它干净利落地处理身份认证、授权以及企业会话管理和加密。Shiro拥...

9930
端碗吹水

论微服务拆分

使用微服务架构模式的思想对目标系统进行拆分之前,我们需要先明白服务拆分起点和终点,以及需要考虑的因素与坚持的原则。所谓起点就是需要清楚拆分的是已有的项目还是新的...

11430
端碗吹水

安装 Rancher2.x 并部署工作负载

本小节我们来学习一下rancher的安装,首先我们需要两台虚拟机,一台作为server,一台作为agent。两台机器的ip分别如下:

13130
端碗吹水

SpringBoot+Druid+Mybatis配置多数据源

我们在开发一个项目的时候,可能会遇到需要对多个数据库进行读写的需求,这时候就得在项目中配置多个数据源了。在Java项目的开发中,目前最常用的数据操作框架是 My...

22020
端碗吹水

Spring Cloud Eureka-服务注册与发现

Spring Cloud是目前用于开发微服务的主流框架之一,我们都知道在微服务架构中最为基础、核心的模块,就是服务注册与发现。

7731

扫码关注云+社区

领取腾讯云代金券