腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据实战演练

专栏作者

156

文章

535438

阅读量

60

订阅数

hdp 不更新了，有没有办法将 Apache Hadoop 代替 hdp 并集成到 Ambari 中呢？

apache hadoop 开源大数据

今天咱来聊一聊 Ambari 如何集成 Apache Hadoop 哈，自从 cloudera 公司将 hortonworks 公司收购后，hdp 就不迭代更新了，这对 Apache Ambari 也产生了很大影响，毕竟 Ambari 与 hdp 耦合性很强。

2022-11-17

2.9K1

干货 | 5000字教你如何使用命令行查看应用日志以及YARN应用日志相关参数解析

yarn node.js flink hadoop 大数据

对于从事大数据相关工作的朋友来说，在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn，Spark on yarn，Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看，yarn 却不像寻常服务那样方便，确实是有一些门槛的。而今天，我们就来好好梳理运行在 yarn 上面的应用日志相关参数及查看方式，最后以查看 Flink on yarn 日志示例。

2022-11-17

2.1K0

干货 | YARN 应用日志相关参数解析及如何使用命令行查看应用日志

yarn node.js flink hadoop 大数据

对于从事大数据相关工作的朋友来说，在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn，Spark on yarn，Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看，yarn 却不像寻常服务那样方便，确实是有一些门槛的。而今天，我们就来好好梳理运行在 yarn 上面的应用日志相关参数及查看方式，最后以查看 Flink on yarn 日志示例。

2022-11-17

2.7K0

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

存储大数据缓存 hadoop xml

Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。

2022-11-17

9090

Ambari部署及hdp部署的疑难问题解答汇总

yum 数据库 hadoop sql 云数据库 SQL Server

以下，都是收集于网友、群友安装 ambari 或部署 hdp 集群时出现的问题，挤时间写了个疑难问题解答汇总，希望能够快速帮小伙伴们定位解决问题。觉得文章靠谱的小伙伴，希望能转发、点赞、在看三连走一波~

2022-11-17

9100

分享一下我对 ambari 二次开发的一些理解~

打包 hadoop 网站 https 网络安全

安装过 hadoop 集群的人都应该清楚，hadoop 生态从安装、配置到后期运维是一个非常艰辛的过程，一般来说安装 hadoop 可能就需要几天时间，运维一个小型集群同样需要几个人。ambari 和 cloudera Manager 这两个系统，目的就是简化 hadoop 生态集群的安装、配置，同时提高 hadoop 运维效率，以及对 hadoop 集群进行监控。

2021-04-07

4.4K3

完结撒花 | 全网稀有的Ambari自定义服务集成实战（全）

hadoop 大数据

自从 2020 年开始，我就发觉网上使用 Ambari 的同学多了很多，随着 cloudera 收购 hdp 并进入收费模式，越来越多的企业选择了 Ambari 来管理大数据平台，Ambari 集成第三方服务的需求也就变得越来越常见。

2021-04-07

1.5K0

（内部资料）第十七讲：如何将服务一劳永逸的集成到ambari中，方便新环境部署，无需二次拷贝

通常，我们在自定义服务集成开发中，会将集成服务的代码项目放置到 /var/lib/ambari-server/resources/stacks/HDP/<version>/services/ 目录下。这样子的前提就是 ambari 与 hdp 集群必须提前搭建好。

2021-03-16

2.3K2

看完您如果还不明白 Kerberos 原理，算我输！

kerberos hadoop https node.js

强大的身份验证和建立用户身份是 Hadoop 安全访问的基础。用户需要能够可靠地 “识别” 自己，然后在整个 Hadoop 集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行 MapReduce 作业）。除了用户之外，Hadoop 集群资源本身（例如主机和服务）需要相互进行身份验证，以避免潜在的恶意系统或守护程序 “冒充” 受信任的集群组件来获取数据访问权限。

2019-08-30

10.4K0

MapReduce工作原理

javascript mapreduce hadoop

这篇文章是我之前在自学 MapReduce 的笔记，想着最近再回顾一下 MapReduce 的原理，于是就整理了一下。

2019-07-19

3.8K0

HDFS ACL权限设置

hadoop 大数据 hive

今天主要给大家说一下HDFS文件权限的问题。当一个普通用户去访问HDFS文件时，可能会报Permission denied的错误。那么你会怎么做呢？

2019-03-19

9.3K0

如何在HUE上执行Java程序

mapreduce hadoop 大数据 node.js java

基于HUE系统，使用平台自带的hadoop-mapreduce-examples.jar对一个文本文件执行wordcount操作。

2019-03-12

2K2

HUE如何访问NameNode HA模式

大数据 hadoop apache api

在配置HUE访问NameNode HA之前，我们先来了解一下WebHDFS与HttpFS：

2019-03-12

2.1K0

Sqoop概述及shell操作

hadoop 数据库 hive sql 云数据库 SQL Server

基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中；早期由于工具的缺乏，Hadoop与传统数据库之间的数据传输非常困难。基于前两个方面的考虑，需要一个在传统关系型数据库和Hadoop之间进行数据传输的项目，Sqoop应运而生。

2019-02-17

1.3K0

Kylin基本原理及概念

TDSQL MySQL 版 hbase hive hadoop sql

“带你走进Apache Kylin的世界”

2019-01-23

2.7K0

Kerberos基本概念及原理汇总

kerberos hadoop node.js

强大的身份验证和建立用户身份是Hadoop安全访问的基础。用户需要能够可靠地“识别”自己，然后在整个Hadoop集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行MapReduce作业）。除了用户之外，Hadoop集群资源本身（例如主机和服务）需要相互进行身份验证，以避免潜在的恶意系统或守护程序“冒充”受信任的集群组件来获取数据访问权限。

2019-01-06

11.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态