Hadoop大数据运维-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

Hadoop大数据运维

这里汇集了CDH的系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术运维内容。无论您是初学者还是资深工程师，都能在这里找到适合自己的学习资料和实战经验。

专栏成员

4

文章

710

阅读量

3

订阅数

Hive on Spark实战：深入理解与配置Spark集群

hadoop hive cloudera-cdh spark jdk

Hive 默认使用 MapReduce 作为执行引擎，即 Hive on mr。实际上，Hive 还可以使用 Tez 和 Spark 作为其执行引擎，分别为 Hive on Tez 和 Hive on Spark。由于 MapReduce 中间计算均需要写入磁盘，而 Spark 是放在内存中，所以总体来讲 Spark 比 MapReduce 快很多。

TASKCTL 任务调度平台

2024-11-12

3250

Hadoop集群调优大作战，这些技巧你掌握了吗？

hdfs hadoop cloudera-cdh

HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值。

TASKCTL 任务调度平台

2024-11-06

1140

实战｜Kafka集群升级项目实施，打造高效数据处理平台

hadoop 数据处理 kafka cloudera 集群

我们团队负责维护的Kafka集群承载了公司大部分实时数据的收集与传输任务。然而，目前存在一些问题，严重影响了集群的稳定性、用户体验以及管理员的运维效率：

TASKCTL 任务调度平台

2024-10-10

1180

深度挖掘｜Cloudera安装不再难！基础环境搭建全解析

cloudera cloudera-cdh

Cloudera Manager是CDH市场领先的管理平台。它以其强大的数据管理和分析能力，帮助企业能够轻松驾驭海量数据，实现数据的实时分析与洞察。

TASKCTL 任务调度平台

2024-09-18

1530

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态