腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2344817

阅读量

704

订阅数

Dolphin Scheduler 1.2.0 部署参数分析

bash bash 指令大数据 xml

Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

2020-03-10

3.8K0

Dolphin Scheduler秒级别工作流异常处理

https 网络安全 node.js github bash

Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

2020-03-10

5.6K0

如何在CDH5.16.2中部署Apache Dolphin Scheduler 1.2.0

云数据库 SQL Server 数据库 sql bash bash 指令

官网 : https://dolphinscheduler.apache.org/en-us/

2020-02-18

2.1K0

0517-如何在CDH5中使用单用户模式

bash bash 指令专用宿主机 hadoop 运维

我们一般在安装CDH时，都是使用root或具有sudo权限的用户安装的，如果大家有注意会发现用于管理每台主机上的Hadoop进程的Cloudera Manager Agent服务（cloudera-scm-agent）是以root用户身份运行的。但是在有些企业，运维部门有严格的要求，需要CDH使用自己的用户来管理即不能随便使用root，比如要求cloudera-scm-agent服务以其他用户进行启停和管理。我们一般在安装CDH时，都是使用root或具有sudo权限的用户安装的，如果大家有注意会发现用于管理每台主机上的Hadoop进程的Cloudera Manager Agent服务（cloudera-scm-agent）是以root用户身份运行的。但是在有些企业，运维部门有严格的要求，需要CDH使用自己的用户来管理即不能随便使用root，比如要求cloudera-scm-agent服务以其他用户进行启停和管理。我们一般在安装CDH时，都是使用root或具有sudo权限的用户安装的，如果大家有注意会发现用于管理每台主机上的Hadoop进程的Cloudera Manager Agent服务（cloudera-scm-agent）是以root用户身份运行的。但是在有些企业，运维部门有严格的要求，需要CDH使用自己的用户来管理即不能随便使用root，比如要求cloudera-scm-agent服务以其他用户进行启停和管理。我们一般在安装CDH时，都是使用root或具有sudo权限的用户安装的，如果大家有注意会发现用于管理每台主机上的Hadoop进程的Cloudera Manager Agent服务（cloudera-scm-agent）是以root用户身份运行的。但是在有些企业，运维部门有严格的要求，需要CDH使用自己的用户来管理即不能随便使用root，比如要求cloudera-scm-agent服务以其他用户进行启停和管理。我们一般在安装CDH时，都是使用root或具有sudo权限的用户安装的，如果大家有注意会发现用于管理每台主机上的Hadoop进程的Cloudera Manager Agent服务（cloudera-scm-agent）是以root用户身份运行的。但是在有些企业，运维部门有严格的要求，需要CDH使用自己的用户来管理即不能随便使用root，比如要求cloudera-scm-agent服务以其他用户进行启停和管理。我们一般在安装CDH时，都是使用root或具有sudo权限的用户安装的，如果大家有注意会发现用于管理每台主机上的Hadoop进程的Cloudera Manager Agent服务（cloudera-scm-agent）是以root用户身份运行的。但是在有些企业，运维部门有严格的要求，需要CDH使用自己的用户来管理即不能随便使用root，比如要求cloudera-scm-agent服务以其他用户进行启停和管理。

2019-11-28

1.8K0

0548-5.13.1-如何使用普通用户管理CM server和agent服务

bash bash 指令专用宿主机

在前面的文章《0520-如何使用非root用户启动CM的Server和Agent服务》中，Fayson介绍过在CDH5中，无论是Cloudera Manager Server还是Agent服务都无法配置为其他用户来启停，只能通过root用户来管理。

2019-11-28

7490

0551-6.1-普通用户配置kill CDH集群进程权限

专用宿主机 hadoop bash bash 指令

在前面的文章《0548-5.13.1-如何使用普通用户管理CM server和agent服务》解决了只能使用普通用户来管理CM和Agent服务的需求。本文档介绍如何为一个普通用户添加免密kill CDH集群中cloudera-scm-server、cloudera-scm-agent、supervisord进程，结合配置的免密systemctl权限，使得该普通账号能真正作为CDH集群的运维账号。

2019-11-28

1.2K0

0520-如何使用非root用户启动CM的Server和Agent服务

专用宿主机 hadoop bash bash 指令

根据前面的安装文档，我们知道CDH的安装只能使用root或者具有sudo权限的用户进行安装，但大多数企业对于服务器的root用户的管控比较严格，大多数情况下都不能够直接使用或者需要申请比较麻烦。对于这种情况，Cloudera官方提供了一种单用户安装CDH的模式，参考Fayson前面的文章《0517-如何在CDH5中使用单用户模式》。但实际情况是这种方法非常麻烦，官方其实也不建议使用，而且从CDH6开始也已经废弃了这种安装或使用方式。

2019-11-27

1.8K0

0521-Hadoop命令无法访问HDFS路径诡异问题解决

大数据 linux hadoop bash bash 指令

Fayson今天在集群中浏览HDFS数据目录时发现，通过Cloudera Manager的“文件浏览”功能可以正常的浏览某一个HDFS数据目录，如下显示：

2019-11-27

1.4K0

0724-6.2.0-CM接管rpm方式安装的无CM的CDH集群

大数据 hive bash bash 指令专用宿主机

在之前的文档中介绍了如何用CM接管无CM以rpm方式安装的CDH5.10.0，本文档同样会介绍如何使用Cloudera Manager来接管一个无Cloudera Manager管理的CDH集群，只不过这次的版本是CDH6.2.0。

2019-11-06

9590

0721-5.10.0-CM接管rpm方式安装的无CM的CDH集群

大数据 hive bash bash 指令 spark

在部署CDH集群时，可能使用tar包或者rpm包的方式安装的集群，但是在部署时并没有采用Cloudera Manager来对集群进行管理，在使用过程中，集群数据量日益增长，组件慢慢变多，因此想将现有的集群使用Cloudera Manager来进行管理，本文档将介绍如何使用Cloudera Manager来接管一个无Cloudera Manager管理的CDH集群。

2019-11-06

1.1K0

0691-1.4.0-GPU环境下CDSW运行TensorFlow案例

tensorflow 容器 bash bash 指令

介绍如何在CDSW中安装集成CUDA9.2版本的tensorflow模块，以及在GPU环境下运行tensorflow案例。代码参考上一篇文章《0690-TensorFlow之车牌识别案例》，CDSW的GPU的支持与CUDA编译参考之前的文章《如何在CDSW中使用GPU运行深度学习》和《0490-如何为GPU环境编译CUDA9.2的TensorFlow1.8与1.12》。

2019-08-28

1.2K0

0684-如何配置Nginx高可用

nginx bash bash 指令网络安全

本文通过Keepalived服务vip漂移的方式配置Nginx的高可用；当vip所在节点的Nginx服务宕掉后，会将vip漂移到另外一个节点。而在配置Nginx的配置时，分别在两个节点配置Nginx服务，然后两个Nginx服务配置相同的负载均衡等配置；在配置连接时不使用两个Nginx节点的ip，而是使用vip; 以这样的方式实现Nginx的高可用。

2019-08-08

6030

0672-5.16.1-CDSW中Run Experiments异常分析

bash bash 指令容器镜像服务

从CDSW (Cloudera Data Science Workbench) 1.4开始，CDSW中新增了一个Experiments 功能，它允许数据科学家运行批处理实验，跟踪不同版本的代码，并进行参数输入和输出。Experiments 是批量执行的工作负载，将代码、输入参数和输出模板化。此功能还提供轻量级跟踪输出数据的功能，包括文件、指标和元数据用以进行比较。

2019-07-22

6800

0656-6.2.0-如何配置Haproxy高可用

负载均衡负载均衡缓存网络安全 bash

Fayson在之前的文章有提到《如何使用HAProxy实现HiveServer2负载均衡》《如何使用HAProxy实现Impala的负载均衡》集群采用了haproxy保证了集群服务的高可用，但是Haproxy本身并没有实现热备，在Haproxy服务器出现问题时，需要手动切换。本文主要介绍如何采用keepalived解决实在Haproxy高可用。

2019-06-20

1K1

0614-5.16.1-同一OS用户并行Shell脚本中kinit不同的Principal串掉问题分析

shell bash bash 指令 kerberos 缓存

在前面的文章《CDH5.15.0-同一OS用户下不同Kerberos用户执行脚本Principal串掉问题分析》中Fayson主要介绍了同一个OS用户下并发调度Python脚本时会导致Principal账号串掉，通过在Python代码中指定KRB5CCNAME环境变量解决问题，本篇文章Fayson主要介绍通过同一OS用户下并发调度Shell脚本进行不同用户Kerberos认证时Principal账号串掉问题分析及解决。

2019-05-13

2K0

0561-04-如何将CDH集成的KDC迁移至FreeIPA的Kerberos认证

kerberos 专用宿主机 bash bash 指令

前面Fayson介绍了《0558-01-如何在Redhat7上安装FreeIPA》和《0559-02-如何在Redhat7上安装FreeIPA的客户端》，那如何在CDH集群中使用？通过Cloudera Manager可以为我们的CHD集群启用Kerberos认证，在前面的文章《如何为CDH集成Active Directory的Kerberos认证》和《如何在CDH集群启用Kerberos》介绍了集成不同服务的Kerberos认证，本篇文章Fayson主要介绍如何将CDH集成的KDC服务切换至FreeIPA下的Kerberos认证。

2019-04-29

2.7K1

Hue中使用Oozie创建Shell工作流在脚本中切换不同用户

shell ssh hive github bash

前面Fayson讲过《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析》，如果不在Shell脚本中使用sudo命令该如何切换到其它呢？本篇文章主要讲述如何Hue中使用Oozie创建Shell工作流在脚本中切换用户执行Hadoop命令。本文脚本中的主要流程如下：

2018-03-29

1.7K0

使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析

ssh shell github bash bash 指令

Fayson前面的一篇文章讲过《如何在Hue中创建Ssh的Oozie工作流》。但当重定向输出日志时，会出现异常。

2018-03-29

1.5K0

Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析

shell bash bash 指令 ssh github

在使用Hue创建Ssh的Oozie工作流，在Shell脚本中执行sudo命令失败，异常如下：

2018-03-29

1.5K0

如何使用Hue创建Spark2的Oozie工作流（补充）

spark shell hadoop bash bash 指令

目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性（https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#ki_oozie_spark_action

2018-03-29

3K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态