前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【Dr.Elephant中文文档-2】管理员指南

【Dr.Elephant中文文档-2】管理员指南

作者头像
一条老狗
修改2019-12-27 17:08:29
9810
修改2019-12-27 17:08:29
举报
文章被收录于专栏:极客运维极客运维

1.系统环境要求

Dr. Elephant依赖于 YARN 的资源管理服务器和历史作业记录服务器,来获取作业详细信息和记录。YARN 作业及其分析的详细信息将存储在当前配置的后端 mysql 中。因此在运行Dr. Elephant前,必须安装好 MySQL 和 hadoop 2。从#162开始,将不再支持JAVA 6

2.集群部署 Dr. Elephant

2.1.部署配置

  • 将配置文件的目录复制到集群的每台机器上
  • 配置环境变量$ELEPHANT_CONF_DIR指向到你的配置文件目录
代码语言:javascript
复制
$> export ELEPHANT_CONF_DIR=/path/to/conf/dir
2.1.1.Airflow 和 Oozie 配置

如果你使用 Airflow 或 Oozie 调度系统,则需要编辑你$ELEPHANT_CONF_DIR目录下的SchedulerConf.xml的配置文件:

  • Airflow,设置airflowbaseurl配置属性指向你的 Airflow 服务
  • Oozie,设置oozie_api_url配置属性指向你的 Oozie 调度服务的 API 地址
  • 对于 Oozie 可以额外设置其他可选属性,有关 更多信息,请参阅SchedulerConf.xml相关文档

2.2.二进制部署

  • SSH 连接到集群机器
  • 切换到合适的部署用户sudo -iu <user>
  • 解压dr-elephant二进制包

2.3.启动/停止dr-elephant

  • 进入dr-elephant根目录
  • 想启动dr-elephant,请允许启动脚本。启动脚本提供了一个配置文件目录位置的可选参数。如果你已经设置好了$ELEPHANT_CONF_DIR环境变量,只需要直接启动就要,不用带任何参数。否则,需要在运行时带上配置文件目录位置的参数。./bin/start.sh [/path/to/app-conf]
  • 想停止运行,./bin/stop.sh
  • 要部署新版本,请务必先停止正在运行的进程

还有一些详细配置,后续文章会细说。

几个月没更新了,有了些知识积累,换了份工作,后续会持续大数据SRE方向的知识积累和分享

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-10-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 极客运维 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.系统环境要求
    • 2.集群部署 Dr. Elephant
      • 2.1.部署配置
      • 2.2.二进制部署
      • 2.3.启动/停止dr-elephant
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档