首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【Dr.Elephant中文文档-2】管理员指南

1.系统环境要求

Dr. Elephant依赖于 YARN 的资源管理服务器和历史作业记录服务器,来获取作业详细信息和记录。YARN 作业及其分析的详细信息将存储在当前配置的后端 mysql 中。因此在运行Dr. Elephant前,必须安装好 MySQL 和 hadoop 2。从#162开始,将不再支持JAVA 6

2.集群部署 Dr. Elephant

2.1.部署配置

  • 将配置文件的目录复制到集群的每台机器上
  • 配置环境变量$ELEPHANT_CONF_DIR指向到你的配置文件目录
代码语言:javascript
复制
$> export ELEPHANT_CONF_DIR=/path/to/conf/dir

2.1.1.Airflow 和 Oozie 配置

如果你使用 Airflow 或 Oozie 调度系统,则需要编辑你$ELEPHANT_CONF_DIR目录下的SchedulerConf.xml的配置文件:

  • Airflow,设置airflowbaseurl配置属性指向你的 Airflow 服务
  • Oozie,设置oozie_api_url配置属性指向你的 Oozie 调度服务的 API 地址
  • 对于 Oozie 可以额外设置其他可选属性,有关 更多信息,请参阅SchedulerConf.xml相关文档

2.2.二进制部署

  • SSH 连接到集群机器
  • 切换到合适的部署用户sudo -iu <user>
  • 解压dr-elephant二进制包

2.3.启动/停止dr-elephant

  • 进入dr-elephant根目录
  • 想启动dr-elephant,请允许启动脚本。启动脚本提供了一个配置文件目录位置的可选参数。如果你已经设置好了$ELEPHANT_CONF_DIR环境变量,只需要直接启动就要,不用带任何参数。否则,需要在运行时带上配置文件目录位置的参数。./bin/start.sh [/path/to/app-conf]
  • 想停止运行,./bin/stop.sh
  • 要部署新版本,请务必先停止正在运行的进程

还有一些详细配置,后续文章会细说。

几个月没更新了,有了些知识积累,换了份工作,后续会持续大数据SRE方向的知识积累和分享

下一篇
举报
领券