前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【Dr.Elephant中文文档-3】快速安装说明

【Dr.Elephant中文文档-3】快速安装说明

作者头像
一条老狗
修改2019-12-27 17:08:43
1.4K4
修改2019-12-27 17:08:43
举报
文章被收录于专栏:极客运维极客运维

快速安装说明

Step 1: 在 GitHub 上注册一个账号,并 fork 一份Dr. Elephant项目代码。

Step 2: 检出代码。

代码语言:javascript
复制
$> git clone https://github.com/<username>/dr-elephant
$> cd dr-elephant*

Step 3: 先决条件:

  • 你必须先安装play或者activator命令行。下载activatorzip 包https://downloads.typesafe.com/typesafe-activator/1.3.12/typesafe-activator-1.3.12.zip ,解压并添加activator命令到你自己的环境变量$PATH。对于老版的play,你需要添加paly命令并替换activator
代码语言:javascript
复制
export ACTIVATOR_HOME=/path/to/unzipped/activator
export PATH=$ACTIVATOR_HOME/bin:$PATH
  • Dr.Elephant将分析数据结果存储在 MySQL 数据中。如果你还没装,请先安装好 MySQL。(推荐 5.5 以上版本)
  • 为了正常使用Dr. ElephantUI 界面,需要安装npm及其依赖
代码语言:javascript
复制
sudo yum install npm
sudo npm install -g bower
cd web; bower install; cd ..
  • 最后,你还需要安装好 Hadoop 或者 Spark。

Step 4:(可选,Beta 阶段)如果你想尝试自动优化的新功能,请按照以下步骤来操作。(更多详情:https://github.com/linkedin/dr-elephant/wiki/Auto-Tuning)

  • 修改app-conf/AutoTuningConf.xmlautotuning.enabled的选项为true来启用自动优化功能
  • 安装 python2.6 以上的版本
  • 如果你想使用自定义安装的 python 版本: $> export PYTHON_PATH=/path/to/python/executable
    • 或者注释app-conf/AutoTuningConf.xml配置文件中的python.path选项。
    • PYTHON_PATH设置为所需要的 python 版本的可执行文件路径即可:
  • 安装inspyred包: sudo pip install inspyred
  • 如果 pip 安装失败,可以从https://pip.pypa.io/en/stable/installing/ 处安装。

Step 5: 编译Dr. Elephant代码并打包生产zip包。Compile.sh脚本可以带一个配置文件路径参数,其中包含要编译的 Hadoop 和 Spark 的版本信息。具体信息请参阅开发者指南。

代码语言:javascript
复制
$> ./compile.sh [./compile.conf]

编译完成后,打包文件在dist目录下。

代码语言:javascript
复制
$> ls dist
dr-elephant*.zip

Step 6: 复制打包后的程序到你打算安装Dr. Elephant的服务器上。

Step 7: 在你安装Dr. Elephant的服务器上,确认以下环境变量配置好了。

代码语言:javascript
复制
$> export HADOOP_HOME=/path/to/hadoop/home
$> export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
$> export SPARK_HOME=/path/to/spark/home
$> export SPARK_CONF_DIR=/path/to/conf

Step 8: 你同样需要一个存储数据的后端数据库。在elephant.conf配置文件中配置 MySQL 数据库的相关连接信息。

代码语言:javascript
复制
# Database configuration
db_url=localhost
db_name=drelephant
db_user=root
db_password=""

Step 9: 如果你的群集是kerberised,则更新keytab用户和elephant.conf文件中的keytab文件位置。

Step 10: 如果你是第一次运行Dr. Elephant,你需要打开evolutions功能,为此,请在elephant.conf配置文件中添加(或取消注释),-Devolutionplugin=enabled-DapplyEvolutions.default=true。这将会让Dr. Elephant自动创建相关的 MySQL 表,下次重启程序时记得关闭这个选项。

代码语言:javascript
复制
$> vim ./app-conf/elephant.conf
jvm_props=" -Devolutionplugin=enabled -DapplyEvolutions.default=true"

Step 11: 要启动Dr. Elephant,需要在运行启动脚本时指定配置文件目录。

代码语言:javascript
复制
$> /bin/start.sh /path/to/app-conf/directory

要验证Dr. Elephant是否启动成功,请检查dr.log文件。

代码语言:javascript
复制
$> less $DR_RELEASE/dr.log
...
play - database [default] connected at jdbc:mysql://localhost/drelephant?characterEncoding=UTF-8
application - Starting Application...
play - Application started (Prod)
play - Listening for HTTP on /0:0:0:0:0:0:0:0:8080

要分析Dr. Elephant是否正确的分析作业,请检查dr.log文件。

代码语言:javascript
复制
$> less $DR_RELEASE/../logs/elephant/dr_elephant.log

Step 12: 一旦应用启动,你可以打开 ip:port (localhost:8080),查看 UI 界面。

Step 13: 要停止应用,只需执行

代码语言:javascript
复制
$> bin/stop.sh
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-10-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 极客运维 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 快速安装说明
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档