airflow和superset数据分析平台的搭建

一、环境搭建

OS: ubuntu 14.04

python: 2.7+

1.1 superset

可视化数据分析平台

默认使用sqlite数据库

1.1.1 安装

按相关依赖

创建superset的虚拟环境并使用

安装 pip 和setuptools最新版以及pymysql

安装superset

1.1.2 初始化

1.1.3 添加数据源

使用创建的admin用户登录

Source->Database->add a new record

填写SQLAlchemy URI(dialect+driver://username:password@host:port/database):

点击Test Connection测试是否成功

选中Expose in SQL Lab以使用SQL Lab

1.1.4 使用supervisorctl 来管理superset服务

启动脚本

supervisor配置

重启supervisor:

1.2 airflow

1.2.1 安装和配置

安装

使用mysql作为元数据库

配置airflow

配置

使用supervisorctl 来管理airflow服务

1.2.2 安全认证

配置

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180606G0BNFY00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券