airflow和superset数据分析平台的搭建

一、环境搭建

OS: ubuntu 14.04

python: 2.7+

1.1 superset

可视化数据分析平台

默认使用sqlite数据库

1.1.1 安装

按相关依赖

创建superset的虚拟环境并使用

安装 pip 和setuptools最新版以及pymysql

安装superset

1.1.2 初始化

1.1.3 添加数据源

使用创建的admin用户登录

Source->Database->add a new record

填写SQLAlchemy URI(dialect+driver://username:password@host:port/database)：

点击Test Connection测试是否成功

选中Expose in SQL Lab以使用SQL Lab

1.1.4 使用supervisorctl 来管理superset服务

启动脚本

supervisor配置

重启supervisor:

1.2 airflow

1.2.1 安装和配置

安装

使用mysql作为元数据库

配置airflow

配置

使用supervisorctl 来管理airflow服务

1.2.2 安全认证

配置