前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >基于Inception & Yearning做SQL审核的实践

基于Inception & Yearning做SQL审核的实践

作者头像
Debian中国
发布2018-12-21 15:58:14
1.3K0
发布2018-12-21 15:58:14
举报
文章被收录于专栏:Debian中国Debian中国

SQL审核是保证数据库 DDL 和 DML 安全使用、SQL变更可追溯、降低线上数据事故概率的重要手段。去哪儿网开源的 Inception 工具有较大的使用基础,提供了相对完善的 API 接口,结合一些外层的操作界面,可以实现SQL审核、执行、备份和恢复功能,为DBA操作利器。本文详细介绍如何配置 Inception 和 Yearning 的整合。

Inception

Inception是一个自动化运维工具,在Mysql前做一个审核和操作的屏障。跟Inception的交互是程序级别的,即通过Python或其他程序编程实现对Inception的命令调用,并解析结果。

Inception的文档地址:http://mysql-inception.github.io/inception-document/

Yearning

由于Inception是一个基础工具,如果要做SQL审核,系统级的业务操作(提DDL&DML,审核,执行等)还需要一个人机交互的界面,Yearning 就是这么一个 Python 实现的 web 系统。

Yearning的文档地址:https://cookiey.github.io/Yearning-document/

(adsbygoogle = window.adsbygoogle || []).push({});

Inception安装

参考资料:http://mysql-inception.github.io/inception-document/install/

  1. Inception的编译,使用源码编译时,首先需要对bison包进行降级(yum收录的是3.0.4,源码编译2.5)

bison 2.5的源码编译 代码获取:http://ftp.gnu.org/gnu/bison/bison-2.5.tar.bz2 解压缩:tar xf bison-2.5.tar.bz2 进入目录:cd bison-2.5 检查并编译源码:./configure && make && make install 其中编译问题用以下方式解决 解决编译问题:https://www.cnblogs.com/hjj801006/p/3988220.html

  1. 拷贝启动文件:
代码语言:javascript
复制
cd /root/inception/debug/sql
cp Inception gen_lex_hash /usr/local/bin/
  1. 制作配置文件 cat /etc/inception/inc.cnf
代码语言:javascript
复制
[inception]
general_log=1
general_log_file=/var/log/inception.log
port=6669
socket=/var/run/inc.socket
character-set-client-handshake=0
character-set-server=utf8
inception_remote_system_password=123
inception_remote_system_user=root
inception_remote_backup_port=3306
inception_remote_backup_host=127.0.0.1
inception_support_charset=utf8mb4
inception_enable_nullable=0
inception_check_primary_key=1
inception_check_column_comment=1
inception_check_table_comment=1
inception_osc_min_table_size=1
inception_osc_bin_dir=/var/temp
inception_osc_chunk_time=0.1
inception_enable_blob_type=1
inception_check_column_default_value=1

inc.socket不用找,会在启动时自动生成。

  1. 启动Inception的命令如下
代码语言:javascript
复制
Inception --defaults-file=/etc/inception/inc.cnf

启动后使用mysql的客户端进行连接(mycli会有错误,貌似是python的兼容问题)

代码语言:javascript
复制
mysql -uroot -h127.0.0.1 -P6669

但是只能本机访问,远程访问不了,原因还未知。(更新:在安装Yearning时发现了阿里云的安全组问题,可能同样是这个原因导致。)

Yearning安装

参考资料:https://cookiey.github.io/Yearning-document/install/

  1. 安装pip3 1.1 安装python3的依赖包: sudo yum install openssl-devel 1.2 获取python3的压缩包: wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz 1.3 安装python3(需要root权限)
代码语言:javascript
复制
tar zxvf Python-3.6.4.tgz
cd Python-3.6.4
./configure
make && make install 
  1. 安装Yearning 2.1 用pip3安装依赖包(txt文件在src目录中) pip3 install -r requirements.txt 2.2 创建数据库实例yearning 2.3 将该数据库实例的连接信息写入develop.conf。升级请注意:1.0.0发布后,该文件增加了两个属性:ldap_type=1和smtp_port=,如果是cp原有的配置文件覆盖新下载的,要加上这两个配置 2.4 初始化数据库 python3 manage.py makemigrations && python3 manage.py migrate 2.5 添加初始化用户
代码语言:javascript
复制
echo "from core.models import Account;Account.objects.create_user(username='admin', password='Yearning_admin', group='admin',is_staff=1)" | python3 manage.py shell
#升级请注意,从1.0.0开始,要补充下面这句权限的配置
echo "from core.models import grained;grained.objects.get_or_create(username='admin', permissions={'ddl': '1', 'ddlcon': [], 'dml': '1', 'dmlcon': [], 'dic': '1', 'diccon': [], 'dicedit': '0', 'query': '1', 'querycon': [], 'user': '1', 'base': '1', 'dicexport': '0'})" | python3 manage.py shell 初始化权限

2.6 复制网页的静态文件 cp -rf Yearning/webpage/dist/* $NGINX_HOME/html/

2.7 修改并启动nginx

Yearning
Yearning

2.8 启动django(注意在src目录) python3 manage.py runserver 0.0.0.0:8000 2.9 修改阿里云的安全组策略(解决不能用公网IP访问的问题,请一定注意增加80和8000两个端口,否则还是登录不了),参考CSDN这篇文章,至此用公网ip访问可出现如下界面,说明安装成功:

Yearning
Yearning

初始用户见#2.5,登录后如下图所示(如果登录不了,注意看#2.9是否增加了8000的安全组策略)

Inception Yearning
Inception Yearning

1.0.0升级后,之前的用户要重新配置权限,但有些权限可能存在一些bug,例如数据字典修改时的403问题。 至此安装全部完成!

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-08-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Inception
  • Yearning
  • Inception安装
  • Yearning安装
相关产品与服务
弹性公网 IP
弹性公网 IP(Elastic IP,EIP)是可以独立购买和持有,且在某个地域下固定不变的公网 IP 地址,可以与 CVM、NAT 网关、弹性网卡和高可用虚拟 IP 等云资源绑定,提供访问公网和被公网访问能力;还可与云资源的生命周期解耦合,单独进行操作;同时提供多种计费模式,您可以根据业务特点灵活选择,以降低公网成本。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档