sqlite 的分布式实现方案:rqlite

rqlite 相关操作说明

项目总为实现 sqlite 添加账号和密码,以满足信息安全的需求。 鉴于对 sqlite 实现添加账号和密码比较复杂和困难,项目中使用了分布式 rqlite ,故转而研究 rqlite 如何添加账号和密码。

项目概况:

开发语言:Python

存储: sqlite (rqlite)

整体流程:

  • rqlite 介绍
  • rqlite CLI 客户端介绍
  • rqlite Basic Auth
  • pyrqlite 介绍
  • sqlalchemy-rqlite 介绍

1. rqlite 使用介绍

rqlite 项目地址

作者博客

rqlite : 基于 SQLite 构建的轻量级、分布式关系数据库, 使用Go 编程实现,使用 Raft 算法来确保所有 SQLite 数据库实例的一致性。

  • 下载地址和方式

Download

以 Linux版本为例, 解压之后:存在: rqlite 和 rqlited 两个文件

  • 启动服务
./rqlited /pathdir/rqlitedata


# 在 /pathdir/rqlitedata 目录下存放数据文件和其他一些配置文件

peers.json  raft.db  snapshots
  • 启动多个节点
rqlited -http-addr localhost:4003 -raft-addr localhost:4004 -join http://localhost:4001 /pathdir/rqlitedata1
rqlited -http-addr localhost:4005 -raft-addr localhost:4006 -join http://localhost:4001 /pathdir/rqlitedata2

rqlite 支持Securing 操作

  1. File system security
  2. Network security
  3. HTTPS API
  4. Node-to-node encryption
  5. Basic Auth

2. rqlite CLI 命令行使用介绍

启动服务后可以使用命令行工具进行数据的增删改查:

./rqlite
127.0.0.1:4001>

# sqlite 的语法的增删改查都支持
演示示例:
$ ./rqlite
127.0.0.1:4001> CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT)
0 row affected (0.000362 sec)
127.0.0.1:4001> .tables
+------+
| name |
+------+
| foo  |
+------+
127.0.0.1:4001> .schema
+---------------------------------------------------------------+
| sql                                                           |
+---------------------------------------------------------------+
| CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT) |
+---------------------------------------------------------------+
127.0.0.1:4001> INSERT INTO foo(name) VALUES("fiona")
1 row affected (0.000117 sec)
127.0.0.1:4001> SELECT * FROM foo
+----+-------+
| id | name  |
+----+-------+
| 1  | fiona |
+----+-------+
127.0.0.1:4001> quit
bye~

命令行工具的参数说明

./rqlite -h
 
Options:
 
  -h, --help
      display help information
 
  -s, --scheme[=http]
      protocol scheme (http or https)
 
  -H, --host[=127.0.0.1]
      rqlited host address
 
  -p, --port[=4001]
      rqlited host port
 
  -P, --prefix[=/]
      rqlited HTTP URL prefix
 
  -i, --insecure[=false]
      do not verify rqlited HTTPS certificate

除命令行之外,rqlite 支持 HTTP API

通过 HTTP API 完成对数据库的增删改查。

演示示例:

# 创建数据库
 
curl -X POST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d '[
    "CREATE TABLE foo (id integer not null primary key, name text)"
]'
 
# 返回是个 json 格式的数据
{
    "results": [
        {
            "last_insert_id": 1,
            "rows_affected": 1,
            "time": 0.00886
        }
    ],
    "time": 0.0152
}
 
# 查询数据
 
curl -G 'localhost:4001/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'
 
# 返回结果
 
{
    "results": [
        {
            "columns": [
                "id",
                "name"
            ],
            "types": [
                "integer",
                "text"
            ],
            "values": [
                [
                    1,
                    "fiona"
                ]
            ],
            "time": 0.0150043
        }
    ],
    "time": 0.0220043
}
 
# 也有很好的错误处理机制,比如查询一个不存在的数据库,或者语法错误,都能很好的捕获
 
curl -XPOST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d "[
    \"INSERT INTO nonsense\"
]"
 
{
    "results": [
        {
            "error": "near \"nonsense\": syntax error"
        }
    ],
    "time": 2.478862
}
 
# 还可显示响应信息
 
curl -v -G 'localhost:4003/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'
 
# 响应信息
* About to connect() to localhost port 4001 (#0)
*   Trying ::1...
* Connection refused
*   Trying 127.0.0.1...
* Connected to localhost (127.0.0.1) port 4001 (#0)
* Server auth using Basic with user 'bob'
> GET /db/query?pretty&timings&q=SELECT%20%2A%20FROM%20foo HTTP/1.1
> Authorization: Basic Ym9iOnNlY3JldDE=
> User-Agent: curl/7.29.0
> Host: localhost:4001
> Accept: */*
>
< HTTP/1.1 200 OK
< Content-Type: application/json; charset=utf-8
< X-Rqlite-Version: v4.0.0
< Date: Tue, 14 Nov 2017 08:07:27 GMT
< Content-Length: 276
<
{
    "results": [
        {
            "columns": [
                "id",
                "name"
            ],
            "types": [
                "integer",
                "text"
            ],
            "time": 0.000116084
        }
    ],
    "time": 0.000741562
* Connection #0 to host localhost left intact

3. rqlite Basic Auth

其他安全策略暂时不研究,研究认证方式。

具体做法是:

  • 配置文件: config.json 规定相应用户的操作权限
  • 启动服务传入配置文件
  • 命令行操作 -H 传入参数
  • HTTP API 则也需要传入用户名和密码

演示:config.json

1. 用户名、密码和操作权限设置

[
  {
    "username": "bob",
    "password": "secret1",
    "perms": ["all"]
  },
  {
    "username": "mary",
    "password": "secret2",
    "perms": ["query", "status"]
  }
]


# 配置了两个用户名和密码,两个用户的操作权限不一致,mary 用户只要query , status 权限

注: 用户权限包括:

  • all: user can perform all operations on a node.
  • execute: user may access the execute endpoint.
  • query: user may access the query endpoint.
  • load: user may load an SQLite dump file into a node.
  • backup: user may perform backups.
  • status: user can retrieve status information from the node.
  • join: user can join a cluster. In practice only a node joins a cluster.
  • remove: user can remove a node from a cluster.

2. 传入认证参数启动节点服务

./rqlited -auth=/root/config.json -http-addr localhost:4001 -raft-addr localhost:4002 /root/data/rqlite

3. 若使用命令界面访问认证的数据库

bob,secret1 为配置文件中的用户名和密码

./rqlite -H bob:secret1@localhost
bob:secret1@localhost:4001>
 
# 正常使用 SQL 实现增删改查,不添加-H 参数,报错,无法读取数据库数据

4. 若使用HTTP API 的方式访问认证的数据库

访问 API 有所差异

curl -G 'https://bob:secret1@localhost:4001/db/query?pretty&timings' \
--data-urlencode 'q=SELECT * FROM foo'
 
# API 中带入了用户名和密码

4. pyrqlite 使用介绍

假设启动了节点服务,那如何实现编程实现对数据库的增删改查?

pyrqlite 和绝大多数数据库API 的使用方法一致:

安装

  • 下载源码
  • python setup.py install

基本使用

import pyrqlite.dbapi2 as dbapi2
 
# Connect to the database
connection = dbapi2.connect(
    host='localhost',
    port=4001,
)
 
try:
    with connection.cursor() as cursor:
        cursor.execute('CREATE TABLE foo (id integer not null primary key, name text)')
        cursor.executemany('INSERT INTO foo(name) VALUES(?)', seq_of_parameters=(('a',), ('b',)))
 
    with connection.cursor() as cursor:
        # Read a single record
        sql = "SELECT `id`, `name` FROM `foo` WHERE `name`=?"
        cursor.execute(sql, ('a',))
        result = cursor.fetchone()
        print(result)
finally:
    connection.close()
 
# 结果
OrderedDict([('id', 1), ('name', 'a')])

若启动了一个配置认证信息的节点如何操作pyrqlite

最新版本,已经实现创建数据库连接时配置 user 和 paasword

connection = dbapi2.connect(
    host='localhost',
    port=4001,
    user='bob',
    password='secret1'
)

5. sqlalchemy-rqlite 使用介绍

如果对直接编写SQL 语句容易出错,作者还提供了ORM 方式。

安装

  • 下载源码
  • python setup.py install

基本使用

from sqlalchemy import create_engine
engine = create_engine('rqlite+pyrqlite://localhost:4001/', echo=True)

如果对已经配置认证信息的节点进行连接

from sqlalchemy import create_engine
engine = create_engine('rqlite+pyrqlite://localhost:4001/?user=bob&password=secret1', echo=True)

(全文完)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java后端技术栈

MySQL日志文件之错误日志和慢查询日志详解

实验环境:MySQL Community Server (GPL) 5.7.17、Ubuntu 16.04

1231
来自专栏Java架构师历程

MySQL表锁定问题

lock tables 命令是为当前线程锁定表.这里有2种类型的锁定,一种是读锁定,用命令 lock tables tablename read;另外一种是写锁...

2782
来自专栏WindCoder

查看及修改mysql数据库编码

show variables like '%char%'; 二、查看MySQL数据表(table)的MySQL字符集。

4121
来自专栏Linyb极客之路

Mysql慢查询日志的使用 和 Mysql的优化

1、临时开启慢查询日志(如果需要长时间开启,则需要更改mysql配置文件,第6点有介绍)

1132
来自专栏云计算教程系列

在Ubuntu 16.04上安装和配置MySQL Workbench

MySQL Workbench是一个功能丰富的图形工具,用于建模数据,构建SQL查询,管理MySQL服务器等。本教程将向您展示如何使用Ubuntu软件包管理器安...

1384
来自专栏JavaQ

MySQL架构学习笔记

MySQL逻辑架构 了解MySQL的架构有助于深入理解MySQL服务器,下图是MySQL的三层逻辑架构图(图片来自于网络)。 ? 第一层用于对客户端的连接处理...

3429
来自专栏pangguoming

CentOS下的Mysql的安装和使用

1.使用安装命令 :yum -y install mysql mysql-server mysql-devel 安装完成却发现Myserver安装缺失,在网上找...

4596
来自专栏十月梦想

mysql基础命令

键入命令mysql -uroot -p, 回车后提示你输入密码,输入12345,然后回车即可进入到mysql中了,mysql的提示符是: mysql>

972
来自专栏Java开发

CentOS6.5 离线安装MySQL5.6.26

6011
来自专栏程序猿

mysql 命令小集锦

1:使用SHOW语句找出在服务器上当前存在什么数据库: mysql> SHOW DATABASES; 2:创建一个数据库MYSQLDATA mysql> CRE...

3186

扫码关注云+社区

领取腾讯云代金券