Python操作SQLite/MySQL/LMDB/LevelDB

1. 概述

1.1 前言

最近用Caffe跑自己的数据集,需要学习LMDB和LevelDB,趁此机会复习了SQLite和MySQL的使用,一起整理在此。

代码:https://github.com/liquidconv/py4db

1.2 环境

使用Ubuntu 14.04,Python 2.7.6。

2. SQLite

2.1 准备

SQLite是一种嵌入式数据库,它的数据库就是一个文件。Python 2.5x以上版本内置了SQLite3,使用时直接import sqlite3即可。

2.2 操作流程

概括地讲,操作SQLite的流程是:

  • 通过sqlite3.open()创建与数据库文件的连接对象connection;
  • 通过connection.cursor()创建光标对象cursor;
  • 通过cursor.execute()执行SQL语句;
  • 通过connection.commit()提交当前的事务,或者通过cursor.fetchall()获得查询结果;
  • 通过connection.close()关闭与数据库文件的连接。

详细的sqlite3模块API可以看这里:

http://www.runoob.com/sqlite/sqlite-python.html

总结起来就是用cursor.execute()执行SQL语句,改变数据(插入、删除、修改)时用connection.commit()提交变更,查询数据时用cursor.fetchall()得到查询结果。

2.3 操作实例

2.3.1 建立数据库与建立表

直接来看例子:

这里conn是与数据库文件test.db的连接对象,c是conn的光标对象,通过c.execute()执行建表操作,创建了简单的学生信息表(学号,名字),通过conn.commit()提交,最后用conn.close()关闭连接。

conn.open()发现文件不存在时会自动创建,这里使用了文件“test.db”,也可以使用“:memory:”建立内存数据库。

2.3.2 插入、删除、修改

为了便于多次运行,直接使用了内存数据库:

做的事情还是非常简单易懂的,向学生信息表中插入(1,Alice)、(2,Bob)、(3,Peter)三条记录,删除(1,Alice),修改(3,Peter)为(3,Mark)。

“?”是sqlite3中的占位符,execute时会用第二个参数元组里的元素按顺序替换。官方文档里建议出于安全考虑,不要直接用python做字符串拼接。

另外注意不需要每次execute后调用commit。

2.3.3 查询

直接在上面的代码commit之后加上:

运行一下,输出结果为:

test_query.py

fetchall()返回的是记录数组,可以通过WHERE子句做更细致的选择。

2.3.4 完整的例子

把上面的操作写成函数形式:

运行一下,输出结果为:

test_sqlite.py

之后用的例子都是这个简单的学生信息表(学号,姓名)。

3. MySQL

3.1 准备

安装MySQL:

安装MySQLdb:

使用时import MySQLdb(注意大小写)。

3.2 操作流程

同为关系型数据库,MySQL的操作方法和SQLite是大同小异的。建立连接对象与光标对象,用execute()执行SQL语句,commi()提交事物,fetchall()获得查询结果。

3.3 操作实例

直接看MySQL版本的完整例子:

对比后可以发现区别仅是建立连接时参数复杂一些,同时需要用select_db()选择数据库。

运行一下,输出结果为:

test_mysql.py

4. LMDB

4.1 准备

学习LMDB的时候不禁想到知乎上的提问“有哪些名人长期生活在其他名人的光环下”,说实话感觉查它的人基本都是为了用Caffe……

Anyway,LMDB和SQLite/MySQL等关系型数据库不同,属于key-value数据库(把LMDB想成dict会比较容易理解),键key与值value都是字符串。

安装:

使用时import lmdb。

4.2 操作流程

概况地讲,操作LMDB的流程是:

  • 通过env = lmdb.open()打开环境
  • 通过txn = env.begin()建立事务
  • 通过txn.put(key, value)进行插入和修改
  • 通过txn.delete(key)进行删除
  • 通过txn.get(key)进行查询
  • 通过txn.cursor()进行遍历
  • 通过txn.commit()提交更改

4.3 操作实例

4.3.1 建立环境

运行一下,查看当前目录的变化:

set_env.py

可以看到当前目录下多了students目录,里面有data.mdb和lock.mdb两个文件。

4.3.2 插入、删除、修改

插入与修改都用put实现,删除用delete实现。

注意用txn = env.begin()创建事务时,有write = True才能够写数据库。

4.3.3 查询

查单条记录用get(key),遍历数据库用cursor。

直接在上面的代码commit()之后加上:

运行一下,输出结果为:

test_query.py

注意上次commit()之后要用env.begin()更新txn。

4.3.4 完整的例子

运行一下,输出结果为:

test_lmdb.py

5. LevelDB

5.1 准备

同为key-value数据库,LevelDB的资料比LMDB丰富太多了。值得一提的是LevelDB实现时用到了SkipList,以后有机会要亲自实现一下。

安装:

使用时import leveldb。

5.2 操作流程

LevelDB操作时类似与LMDB,使用Put/Get/Delete,但是更加简单(不需要事务txn和commit提交),同时支持范围迭代器RangeIter。

5.3 操作实例

来看LevelDB版本的完整例子:

运行一下,输出结果为:

test_leveldb.py

此外,由于没有commit()操作,leveldb中用WriteBatch实现多条更改一次提交,直接copy示例代码如下:

6. 学习总结

这次学习四种数据库操作时,是按照SQLite -> MySQL -> LMDB -> LevelDB的顺序,所以研究SQLite与LMDB花了较长时间,而MySQL与LevelDB很快就搞定了。某种意义上,学习技术和背单词一样,当前掌握的单词越多,背新单词就越容易——因为可以把新单词和已经掌握的同义词联系在一起,在脑海里聚成簇。

最后回顾一下,SQLite与MySQL都是关系型数据库,操作时创建连接对象connection与光标对象cursor,通过execute执行SQL语句,commit提交变更,fetch得到查询结果;LMDB与LevelDB都是K-V数据库,操作时建立与数据库的连接,用put/delete改变数据,用get获取数据,区别是LMDB中有事务需要commit,LevelDB不需要。

7. 参考资料

  • SQLite SQLite教程: http://www.runoob.com/sqlite/sqlite-python.html SQLite全面学习: http://blog.jobbole.com/92796/ Python文档关于sqlite3的介绍: https://docs.python.org/2/library/sqlite3.html
  • MySQL MySQLdb模块: http://www.oschina.net/code/snippet_16840_1811 Python操作MySQL: http://www.cnblogs.com/rollenholt/archive/2012/05/29/2524327.html
  • LMDB Creating an LMDB database in Python: http://deepdish.io/2015/04/28/creating-lmdb-in-python/ Python lmdb: http://blog.csdn.net/ayst123/article/details/44077903 lmdb 0.87 documentation: http://lmdb.readthedocs.org/en/latest/
  • LevelDB py-leveldb示例代码: http://www.oschina.net/p/py-leveldb?fromerr=G5QJs7l1 Having a look at LevelDB: http://skipperkongen.dk/2013/02/14/having-a-look-at-leveldb/

作者:kophy 链接: http://www.jianshu.com/p/66496c8726a1

本文来自“Python头条”微信公众号

最具关注价值的中文Python技术公众账号。

(12月内关注账号可领取10集Python入门视频)


原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2017-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏文渊之博

SSIS技巧--优化数据流缓存

问题     我们经常遇到一种情况,在SSMS中运行很慢的一个查询,当把查询转化成从源到目的数据库的SSIS数据流以后,需要花费几倍的时间!源和数据源都没有任何...

21390
来自专栏更流畅、简洁的软件开发方式

利用虚拟硬盘(把内存当作硬盘)来提高数据库的效率(目前只针对SQL Server 2000)可以提高很多

      虚拟硬盘:就是把内存当作硬盘来用,比如有2G的内存,那么可以拿出来1G的内存当作硬盘来用。       自从知道了“虚拟硬盘”这个东东,我就一直在想...

53250
来自专栏大数据和云计算技术

数据库中的元数据

刘耀铭同学元数据系列作品的第三篇,大家支持! 今天跟大家谈谈数据库中的元数据 数据库中的元数据无非就是对数据库中数据的描述与定义。 ? 我们先举个现实生活中...

31360
来自专栏数据和云

深入剖析:关于cache buffers chains的经典案例处理详解

? 卢文星 目前就职云和恩墨,南区交付工程师,有超过8年超大型数据库管理经验,擅长Oracle数据库性能优化与升级迁移。 作者介绍 故障现象 某省税务核心业务...

28960
来自专栏张戈的专栏

grep无法查找shell传过来的变量?先注意一下文本格式吧!

昨天,同事告诉我发现一个诡异的问题,grep 无法搜索 shell 中的变量,着实很惊讶。到他所说的服务器上试了下,还真是不行! 大概就是这样一个要求: ①、有...

41890
来自专栏用户画像

sql sever 索引

微软的SQL SERVER提供了两种索引:聚集索引(clustered index,也称聚类索引、簇集索引)和非聚集索引(nonclustered index,...

7740
来自专栏微信终端开发团队的专栏

微信ANDROID客户端-会话速度提升70%的背后

image.png 背景 打开会话速度慢 在同一个会话有较多的历史消息下,各种查询,更新,删除等操作,速度明显下降。 在会话内有较大量历史消息情况下,进入...

60770
来自专栏文渊之博

如何将生产环境的字段类型从INT修改为BIGINT

介绍 改变数据类型是一个看起来很简单的事情,但是如果表非常大或者有最小停机时间的要求,又该如何处理那?这里我提供一个思路来解决这个问题。 背景 在一个常规SQL...

45480
来自专栏源码之家

批量删除WP的垃圾评论

19440
来自专栏java一日一条

你不得不知道的 MySQL 优化原理(一)

说起MySQL的查询优化,相信大家收藏了一堆奇淫技巧:不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型….. 你是否真的理解...

16720

扫码关注云+社区

领取腾讯云代金券