背景 最近用python做爬虫，爬取的数据需要入到数据库，本来都是一些小的爬虫程序，也没有用到任何框架，但是等数据入库的时候各种拼接sql语句，有时候文本中包含“，会直接报错，烦不胜烦，考虑是否有简单的数据库的 orm框架，方便数据库这块的操作，考虑到之前接触过一些django的知识，就想从这方面入手。 Django框架的核心包括：一个面向对象的映射器，用作数据模型（以Python类的形式定义）和关系性数据库间的媒介；一个基于正则表达式的URL分发器；一个视图系统，用于处理请求；以及一个模板系统。 显然这里我们只需要Django的对象映射器帮助操作数据库。 单独接入Django数据库模块 我使用的python IDE是pycharm，使用过android studio的同学一定会对这个ide的界面很熟悉，因为他们都是JetBrains开发的一些列IDE的一员
，而查询非常频繁的场景 没有事务场景 InnoDB适合的场景： 数据进行增删改查都相当频繁的系统 可靠性要求比较高，需要事务特性的系统 数据库锁的分类： 按锁的粒度划分，可分为表级锁、行级锁、页级锁 按锁级别划分 ，所以在数据库层面通常不会发生这个问题。 例如mysql所有事务隔离级别在数据库层面上均可避免更新丢失 下图模拟了更新丢失的过程： ? ；该问题在SERIALIZABLE（串行化）以上的事务隔离级别可避免，需要注意的是：在MySQL数据库中，REPEATABLE-READ事务隔离级别下也可以避免幻读 总结： ? 而在可重复读隔离级别下，快照读读到的是开启事务时第一条select语句读到的快照版本数据，当前读则是会读到当前数据库中最新的数据。
一键领取预热专享618元代金券，2核2G云服务器爆品秒杀低至18元！云产品首单低0.8折起，企业用户购买域名1元起…
1.关于sql注入★★★★★ import pymysql ''' pymysql接收几个参数用来连接数据库 ''' connection = pymysql.connect( host='localhost connection.close() # 用完一定要关闭连接，否则大的数据量的时候，会卡死数据库 ''' 但是有一个致命的危机！！ （用的最多的模块及方法） import pymysql connection = pymysql.connect( host='localhost', user='root', # 打印第二行 # print(row) # row = cur.fetchone() # 打印第三行 # print(row) # rows = cur.fetchmany(5) # 将当前数据库里面所有的数据前 5条以单条字典的形式放在列表内全部返回 # print(rows) # rows = cur.fetchall() # 将当前数据库里面所有的数据以单条字典的形式放在列表内全部返回 # print(
Django模型(数据库)及Django Query常用方法 Django 模型是与数据库相关的，与数据库相关的代码一般写在 models.py 中，Django 支持 sqlite3, MySQL, PostgreSQL等数据库，只需要在settings.py中配置即可，不用更改models.py中的代码，丰富的API极大的方便了使用。 创建数据表 我们来同步一下数据库（我们使用默认的数据库 SQLite3，无需配置） 先 cd 进入 manage.py 所在的那个文件夹下，输入下面的命令 # Django 1.6.x 及以下 python >>> Person.objects.create(name="Tom", age=24) <Person: Person object> >>> 我们新建了一个用户WeizhongTu 那么如何从数据库是查询到它呢 Person对象 Person.objects.filter(name__contains="abc").exclude(age=23) # 找出名称含有abc, 但是排除年龄是23岁的 ---- 从数据库中查询出来的结果一般是一个集合
1.获取一条数据（字段值必须唯一） ? ? ? 2.条件查询filter ? ? ? 3.排除查询exclude ? ? ? 4.链式查询 ? ? ? 7.插入数据create ? ? 8.数据统计 ? 9.模糊查询 __startswith，__endswith ? 10.范围查询 __range ? 12.聚合函数 ?
索引模块除了是数据库最重要的模块之一，也是面试中最经常被问到的，关于索引模块常见问题如下： 为什么要使用索引 什么样的信息能成为索引 索引的数据结构 密集索引和稀疏索引的区别 为什么要使用索引： 数据库中最小存储单位通常是块或者页 ，每个块里面都会包含多行数据。 而我们在查询一些没有使用索引的数据时，通常都需要进行全表扫描，也就是说需要加载所有的块，然后逐个遍历这些块直到查找出我们需要查找的数据。 可想而知这种查询方式在数据量比较大的时候效率是比较慢的，所以我们很多时候都需要避免全表扫描。不过数据库的设计者早已考虑到这一点所以引入了更高效的查询机制，即使用索引。 而索引也是如此，数据库能够通过索引记录的关键信息迅速定位目标数据在哪个位置上，就可以避免全表扫描的发生。所以使用索引的目的就是为了让查询更高效。
1.连接数据库出现的一些问题 基本目录如下： ? 首先我们pip install pymysql 然后在项目中，进行配置settings.py： ? 解决方法： （1）定位到自己django安装的地方，我的是E:\anaconda2\envs\python36\Lib\site-packages\django 找到django下面的db\backends
add_one 可以看到数据库中成功插入了两条我想要插入的数据 obj.delete_one() ? SQLAlchemy“采用简单的Python语言，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型”。 SQLAlchemy的理念是，SQL数据库的量级和性能重要于对象集合；而对象集合的抽象又重要于表和行。 因此，SQLAlchmey采用了类似于Java里Hibernate的数据映射模型，而不是其他ORM框架采用的Active Record模型。 SQLAlchemy与数据库关系图如下： ?
我们把写好的文章永久地保存在数据库里，当用户访问我们的博客时，Django 就去数据库里把这些数据取出来展现给用户。 博客的文章应该含有标题、正文、作者、发表时间等数据。 数据库存储的数据其实就是表格的形式，例如存储博客文章的数据库表长这个样子： 文章 id 标题 正文 发表时间 分类 标签 1 title 1 text 1 2016-12-23 Django Django 下面分别是分类和标签的数据库表： 分类 id 分类名 1 Django 2 Python 标签 id 标签名 1 Django 学习 2 Python 学习 编写博客模型代码 以上是自然语言描述的表格 Django 把那一套数据库的语法转换成了 Python 的语法形式，我们只要写 Python 代码就可以了，Django 会把 Python 代码翻译成对应的数据库操作语言。 这是分类与标签，分类与标签的模型我们已经定义在上面。我们把文章对应的数据库表和分类、标签对应的数据库表关联了起来，但是关联形式稍微有点不同。
} 模板加载 将指定的页面加载到当前页面指定部分，一般用于数据管理的平台型网站 2-3 Django数据库定义 本章知识点 网站开发建模 Django模型处理 Django自带模块 admin Admin 首先要搞明白的是数据建模。 所谓的数据建模就是利用数据库语句来描述我们的业务逻辑。 而Django就是采用ORM映射来处理数据库。 2. Python manage.py check 注意：python3采用的是pyMySQL(py3)数据库api，但是Django默认的是MySQLdb（py2）模块，所以需要做以下修改 Django模型处理 Django自带模块 admin Admin管理和样式渲染
常用的数据库相关命令有： makemigrations 创建模型变更的迁移文件 migrate 执行上一个命令创建的迁移文件 dumpdata 把数据库数据导出到文件 loaddata 把文件数据导入到数据库 位于Django视图层和数据库之间；屏蔽不同数据库之间的差异 python对象和数据库表之间转换；开发者更加专注于业务逻辑的开发 常用的数据库相关命令有： makemigrations 创建模型变更的迁移文件 migrate 执行上一个命令创建的迁移文件 dumpdata 把数据库数据导出到文件 loaddata 把文件数据导入到数据库
编程应用、实战教程，不容错过 Django框架为我们提供了简洁方便的ORM模型供我们对数据库进行各种操作，但是这个“数据库”却并不包括NoSQL的典型——MongoDB。 在这里，州的先生（https://zmister.com）介绍一种方法，借助第三方模块——Djongo来在Django中集成MongoDB数据库。 ', } } 可以发现，这与Django原始的数据库配置方法是一模一样的，所不同的是，数据库的引擎使用了djongo而非Django官方提供的数据库封装引擎。 和使用SQL数据库一样，Django为新项目创建了我们定义的模型还有一些认证管理相关的表，这是否是真的呢，我们去MongoDB数据库里面查看一下： ? - 使用Django Admin - 经过上面的演示，我们可以发现借助于Djongo模块，我们可以无痛地以Django ORM的方式来使用MongoDB数据库。
Django模板的设计哲学是彻底的将代码、样式分离；asp.net提倡将代码/模板分离，但技术上还是可以混合；而Django则是从根本上杜绝在模板中进行编码、处理数据的可能。 单线程异步 网站基本都会有数据库操作，而Tornado是单线程的，这意味着如果数据库查询返回过慢，整个服务器响应会被堵塞。 数据库查询，实质上也是远程的网络调用；理想情况下，是将这些操作也封装成为异步的；但Tornado对此并没有提供任何支持。 一个系统，要满足高流量；是必须解决数据库查询速度问题的！ 如果数据库查询响应太慢，需要解决的是数据库的性能问题；而不是调用数据库的前端Web应用。 对于实时返回的数据查询，理想情况下需要确保所有数据都在内存中，数据库硬盘IO应该为0；这样的查询才能足够快；而如果数据库查询足够快，那么前端web应用也就无将数据查询封装为异步的必要。
Django==2.0.7 mongoengine==0.17.0 #2 开始 #2.1 安装 mongoengine pip3 install mongoengine #2.2 新建django项目 #2.3 在MongoDB新建一个数据库 use django_mongo ? 'ENGINE':None, } } from mongoengine import connect connect('django_mongo') # 链接刚刚新建的MongoDB数据库 mongoengine.StringField( max_length=128, ) age = mongoengine.IntField( default=10, ) #2.6 不需要数据库迁移 #3 注意 models中不会像使用MySQL那样,有智能补全 models不需要数据库迁移 models的增删改查和mysql的ORM一样,都是使用同样的ORM,只是数据库不同
'HOST': '127.0.0.1', # 数据库地址，本机 ip 地址 127.0.0.1 'PORT': 3306, # 数据库端口 'USER': 'root', # 数据库用户名 'PASSWORD': '123456', # 数据库密码 'NAME ': 'BMSTest', # 数据库名称 } } 数据库 ENGINE 要使用的数据库引擎。 数据库 # 缓存 CACHES = { # 默认采用0号Redis库。 ') # 输出日志 logger.debug('测试logging模块debug') logger.info('测试logging模块info') logger.error('测试logging模块error
1.3 创建应用 Django 框架通过应用的方式来管理整个网站项目. 一个网站中包含多个子业务模块，比如用户模块，商品模块，新闻模块等等，我们可以将这些子模块称作一个应用。 按 CTRL+C 停止服务器. 2 模型创建 2.1 ORM 概述 当前项目的开发都是数据库驱动，即分析出项目中所需要存储的数据，然后设计数据表结构，接下来对通过编写 SQL 语句对数据库中的表进行 CURD Django 提供了一套针对数据库操作的代码库, 通过该代码库中提供的工具, 我们可以创建查询、生成SQL语句，并且这些SQL无需开发人员自己处理。 另外 ORM 强大的地方，ORM支持多种数据库后端。可非常简单帮助我们切换后端数据库。Django中提供了自己内置的 ORM 库。 我们不需要面向数据库编程，而是通过定义模型类，通过对我们的模型类和对象的方法调用，从而完成了对数据库 CRUD 操作。
5.1 数据库的配置 1 django默认支持sqlite，mysql, oracle,postgresql数据库。 <1> sqlite django默认使用sqlite的数据库，默认自带sqlite的数据库驱动 , 引擎名称：django.db.backends.sqlite3 <2> mysql 数据库下的db.sqlite3则是项目自动创建 USER和PASSWORD分别是数据库的用户名和密码。 并提供了一个简介漂亮的定义数据库字段的语法。 <2> 每个模型相当于单个数据库表（多对多关系例外，会多生成一张关系表），每个属性也是这个表中的字段。 的queryset是惰性的 Django的queryset对应于数据库的若干记录（row），通过可选的查询来过滤。
在服务器上部署Django项目时出现的问题，具体问题为执行python3 manage.py runserver 时出现数据库连接不上等问题时； a.png 我没有找到具体原因（猜测跟’USER ’: 'root’有关），但找到了解决办法，具体为在mysql数据库中在创建一个用户，并给他授权就可以了，把root改成新创建的用户即可。
本篇主要介绍我们在使用django框架开发的时候使用的操作数据库的语句，这在动态网站部分是很重要的，因为我们需要连接数据库进行操作，然后把数据处理的结果显示在前端页面上，在其他地方我们都是直接用sql语句来手动输入 ，这样容易造成错误，还影响效率，在django中，内置了很多处理数据库操作的函数，能更便利的帮我们操作数据库 开始 实例代码 models.py class Blog(models.Model): models.ManyToManyField(Author) #python3中用__str__ def __unicode__(self): return self.headline models模块中有三个类 models.ForeignKey())相连，属于一对多的关系，即一个entry对应多个blog，entry与author是多对多的关系，通过modles.ManyToManyField()实现 插入数据库 Blog #导入blog这个app b = Blog(name='Beatles Blog', tagline='All the latest Beatles news.') b.save() 更新数据库
云数据库 Redis,数据库缓存,数据库存储,云数据库 云数据库 Redis（TencentDB for Redis）是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。 云数据库Redis是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
文件存储
命令行工具
SSL 证书