引言在Web应用程序中，数据库查询是一个关键的环节。优化数据库查询可以显著提高应用程序的性能和响应速度。Django作为一个高度可扩展的Web框架，提供了多种方式来优化数据库查询。...查询集的延迟加载在Django中，查询集是惰性加载的，只有在需要数据时才会执行数据库查询。这意味着我们可以链式调用多个方法来对查询进行逐步优化，而不必立即执行查询。...使用prefetch_related进行预取在进行跨关联的查询时，使用prefetch_related()方法可以有效地减少数据库查询次数。...使用annotate()进行聚合查询Django的annotate()方法可以进行聚合查询，它可以在查询时计算额外的聚合值，并将结果添加到每个对象上。...缓存查询结果最后，为了进一步提高性能，我们可以使用Django的缓存机制来缓存查询结果。通过缓存查询结果，可以避免重复的数据库查询操作，从而减少响应时间和数据库负载。
今天我们再来学习两个非常重要的查询方法select_related和prefetch_related方法，看看如何使用它们避免不必要的数据库查询。高手过招，只差分毫。...我们先分析下这会什么会发生，然后再解释如何使用select_related和prefetch_related方法解决这个问题。 为什么会有重复查询?...当我们使用Article.objects.all()查询文章时，我们做了第一次数据库查询，查询的是blog_article数据表, 得到的数据只是文章对象列表，然而并没有包含与每篇文章相关联的category...Django考虑到了这一点，所以提供select_related和prefetch_related方法来提升数据库查询效率，类似于SQL的JOIN方法。...，请一定记住使用select_related和prefetch_related一次性获取所有对象信息，从而提升数据库查询效率，避免重复查询。
查询时主动完成连表形成一张大表，for循环时不用额外发请求； 试用场景： 节省硬盘空间，数据量少时候适用相当于做了一次数据库查询； obj_list=models.Articles.objects.all...() 做连表操作依然会影响查询性能，所以出现prefetch_related； prefetch_related:不做连表，多次单表查询外键表 ，去重之后显示， 2次单表查询（有几个外键做几次1+N次单表查询...print(obj.category.name) 二、ORM 分组和聚合查询 ① aggregate(*args,**kwargs) 聚合函数 通过对 QuerySet 进行计算，返回一个聚合值的字典...aggregate() 中每一个参数都指定一个包含在字典中的返回值。即在查询集上生成聚合。...from django.db.models import Avg,Sum,Max,Min #求书籍的平均价 ret=models.Book.objects.all().aggregate(Avg('price
我个人习惯项目运行的时候是debug模式跑着，但是，问题来了，启动竟然抛点异常。。。。。可是上周还好好的，让我有点怀疑人生了。...但是还有一个但是，我把日志模式改为info模式，这个贱贱的错误又隐藏起来了，项目一切正常运行，是没问题的。声明一点啊，这个错误不是跟日志的模式有关。 ...出现问题的根源，就是springmvc框架加载项目的时候，同时使用了加载静态资源的和定义了全局日期转换器。 1 转换到java.util.List的时候失败了。 【为什么会出现这个问题？...由于本人能力有限，还没有真正的了解到具体说法，如朋友你知底，请留言共勉，万分感谢】 但是出现问题我们必须以最快的速度干掉它，那么解决办法我给各位提供了2种(既然是不能用这种方式同时出现，那么我就只允许他们只出现一种
利用 batch_size 控制数据库单次提交的大小 bulk_create 和 bulk_update 是我们常用的批量创建、更新的方法，但批量提速一时爽，提交过长会直接导致任务失败。...N + 1 问题是非常常见的查询效率杀手。...在 Django 中我们通常会使用 selected_related 或prefetch_related 来预取关联对象，来减少和 DB 之间的交互，但是在使用上也需要有一些注意的地方。...Django 默认的查询方式都是粗放的，例如普通查询不使用 values 或者 only 时都是 select * ，而预取也不例外，看看下面这个例子。...在我看来，ORM 能让 90% 的查询都变得结构化更清晰、更易维护、甚至更安全，但剩下的 10% 也许会耗费更多的精力，所以何时使用 ORM 是根据具体项目场景来定的，不能因噎废食。
另外，查询到的QuerySet又是缓存的，当再次使用同一个QuerySet时，并不会再查询数据库，而是直接从缓存获取（不过，有一些特殊情况）。...可以看到，filter()的参数是变个数的键值对，而不会出现>,<,!=等符号，这些符号分别用__gt,__lt,~Q或exclude()，不过对于!=，建议使用Q查询，更不容易出错。...，字段值只能是聚合函数，因为使用annotate时，会用group by，所以只能用聚合函数。...用关联表时，Django才会再次查询数据库获取值。...select_related是用select ……join来返回关联的表字段，而prefetch_related是用多条SQL语句的形式查询，一般，后一条语句用IN来调用上一句话返回的结果。
使用索引 索引是提高数据库查询效率的关键。在Django中，可以通过在模型的字段上添加db_index=True来为字段创建索引。...，使用select_related和prefetch_related可以减少数据库查询次数，提高性能。...优化查询集 在处理查询集时，尽量避免使用all()方法，而是根据实际需求选择只取需要的字段或者进行过滤操作，以减少数据传输和处理的开销。...监控和调优 持续监控数据库的性能并进行调优是保证应用程序高效运行的重要手段。可以使用一些监控工具来实时监测数据库的负载、查询性能等指标，并根据监控数据进行调整和优化。...数据库备份与恢复 定期进行数据库备份是保障数据安全的重要措施之一。在数据库出现问题或需要迁移时，能够及时进行恢复操作也非常关键。
通过使用 ORM，我们只需要操作 Author 和 Blog 对象，而不用操作相关的数据库表。这里主要介绍一下 Django ORM 的相关使用。...同时 ORM 避免了不规范、冗余、风格不统一的 SQL 语句，可以避免很多人为的 bug，方便编码风格的统一和后期维护。...ORM 的最令人诟病的地方就是性能问题，不过现在已经提高了很多，下面是 ORM 的几个缺点 性能问题 自动化进行数据库关系的映射需要消耗系统资源 程序员编码 在处理多表联查、where 条件复杂的查询时...对象和关系之间并不是完美映射 一般来说 ORM 足以满足我们的需求，如果对性能要求特别高或者查询十分复杂，可以考虑使用原生 SQL 和 ORM 共用的方式 Django ORM 在 Django 框架中集成了...与 select_related 不同的是 prefetch_related 不使用 JOIN 方式来查询数据库，而是分别查每个表，最后使用 Python 来实现 JOIN 操作。
数据库 (缺少索引/数据模型) 数据存储接口 (ORM/低效的查询) 展现/数据使用 (Views/报表等) Web应用的大部分问题都会跟 数据库 扯上关系。...不首先解决数据库使用中的问题，您就不能继续解决其他问题。...关联查询问题 Django ORM的API使得我们使用关系型数据库的时候就像使用面向对象的 Python 语言那样自然。...意识到了这种问题，并提供 select_related 和 prefetch_related 来解决。...有些事情会变的复杂了，你最好2次查询来解决这种问题，上级对象和它的子对象各一次，然后在进行聚合。 如果 prefetch太复杂了，这时候就要在代码的整洁清晰和应用性能之间做一个取舍了。
在 Django 中，你可以使用单行查询来获取关联模型的数据。...下面是一些示例：1、问题背景在 Django 中，我们经常需要查询关联模型的数据。传统的方法是使用外键关系来获取关联模型的数据，这需要进行两次数据库查询。...2、解决方案Django 提供了多种方法来进行单行查询，其中最常见的方法是使用 select_related() 和 prefetch_related()。...2.2 使用 prefetch_related()prefetch_related() 可以将关联模型的数据预加载到内存中，这样就可以在后续的查询中直接使用预加载的数据，而不需要再进行数据库查询。...2.3 代码例子以下是一个完整的代码例子，演示如何使用 select_related() 和 prefetch_related() 来获取关联模型的数据：from django.db.models import
2. select_related使用SQL的JOIN语句进行优化，通过减少SQL查询的次数来进行优化、提高性能。...def prefetch_related(self, *lookups) 性能相关：多表连表操作时速度会慢，使用其执行多次SQL查询在Python代码中实现连表操作。...对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。...2. prefetch_related()的优化方式是分别查询每个表，然后用Python处理他们之间的关系。...或 models.UserInfo.objects.filter(...).only('username','id') def using(self, alias): 指定使用的数据库
可以使用下列方法对QuerySet提交查询操作： 迭代：QuerySet是可迭代的，在首次迭代查询集时执行实际的数据库查询。...匿名参数的别名将基于聚合函数的名称和模型的字段生成。 只有引用单个字段的聚合表达式才可以使用匿名参数。 其它所有形式都必须用关键字参数。...这会生成一个复杂的查询并引起性能的损耗，但是在以后使用外键关系时将不需要再次数据库查询。 下面的例子解释了普通查询和select_related()查询的区别。...当最初获取数据时不知道是否需要这些特定字段的情况下，如果正在使用查询集的结果，可以告诉Django不要从数据库中检索它们。...可以通过ManyToManyField属性和反向关联使用get_or_create()。在这种情况下，应该限制查询在关联的上下文内部。 否则，可能导致完整性问题。
网站：http://python.usyiyi.cn/django/index.html 数据库访问优化 Django的数据库层提供了很多方法来帮助开发者充分的利用他们的数据库。...理解查询集 理解查询集(QuerySets) 是通过简单的代码获取较好性能至关重要的一步。特别是： 理解查询集计算 要避免性能问题，理解以下几点非常重要： QuerySets是延迟的。...在数据库中而不是Python中做数据库的工作 比如： 在最基础的层面上，使用过滤器和反向过滤器对数据库进行过滤。 使用F 表达式在相同模型中基于其他字段进行过滤。 使用数据库中的注解和聚合。...使用QuerySet.defer()和only() 如果一些数据库的列你并不需要（或者大多数情况下并不需要），使用defer()和only()来避免加载它们。...整体插入 创建对象时，尽可能使用bulk_create()来减少SQL查询的数量。
ORM允许开发者用Python代码来操作数据库，而不需要写SQL语句。这样，我们就可以编写数据库独立的代码，而不用担心底层使用的是哪种数据库系统（MySQL，PostgreSQL，SQLite等）。...(1999, 10, 30))book.save()也可以查询现有的记录：books = Book.objects.filter(title__contains='Django')修改和删除记录：我们也可以修改或删除数据库中的记录...二十九、Django开发中如何优化数据库优化查询：使用ORM时，要注意避免生成不必要的查询。...例如，如果你需要访问一个外键关联的对象的某个属性，最好使用select_related或prefetch_related方法，这样可以在一次查询中获取所有必要的信息，避免“N+1查询”问题。...，最好使用分页来减少每次查询的数据量。
换句话说，在关联的任何一端，都不需要再调用save()方法。 聚合查询和分组查询 聚合 aggregate()是QuerySet 的一个终止子句，意思是说，它返回一个包含一些键值对的字典。...键的名称是聚合值的标识符，值是计算出来的聚合值。键的名称是按照字段和聚合函数的名称自动生成出来的。...和| 操作符以及使用括号进行分组来编写任意复杂的Q 对象。...同时，Q 对象可以使用~ 操作符取反，这允许组合正常的查询和取反(NOT) 查询。 示例：查询作者名字是小仙女并且不是2018年出版的书的书名。...对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。
键的名称是聚合值的标识符，值是计算出来的聚合值。键的名称是按照字段和聚合函数的名称自动生成出来的。...如果我们要对两个字段的值做比较，那该怎么做呢？ Django 提供 F() 来做这样的比较。F() 的实例可以在查询中引用字段，来比较同一个 model 实例中两个不同字段的值。...和| 操作符以及使用括号进行分组来编写任意复杂的Q 对象。...同时，Q 对象可以使用~ 操作符取反，这允许组合正常的查询和取反(NOT) 查询。 示例：查询作者名字是小仙女并且不是2018年出版的书的书名。...对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。
聚合查询和分组查询 聚合 aggregate()是QuerySet 的一个终止子句，意思是说，它返回一个包含一些键值对的字典。...键的名称是聚合值的标识符，值是计算出来的聚合值。键的名称是按照字段和聚合函数的名称自动生成出来的。...和| 操作符以及使用括号进行分组来编写任意复杂的Q 对象。...同时，Q 对象可以使用~ 操作符取反，这允许组合正常的查询和取反(NOT) 查询。 示例：查询作者名字是小仙女并且不是2018年出版的书的书名。...对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。
QuerySet 可切片 使用Python 的切片语法来限制查询集记录的数目 。它等同于SQL 的LIMIT 和OFFSET 子句。...当你确实需要结果时，查询集 通过访问数据库来求值。 关于求值发生的准确时间，参见何时计算查询集。 缓存机制 每个查询集都包含一个缓存来最小化对数据库的访问。理解它是如何工作的将让你编写最高效的代码。...总结: queryset的cache是用于减少程序对数据库的查询，在通常的使用下会保证只有在需要的时候才会查询数据库。 使用exists()和iterator()方法可以优化程序对内存的使用。...prefetch_related() 对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。...prefetch_related()和select_related()的设计目的很相似，都是为了减少SQL查询的数量，但是实现的方式不一样。后者是通过JOIN语句，在SQL查询内解决问题。
一 QuerySet 可切片 使用Python 的切片语法来限制查询集记录的数目 。它等同于SQL 的LIMIT 和OFFSET 子句。...当你确实需要结果时，查询集 通过访问数据库来求值。 关于求值发生的准确时间，参见何时计算查询集。 缓存机制 每个查询集都包含一个缓存来最小化对数据库的访问。...总结: queryset的cache是用于减少程序对数据库的查询，在通常的使用下会保证只有在需要的时候才会查询数据库。 使用exists()和iterator()方法可以优化程序对内存的使用。...prefetch_related() 对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。...prefetch_related()和select_related()的设计目的很相似，都是为了减少SQL查询的数量，但是实现的方式不一样。后者是通过JOIN语句，在SQL查询内解决问题。
信号（Signals）Django的信号系统允许不同的组件之间进行解耦，当一个事件发生时，可以触发信号，其他组件可以监听这个信号并执行相应的操作。...性能优化4.1 缓存Django提供了灵活的缓存框架，可以通过缓存来提高Web应用的性能。使用cache_page装饰器可以缓存整个视图。...my_view(request): # 视图的具体实现 pass4.2 数据库优化通过使用select_related和prefetch_related来优化数据库查询，减少数据库的访问次数...pythonCopy code# 使用select_related进行关联查询post = Post.objects.select_related('author').get(id=1)# 使用prefetch_related...进行反向关联查询author = Author.objects.prefetch_related('posts').get(id=1)4.3 Gunicorn和Nginx在生产环境中，使用Gunicorn
领取专属 10元无门槛券
手把手带您无忧上云
