postgres中插入的性能分析

文章/答案/技术大牛

发布

1回答

postgresql、postgresql-performance

我有一条语句，它在Postgres DB中插入一堆行(这个问题的内容和位置并不重要)，速度并不像我希望的那样快。我可以运行一个explain查询来查看它在做什么，我得到的结果如下所示： Insert on dpdb.datapoints (cost=0.00..6917.76 rows=44184 widthselect部分的成本，但如果我将所有这些部分相加，大约是2秒(不到总时间的10% )。除了花费了大约24秒之外，它并没有告诉我更多关于实际<

浏览 34提问于2020-09-30得票数 4

1回答

用于mysql性能测试的快速测试数据创建

mysql

我们希望测试mysql数据库中用于主键/索引的序列/bigint vs UUID(VERSION-4) VS UUID(version-7)的性能。对于mysql来说是个新手，很难找到一种简单的方法来轻松地创建数据卷，测试性能，并且“解释分析”在这里似乎也不起作用。基本上想做一些类似于下面的代码在postgres.Can中所做的事情，请在这里指导我？(UUID Version-4是默认的随机UUID版本，Versi

浏览 0提问于2023-02-13得票数 0

回答已采纳

2回答

为什么有一个PostgreSQL服务器执行哈希连接，另一个服务器执行嵌套的循环半连接？

postgresql

我有两台不同的机器，它们都使用相同的数据运行psql 8.4.7 (使用pg_restore)，但是我从这两台机器得到了不同的查询。这两台机器之间还有其他功能上的差异(一台是CentOS，另一台Ubuntu，他们使用的是gcc的机器)，但我认为它们使用的逻辑或多或少是一样的。Filter: (user_id = 1)(38 rows) 另一方面，结果实际上显示在一个单独的屏幕上

浏览 3提问于2011-06-15得票数 8

1回答

Postgres自动分析性能

postgresql、postgresql-9.4、autovacuum

在PostgreSQL9.4上，我有一个表，它从来没有任何更新或删除，只有插入和选择。因此，它从来没有得到自动真空，但它仍然是自动分析，当它做到了，它可能需要超过100秒。在这100秒钟和相当长的时间之后，DB的性能是糟糕的，我的应用程序报告db响应时间在40-150秒范围内，而不是正常的2ms范围。我一直听说您不应该禁用自动真空，但是当我为这个表设置autovaccum_enabled=false时，db执行的可靠性要高得多。有理由

浏览 0提问于2015-12-17得票数 4

2回答

Postgresql 9加速索引插入(JPA)

postgresql、index、java、postgresql-9.1、performance、performance-tuning

我有一个应用程序，它生成大量需要快速插入的数据(大约1300万条记录)。我在Postgres 9.1中使用了JPA2.0/Hibernate，并且我成功地实现了相当好的性能(每秒大约25k个插入)，每几千个插入的多线程和批处理，在大约8分钟内完成整个运行。但是，我注意到我有几个外键丢失了一个索引，我真的希望从分析的角度来深入挖掘数据，并删除数据到特定的运行。不幸的

浏览 0提问于2012-11-15得票数 6

回答已采纳

1回答

在PostgreSQL中对复合类型的列进行散列在性能方面是否等同于对多个列进行散列？

performance、postgresql、types、hash、indexing

我有一个关于在Postgres中对复合列进行散列索引的性能的问题。底线是:性能是否与哈希索引多个列相同，这些列具有与复合类型属性相同的类型和布局？让我给出具体的情况:我得到了每季度一次的数据库转储，我打算在Postgres中重新导入并进行分析。我无法控制所提供数据的格式。它在多个地方使用由32个字符长度的十六进制代码组成的主键

浏览 3提问于2011-12-21得票数 1

回答已采纳

2回答

添加主键和索引时何时分析/真空/重新索引

postgresql、postgresql-11

我有一个循环作业，它从模板创建Postgres (v11)数据库，并将其加载到数据中。数据的规模是在数以百万计的行的10s或1000之间，因此，出于性能原因，在创建任何主键或索引之前，我会批量插入数据。这是我目前的行动顺序：批量COPY所有数据创建附加索引创建主键和索引是此工作流中最慢的部分。当通过分析/真空/重新索引重新计算统计数据时，在这个工作流中是否

浏览 0提问于2019-08-12得票数 1

回答已采纳

2回答

Postgres数据库10天后插入速度变慢，需要完全真空。

postgresql、performance、postgresql-performance、postgresql-12、vacuum

我们有一个postgres数据库，它在真空后的大小几乎是15 We。一个专用的硬件i，e 32 of的ram，12个核心。数据每天自动插入大约300 k，我们也会处理数据。通常插入速度为: 1200次/分钟其中一个重要的表上有一个相当大的触发器(不幸的是，我们不能对它做任何事情)，DB可以每分钟插入大约1200条记录，这对我们来说是可以接受的。这些记录不是批量插入，而是

浏览 0提问于2021-04-09得票数 3

1回答

postgreSQL - pg_class问题

postgresql

PostgreSQL将有关表的统计信息存储在名为pg_class的系统表中。对于每个查询，查询规划器都会访问该表。这些统计信息只能使用analyze命令更新。如果分析命令不经常运行，则此表中的统计数据可能不准确，查询规划器可能会做出可能会降低系统性能的糟糕决策。另一种策略是查询规划器为每个查询(包括选择、插入、更新和删除)生成这些统计信息。这种方法将允许查询规划器尽可能地获得最新的统计信息。为什么postg

浏览 6提问于2010-04-17得票数 1

回答已采纳

1回答

如果postgres中存在分区，则在插入时返回Null

postgresql

当我插入一条记录时，我需要返回插入的id，如果是postgres中的分区表。实现最佳性能的最佳方法是什么？

浏览 0提问于2017-06-20得票数 0

3回答

使用Python Psycopg2将JSON数据插入到远程Postgres表中需要花费太长的time.Is时间，这是正确的方法吗？

python-3.x、postgresql、analytics、psycopg2

我有来自Mongodb导出的2 2GB数据。我正在尝试用这些数据做一些分析，并将这些分析数据发布到远程Postgres table.This是我的代码： import json ) print ("\ncreated cursor object:", cur)#Post data into postgres)与这个

浏览 48提问于2020-12-11得票数 0

回答已采纳

2回答

Postgres中的UUID主键，对插入性能有什么影响？

database、performance、postgresql、indexing、uuid

我想知道使用非顺序UUID作为表中的主键对性能的影响，这个表在PosgreSQL中会变得非常大。在对表记录使用集群存储DBMS中，一旦表太大而不能在内存中容纳，使用UUID将增加插入的成本，这是因为一旦表太大而不能在内存中容纳，则必须从磁盘读取以找到要执行插入的数据页。据我所知，Postgres不维护插入上的行聚类，所以我认为在Postg

浏览 1提问于2015-12-12得票数 47

回答已采纳

2回答

Django/Postgres应用程序中的数据挖掘

python、django、postgresql、nosql、business-intelligence

我需要在我的Django应用程序中内置一个分析(报告，图表和绘图)系统。在理想情况下，我可以只查询Postgres数据库并获得我想要的数据，但当数据库中的数据量达到顶峰时，我会遇到性能瓶颈和其他问题，比如索引地狱。由于Postgres和Django不支持联机分析处理/MDX，我是否应该在不同的数据库中使用星型架构来查询？我不想在我的实际数据库

浏览 37提问于2011-11-30得票数 20

1回答

用于SQLServer的Python驱动程序pyodbc比使用插入的psycopg2和mysql.connector要慢得多

mysql、sql-server、python-3.x、postgresql、pyodbc

我们有一个用Python构建的应用程序，它必须在不同的数据库上运行，例如SQLServer，MySQL和Postgres。当我们使用pyodbc库插入SQL Server时，速度要慢得多(20倍！)而不是使用psycopg2插入Postgres或使用mysql.connector插入MySQL。我有两个问题: 1.性能差异的原因是什么?2.我们可以做什么(除了使用Postgres/MySQL)？

浏览 0提问于2018-06-22得票数 1

1回答

为什么真空全分析不更新pg_stat_user_tables？

postgresql、postgresql-14

为什么在Postgres中运行VACUUM FULL ANALYZE不更新pg_stat_user_tables中的last_vacuum列？我有一个中等规模的数据库，需要一些定制的清空和分析过程，这样这些例程就不会影响生产性能。因此，我计划在特定的“安全”期间运行VACUUM FULL ANALYZE。以前，我只是运行VACUUM FULL，但这并不是更新表统计数据，而是减缓了一些查询，因此我添加了ANALYZE，从而解决了

浏览 0提问于2022-07-25得票数 0

2回答

BigQuery是否适合频繁更新部分数据？

postgresql、google-bigquery、google-cloud-sql

我在GCP上，我有一个想要从远程机器接收大量事件流的用例。为了组合一个最终的事件-我需要摄取和“组合”X类型的事件，以及Y和Z类型的事件。我想知道我是否应该在这个用例中使用BigQuery，因为我预计会有大量的这类事件，而且我可能会有对这些数据进行分析的未来计划。我也想知道如何对这些事件进行建模。我可以创建一个反规范化的表，在发生事件时只进行部分更新(就更新性能而言，BigQuery做得如何？)，然后在完成时发布到pubsub。或者

浏览 0提问于2020-07-09得票数 0

1回答

将数据存储在辅助数据库中

spring、hibernate、vert.x、nosql

我们的应用程序(java、spring、hibernate)使用postgress来存储数据。我们希望在应用程序中添加一个分析引擎。我想探索一下如何使用nosql数据库来运行分析。这是学习nosql的一种尝试，也是为了(尽可能多地)将主要应用程序活动从性能损失中解放出来。因此，我希望数据更改也同步到nosql数据库(除了postgres之外)。任何同步机制都会影响主数据/事务活动的性能。将数据更改推送到消

浏览 1提问于2016-01-19得票数 1

1回答

Kappa体系结构.关于历史数据处理的概念问题

apache-spark、apache-kafka、apache-superset、event-stream-processing

这是一个关于在kappa体系结构中构建数据分析管道的问题。问题是概念性的。用直接在卡夫卡上显示实时数据 Application | (publish需要注意的是，在这种情况下，应用程序可以已经拥有一个具有历史数据的数据库。为了使这一工作，在启动数据分析，首先，数据库被分析和事件被发射到卡夫卡，以传递

浏览 22提问于2022-06-30得票数 0

3回答

向维护用户隐藏业务数据

postgresql、security、maintenance

我是postgres的新手，有个问题：如何运行“分析”，查询时没有超级用户权限。我相信一个受限的维护用户在这里可能会有所帮助(我想这个

浏览 0提问于2019-11-07得票数 -3

3回答

关系数据库适用于软实时系统吗？

database、performance、scalability、real-time

我正在开发一个实时视频分析系统，它可以逐帧处理视频流.在每一帧中，它可以生成多个事件，这些事件应该被记录下来，并通过网络传递到另一个系统。该系统是软实时的，即大于25 is的消息延迟是非常不理想的，但不是致命的。关系数据库(特别是MySQL和Postgres)是否适合作为这种系统的数据存储？当DB安装在它自己的服务器上，并且有50个25 its的单行SQL插入流通过网络进入时，我能期望它正常工作吗

浏览 5提问于2011-10-29得票数 1

点击加载更多