通过python脚本执行的插入速度很慢，即使只有400行
。
这个问题可能与以下几个方面有关：
- 数据库选择：首先，需要确认使用的数据库类型和版本。不同的数据库在处理大量插入操作时可能有不同的性能表现。对于大规模数据插入，一些关系型数据库如MySQL可能会受到性能瓶颈的限制。在这种情况下，可以考虑使用一些专门针对大规模数据插入的数据库，如InfluxDB、Cassandra等。这些数据库具有更好的插入性能和扩展性。
- 数据库连接方式：确保使用的数据库连接方式是高效的。使用连接池可以减少每次插入操作时建立和断开连接的开销，提高插入速度。同时，可以考虑使用异步插入操作，将插入请求发送到队列中，由后台线程异步处理，从而减少主线程的等待时间。
- 数据库索引和约束：检查数据库表的索引和约束设置。过多或不必要的索引和约束可能会影响插入性能。可以根据实际需求对表进行优化，删除不必要的索引和约束，或者调整索引的类型和大小。
- 批量插入：考虑使用批量插入的方式，将多条数据一次性插入到数据库中。这比逐条插入的方式更高效。可以使用数据库提供的批量插入接口或者使用ORM框架提供的批量插入方法。
- 数据库优化：对数据库进行性能优化也可以提高插入速度。例如，可以调整数据库的缓存大小、调整日志记录策略、优化查询语句等。
- 硬件资源：确保服务器的硬件资源足够满足插入操作的需求。例如，可以增加服务器的内存、磁盘空间等。
总结起来，针对通过python脚本执行的插入速度慢的问题，可以从数据库选择、连接方式、索引和约束、批量插入、数据库优化和硬件资源等方面入手进行优化。具体的优化方法需要根据实际情况进行调整和测试。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库 MySQL：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云数据库 TDSQL-C：https://cloud.tencent.com/product/tdsqlc
- 腾讯云数据库 TDSQL-MariaDB：https://cloud.tencent.com/product/tdsqlmariadb
- 腾讯云数据库 TDSQL-PostgreSQL：https://cloud.tencent.com/product/tdsqlpostgresql
- 腾讯云数据库 TBase：https://cloud.tencent.com/product/tbase
- 腾讯云云服务器 CVM：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 Redis：https://cloud.tencent.com/product/redis
- 腾讯云云数据库 MongoDB：https://cloud.tencent.com/product/cmongodb
- 腾讯云云数据库 MariaDB：https://cloud.tencent.com/product/cmaria
- 腾讯云云数据库 SQL Server：https://cloud.tencent.com/product/csqlserver
相关·内容
我有一个400行的“数据帧”。 当我尝试将数据推送到SQL Server (在azure VM上)时，插入大约需要4分钟。下面是我使用的exceutemany语句： cursor.executemany(insert_query,df) 我知道cursor.executemany是逐行插入的，但是对于只有400行的人来说，花4分钟的时间有点奇怪。
浏览 144提问于2019-08-26得票数 0
回答已采纳
只是在学Python。阅读官方教程。我碰到了这个：
虽然列表末尾的附加和持久性有机污染物是快速的，但从列表开始执行插入或持久性有机污染物的速度很慢(因为所有其他元素都必须由一个元素移动)。我会猜到，像Python这样的成熟语言会有各种各样的优化，那么为什么Python不使用链接列表以便插入更快呢？
浏览 3提问于2012-09-05得票数 15
回答已采纳
我发现在通过py2neo for Python使用REST API时，Neo4j添加节点和关系/弧/边的速度很慢。我知道这是因为每个REST API调用都是作为一个独立的事务执行的。具体地说，在localhost上添加几百对具有关系的节点需要几秒钟的时间。
在使用Python的同时显著提高性能的最佳方法是什么？使用bulbflow和Gremli
浏览 7提问于2012-09-29得票数 17
回答已采纳
我正在制作一个应用程序，能够显示日志文件和通过它们搜索，在C#中。我需要数据提供程序，可以插入30万条记录真的很快。有人有什么建议吗？我目前使用的是Microsoft Compact server3.5，运行速度非常慢。我尝试了sqlite，但它的执行速度很慢，因为我不能进行批量插入。
浏览 0提问于2009-07-15得票数 2
1回答
我使用python3.7解释器运行以下代码。print(end-start)0.46335792541503906/home/user/virtualenvs/demorphy_test/bin/python3user/demorphy_test/test.py当使用Visual代码调试器运行时，输出为
/home/user/virtualenvs/
浏览 0提问于2019-10-11得票数 2
回答已采纳
我不确定是在这里还是在堆叠溢出上发布这篇文章，所以如果是在错误的地方道歉。我遇到了一个问题，有些脚本会随机变得很慢，我不知道从哪里开始调试。每个脚本连接到自己的数据库架构，但在同一个MySQL服务器上。每个脚本每秒将执行</em
浏览 0提问于2011-03-14得票数 2
回答已采纳
我用Python制作了一个程序来插入Sybase数据库，我使用了熊猫1.0.4和SQLAlchemy 1.3.18。我在sybase和我的脚本之间建立了链接，但实际上插入到表的速度真的很慢( 30k行10分钟)。在Server中，使用相同的代码(除了create_engine中的参数create_engine，参数方法=‘multi’，dataframe.to_sql()的chunksize = 5
浏览 6提问于2020-08-07得票数 1
回答已采纳
我已经创建了一个简单的数据库(只有一个表)与EF代码优先的方法。我在Azure上托管数据库。现在我想从我的本地机器插入一些数据，但连接(通过互联网)非常慢。即使我使用没有EF的普通SqlCommands插入数据，性能仍然很慢，但比EF快10倍左右。以下是我的插入代码：
using (InfoContext ctx = new InfoContext(dbs)
浏览 0提问于2016-05-11得票数 0
我们发现在我们的服务器上插入非常慢(40+秒)，但当我们在本地计算机上使用相同的DB和相同的插入脚本时，它几乎是瞬间的。我们的服务器托管在Microsoft Azure上，但我们也在我们大楼的服务器上尝试过，而且速度也很慢。
插入脚本只有大约5000次插入，但在服务器上需要40+秒。这给我们的一些客户造成了相当
浏览 0提问于2018-05-16得票数 0
4回答
我的工作是编写一个程序来删除所有重复的记录，使记录唯一，最后将唯一的id2输出到一个文件中。这样，内存约束就不会被违反，但是速度很慢。我认为这是因为随着std::map和std::set
浏览 9提问于2012-09-17得票数 4
1回答
当sp_BlitzIndex索引建议时，我脑海中的问题如下：此外，如何通过sp_BlitzIndex列出坏的索引？他们是如何被认定
浏览 0提问于2019-01-03得票数 2
5回答
在我放弃python并尝试在C#中创建它之前，我想知道我是否做错了什么。 count = count+1 for循环目前正在以每秒5个循环的速度运行所选择的行总数为489,000。运行在上的机器有大量的内存和CPU
浏览 6提问于2012-02-22得票数 11
回答已采纳
我有一个每次都依赖ENTER_FRAME事件运行的脚本。我注意到，在一些速度较慢的计算机上，播放flash电影时可能会有一些延迟。ENTER_FRAME可以在每一帧上运行吗，即使是在一台速度很慢的计算机上？如果flash电影滞后，ENTER_FRAME事件是否仍在运行，渲染是否只是试图赶上？在ENTER_FRAME上运行代码是在每次进入帧时执行代码的可靠方式吗？
浏览 0提问于2011-07-07得票数 4
回答已采纳
我试着上网，我注意到WiFi很慢，就像古代一样。重新启动，拔掉以太网电缆。网络脚本的结
浏览 0提问于2018-06-24得票数 4
1回答
我正在尝试使用导入/导出向导将表从开发数据库复制到SQL Server中的QA数据库。大约有660万行，大约需要7个小时。有没有更快的方法来完成这项任务？下面是我使用的代码：FROM [Table_Name] WITH (NOLOCK)OR [Code]
浏览 0提问于2021-09-16得票数 0
一方面，我使用pypyodbc库将通过Python获取的数据插入SQL Server。多年来，无论我的Python脚本是从Python空闲运行的，还是通过Windows批处理(.bat)文件从命令行运行以实现自动化，这都运行得很好。我最近介绍了从我的基于Windows的Python脚本中调用一个完全可操作的SQL Server存
浏览 21提问于2020-12-30得票数 0
目前，我正在编写一段代码，用于确定图像中每个像素行的连续白色像素序列的位置和长度。图像只包含黑白像素。代码在图像中的每个像素行/行上循环。对于每一行，创建一个列表(pixeLineSeq)，该列表将包含表示该相应像素线的连续白色像素值的位置的列表。之后，如果序列的长度大于给定的最小长度，则该序列被涂成红色。minLength: cv.imshow(sou
浏览 6提问于2022-01-14得票数 0
我遇到了以下问题:在计算机(数字2)上，脚本执行时间明显大于另一台计算机(计算机1)。计算机1- i3 - 4170 CPU @ 3.7 GHz (4核)，4GB内存(执行时间9.5分钟)
为什么执行时间不同？我怎么才能修好它？
浏览 1提问于2016-08-03得票数 0
回答已采纳
我已经编写了一个Python脚本，我需要与那些可能或可能没有安装Python的人共享这个脚本。作为一个肮脏的黑客，我想我可以将本地Python3.6安装复制到与我创建的脚本相同的文件夹中，然后创建一个从复制的python运行Python的.bat文件。Python36\python.exe script.py %*
通过
浏览 0提问于2018-03-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
