我写的这段代码允许读取一个文件夹，根据文件名插入到不同表中的csv文件的数据。一旦文件被处理，它就会被移动到另一个文件夹。我的代码运行良好，但是第二个csv文件超过8万行，并且需要几个小时才能集成到我的数据库中。 如何提高代码的性能？我尝试了“本地加载数据”，但没有成功... <?php
include
浏览 21提问于2020-07-23得票数 0
回答已采纳
在使用正则表达式扫描非常大的每日事件日志之后，我必须将它们加载到SQL Server数据库中。不允许创建临时CSV文件，然后使用命令行BCP将其加载到SQL Server数据库中。使用Python，是否可以使用BCP流将数据加载到SQL Server数据库中？我想使用BCP的原因是为了提高插入SQL Server数据库的
浏览 0提问于2014-09-09得票数 1
1回答
我有一个应用程序，需要每天晚上将数据导入到MySQL表中。大约有5个表被截断，PHP脚本处理CSV文件并逐个插入数据。这些表每个可容纳大约20,000行。任何其他提高性能的技巧也将不胜感激。
谢谢
浏览 0提问于2014-10-16得票数 0
2回答
我有一个csv文件，有多条1000( 100,000 )条记录。当我使用这些文件将记录插入到我的数据库中时，将需要半小时以上的时间。有没有其他方法来提高这些过程的效率和速度，或者是否有可用的框架？
浏览 0提问于2015-10-30得票数 0
1回答
我们正在尝试将我们的数据库(mysql)移动到amazon redshift (数据仓库)，并且我们在更新仓库数据库时遇到了一个问题。我们已经在db上启用了常规日志记录，然后我们在redshift上重放了常规日志中的所有这些查询。所有的更新查询大约需要6-7秒。我正在寻找一些方法，以更快的速度执行这些更新？不过，更快进行更新的一般方法也会有所帮助。我尝试过的一种解
浏览 0提问于2013-05-02得票数 0
1回答
我正试图找到一种更好的方法，使用python将数据推送到sql。我已经尝试过dataframe.to_sql()方法和cursor.fast_executemany()，但是它们似乎并没有提高我现在正在使用的数据(数据在csv文件中)的速度。有人建议我可以使用--元组、和生成器--以比熊猫更快的速度加载数据。
通常csv文件<e
浏览 2提问于2019-04-25得票数 1
variety').focus();}).focus(function() {});$category = $_REQUEST["category"];
$sql = "SELECT distinct(cat
浏览 3提问于2014-06-11得票数 1
回答已采纳
在一个系统上工作，它将存储更多的4 million记录per day。该系统是用PHP编写的ppc系统，通过iframe显示多个站点的横幅和各自的服务器。每当这个横幅加载到任何网站，我都会在文件中存储它的信息的一条记录(之前是插入到<
浏览 40提问于2015-08-09得票数 17
回答已采纳
2回答
AWS提高iops
、、、
我以前从未使用过亚马逊网络服务，并且在EC2实例上创建了一个php应用程序。我该如何提高这个过程的速度呢？然而，当我运行我的应用程序时，我得到了和以前一样的速度。
Ec2实例和RDS实例上的什么规格将决定它写入
浏览 36提问于2017-04-19得票数 0
2回答
我正在逐行读取CSV文件，并将数据插入mongodb数据库。大约需要2分钟。当db和文件在同一台机器上时，从所有文件中读取、处理和写入数据到mongodb。而当数据库位于我的网络中的另一台机器上时，大约需要5分钟。在远程机器上花费更多的时间。有谁能帮我缩短时间吗？谢谢。
浏览 11提问于2016-08-30得票数 1
2回答
我在应用程序中使用SQL数据库。我想提高在我的应用程序中运行搜索查询的速度。所以，自然的，我做了一些关于数据库索引的研究。关于数据库索引，有很多有用的文章，但是这些帖子让我陷入了困境。原因如下：
如果在表中执行大量搜索查询，通常在表中引入数据库索引是很好的做法。如果在表中执行
浏览 1提问于2021-03-23得票数 0
回答已采纳
1回答
我有一个Wordpress站点，它使用自定义的post类型，称为CPT-1，我使用JetEngine创建了它。CPT-1的内部是元字段.一旦建立，我做了大量的数据插入使用终极CSV导入程序，它把这些信息到CPT-1，我可以把每一列数据到我想要使用的元字段。这些字段随后将在表中使用。是否有办法绕过CSV导入程序的一部分，并从数据库中提取？从长远来看，我想在使用CPT-1的时候对某些帖
浏览 7提问于2021-09-05得票数 0
回答已采纳
我正在使用pg8000从csv文件更新我在Azure上的postgres数据库中的数据，但执行速度非常慢。这是我的代码
command = "INSERT INTO public.tempcumulativesales (combined, cumulative_sales) VALUES (%s, %s)/UpdateDatabaseFiles/rows1.csv', &#x
浏览 0提问于2021-06-25得票数 0
我有一个mysql数据库，它有一个大约有6000万个条目的表，主键是'x‘。我有一个数据集(csv文件)，它也有大约6000万个条目。此数据集还具有索引'x‘。对于mysql表和dataset共有的键'x‘的值，mysql表中的相应条目只会随着计数器变量的递增而更新。数据集中的新数据将被插入。一个简单的串行执行，我们尝试更新条目(如果
浏览 1提问于2017-05-01得票数 0
我正在尝试使用标准的java准备语句来提高postgresql11db中插入行的性能。在虚拟机环境中，它站在debian 11之上。我使用的是pentaho数据集成和一个简单的表格输出步骤。我想让我的转换数据库成为事务性的，所以使用批量更新不是一个好的选择。我创建了不带索引和约束的表，并将其设为unlogged。它们有几列。我目
浏览 28提问于2021-05-28得票数 0
我有一个wordpress网站，每天有大约200.000页的浏览量。我在一个6GB内存的VPS上运行这个程序。我现在已经安装了w3total缓存，但是页面的加载速度仍然很慢。我现在想知道的是，我应该为我的站点磁盘、Opcache或memcache使用什么缓存，以及应该在alla上使用哪个缓存，或者如何设置它？目前，我只使用基本磁盘缓存。我的问题基本上是，我应该改变什么，如果是什么？还是应该坚持使用基本的磁盘缓存呢？
我还没有尝试改变任何事情，所以我不会
浏览 1提问于2014-09-19得票数 5
回答已采纳
1回答
我们计划将我们的软件迁移到kubernetes中运行，并自动运行，这是我们目前的基础设施：
MySql在中运行数据文件(csv，pdf)和代码存储在一个SSD持久磁盘中。我发现许多帖子建议将数据文件存储在中，并使用API获取文件并上传到桶<em
浏览 2提问于2018-06-05得票数 0
回答已采纳
通过.net c#将3000多个.CSV fil数据从一个位置读取到SQL表的最快方法是什么如果有人知道这件事，请帮助我。
浏览 3提问于2016-04-13得票数 1
1回答
我们在Azure中运行一个弹性池，运行多个数据库，当运行一个较大的导入时，这似乎比我们习惯的时间要长。在这些导入过程中，我们运行了6个核作为测试。所有数据库都允许使用所有核心。在我们的本地环境中，它每秒插入大约100 k记录，但是Azure上相同的数据集每秒执行大约1k /秒(我们的vm)到4k /秒(开发笔记本电脑)。在此<
浏览 5提问于2021-10-26得票数 0
我无法像在我的AWS RDS postgresql DB中那样将它们中的每一个插入，这将是120,000^2 = 14,400,000,000条记录。每个csv大约是2MB。我的方法是：
Python脚本，该脚本在pandas库的帮助下，将12万条记录转换为每个csv的一个记录(字典列表)(现在在压缩数据后为5MB)。然后，python脚本通过pandas.to_sql将每个<em
浏览 0提问于2020-04-04得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
