CSV与MySQL性能

文章/答案/技术大牛

发布

8回答

php、mysql、performance、csv

让我们假设使用MySQL5和CSV文件的PHP5环境是相同的。MySQL与托管脚本位于同一主机上。 MySQL总是比检索/搜索/更改/添加/删除记录更快吗？或者，是否存在PHP+CSV性能比使用数据库服务器更好的数据量？

浏览 2提问于2009-02-18得票数 9

1回答

将包含CSV的MYSQL变量插入到表中

php、mysql

我有一个变量，其中包含CSV，我希望以一种有效的方式将其插入到表中，因为这是一个每天要执行多次的操作。CSV_To_Be_Inserted = "Y101, E103, I710, U809" (this list will be closer to 100 values each time)有没有办法在4秒或5秒内完成这个任务？

浏览 1提问于2017-04-09得票数 0

2回答

MaxMind GeoLite mysql与二进制dat性能

performance、geoip、maxmind

我想知道选择二进制dat和使用mysql php api与将GeoLite csv导入mysql数据库和使用数据库有什么巨大的性能差异。 dat格式为20MB，每次都需要从磁盘读取。

浏览 5提问于2014-10-22得票数 4

2回答

Ruby on Rails导出到csv -维护mysql select语句顺序

mysql、ruby-on-rails、csv、fastercsv

使用FasterCSV将一些数据从mysql导出到csv文件。我希望输出的CSV中的列与查询中的select语句的顺序相同。:select=>'name, age, height, weight'FasterCSV.generate do |csv| rows.each do |r| csv << r

浏览 0提问于2010-03-25得票数 0

回答已采纳

1回答

我们有一个MySQL 5.1.59服务器，它有30-40个现有的MyISAM数据库。我需要部署一个需要InnoDB数据库的应用程序。我是否可以在InnoDB中启用/配置/etc/my.cnf并重新启动MySQL，或者这样做的效果是否超出了人们的预期？我应该补充一点，这是一个从源代码构建的MySQL环境(运行在CentOS 5.5 x64上)，我们计划使用InnoDB插件而不是内置InnoDB功能。该计划遵循本页所述的步骤： http://dev.mysql.com/

浏览 0提问于2012-08-08得票数 2

回答已采纳

1回答

如何将Amamon RDS mysql.slow_log表的引擎更改为innodb

mysql、amazon-rds

mysql.slow_log表的默认引擎是CSV，CSV引擎没有索引，当数据量很大时，这个引擎的性能会很慢；如何将Amamon RDS mysql.slow_log表的引擎更改为innodb

浏览 1提问于2016-11-14得票数 2

2回答

如何合并powershell中具有相同标题的两个csv文件并丢弃重复行

powershell

我收集性能计数器从NetApp性能管理软件(OPM)。OPM在MySQL数据库中节省了30天的数据。因此，我必须输入两个查询来检索数据：如果一个月有31天，则合并这两个csv文件以获取数据。文件与下面的代码合并时。@(Import-Csv au2004npsa003-mm-business.csv) + @(Import-Csv</e

浏览 3提问于2016-07-13得票数 4

回答已采纳

1回答

解析.CSV文件并将数据填充到XML中

c#、xml、csv

我试图显示一个实时图形使用的数据是从一个设备连接到外部来源，数据来自该设备将是一个.csv文件，现在我想使用这些数据和填充在一个XML文件的内容，并显示与XML数据源的图形。使用XML做这件事好吗?或者我应该在考虑性能的情况下使用MySQL数据库？在逐行解析.CSV文件之后，如何在C#中填充数据？提前谢谢。

浏览 3提问于2012-02-17得票数 0

回答已采纳

1回答

如何从mysql连接kognitio数据库

mysql、database、connection、kognitio-wx2、kognitio

我需要从WX2数据库中选择一些数据，并将其放入MYSQL DB中。有人能在这方面帮我吗？mysql数据库要连接到WX2数据库，ODBC.ini配置是否有效？谢谢

浏览 4提问于2014-09-18得票数 0

4回答

如何以最快的方式导入数据进行分析

php、mysql、sql、csv、import

我只是有一个问题，哪种方式能给我更多的性能，更容易完成。我们有一个包含超过120000个数据行的数据库，它存储在一个数据库中。这些数据当前以CSV文件格式导出到ftp位置。现在，在此csv文件中，应该创建了一个用于过滤数据集的webform。关于性能和工作任务，你有什么建议吗？我应该解析csv文件并将信息输出到网页，还是应该将csv文件重新导入数据库(MySQL)并使用SQL查询来过滤数据(注意:原始数据库和导出位于与网页/webform不同

浏览 4提问于2011-08-16得票数 1

1回答

和MySQL？

php、mysql、performance、io、benchmarking

是否有任何用PHP编写的好的基准测试可以测试磁盘IO，最好涉及MySQL？如果有任何开源脚本，这将是伟大的。谢谢!

浏览 3提问于2013-08-10得票数 2

回答已采纳

1回答

MySQL与性能

mysql、sql、performance、sql-update

我经常在50,000+表上进行MySQPL更新。我试过这样做：UPDATE data SET p=p+(17) where c=3 and g=41UPDATE data SET p=p+(-4) where c=8 and g=12就像你想象的那样，这需要一段时间。我在45秒左右测量。因此，我尝试创建一个临时表，以便在较少的查询中完成相同的工作。看起来是这样的： CRATE TEMPORARY TABL

浏览 4提问于2014-03-03得票数 0

回答已采纳

1回答

Python Pandas MySQL* -为什么SQLite在将数据帧写入数据库时速度如此之快*

python、mysql、sqlite

我正在开发一个网站，在那里用户直接导入csv文件到数据库和前端，执行一些数据分析，一旦数据已经在数据库中归档。我使用pandas将csv转换为数据帧，然后将该数据帧导入MySQL数据库：导入到MySQL数据库： engine = create_engine('mysql+mysqlconnector://[username]:[password]@[host]:[port]/[schema]', echo=False) df = pd.read_

浏览 29提问于2021-04-08得票数 0

回答已采纳

1回答

如何将mysql中存储的300-40万数据拉取到mongoDB中

mysql、mongodb

我正在开发一个从远程<code>D1</code>数据库表中提取数据的<code>D0</code>应用程序接口。此表每天包含300k - 400k的数据。我们现在需要将这些数据迁移到<code>D2</code>。我尝试使用<code>D3</code>技术将收集到的<code>D4</code>文件存储到<code>D5</code>中。我可以在本地机器上执行此操作。但是当我在实时服务器上尝试这个场景时，<code>D6</cod

浏览 22提问于2018-12-18得票数 0

1回答

自动将CSV文件转换为MySQL

looking-for-a-script、web-applications、recommendations

我正在寻找自动.csv文件转换器到基于web的.csv文件报告作为web的基础。但我找不到。相反，我找到了一个采用MySQL数据库并显示报表的系统。现在我需要的是一个自动将.csv文件转换为MySQL的工具，而另一个工具将接受MySQL文件并显示为report。谢谢,

浏览 0提问于2011-08-16得票数 3

回答已采纳

2回答

如何允许mysql(mariadb)从/tmp - Fedora 30读取文件

mysql、mariadb、fedora

我编写了一个程序，从套接字接收数据，将数据格式化为CSV格式，然后将数据转储到文件；'/tmp/test_csv.csv‘。接下来，我在mysql中执行以下操作：INTO TABLE flow_data FIELDS TERMINATED BY ',我需要将csv文件转储到/tmp (或任何其他RAMdis

浏览 0提问于2019-06-18得票数 2

回答已采纳

1回答

MySQL服务器上的CSV引擎

mysql、database、csv、mysql5.5

我不认为这是一个程序问题，所以我要在这里问-CSV引擎可以将逗号分隔的值(CSV)文件视为表，但它不支持它们上的索引。如果从电子表格导出CSV文件并将其保存在MySQL服务器的数据目录中，则服务器可以立即读取该文件。类似地，如果您将数据写入CSV表，外部程序可以立即读取它。CSV表作为数据交换格式和某些类型的日志记录尤其有用。从这一段中我得到的是，我可以将一个.

浏览 0提问于2011-11-22得票数 3

回答已采纳

2回答

如何高效地将MySQL表读入Apache Spark/PySpark？

mysql、hadoop、apache-spark、apache-spark-sql

我有一堆MySQL表需要执行一些分析。我目前已经将这些表导出为CSV文件，并将它们放到HDFS上。现在，我从PySpark上的HDFS中将每个表读取到不同的RDDs中进行分析。pyspark.sql import SQLContextdf = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true'

浏览 1提问于2015-12-07得票数 2

1回答

代码点火器中现有项目中如何将mysql数据库转换为mongodb

php、mysql、mongodb、codeigniter

我已经用mysql数据库完成了一个代码点火器项目，但现在我想将mysql移动到非sql数据库mongodb。我在代码点火器中找到了一些mongodb的驱动程序，但是它们的查询结构不同。

浏览 1提问于2015-12-01得票数 1

点击加载更多