mysql 导入海量数据库 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

我应该在MySQL中还是在应用程序中计算百分比？

mysql、ruby-on-rails、database

我正在编写一个Rails应用程序，对导入的按点击付费的广告数据进行大量计算。导入的日志都存储在一个海量日志表中，其中包含印象、点击、转换等记录，然后需要与转换表连接，以计算每次转换的成本，每个活动的转化率。在MySQL中执行似乎足够快(400ms)，但是有理由在应用程序而不是数据库层执行此操作吗？谢谢!

浏览 0提问于2010-09-08得票数 4

回答已采纳

1回答

FullText mysql搜索和neo4j搜索

mysql、full-text-search、neo4j

我在我的项目中使用了两种数据库，mysql和neo4j。mysql中的内容，neo4j中的关系。2、mysql全文搜索的性能如何？与neo4j相比？

浏览 3提问于2013-11-16得票数 0

4回答

我有一个MySQL数据库，我想从多个csv文件导入数据。对于数据，我提供了一个表，我希望在该表上将多个文件合并为一个文件(join)。因此，问题是:处理海量数据的最佳方法是什么？我为每个csv文件创建了一个临时表，并将数据加载到其中。然后，我连接了所有的表，并希望将查询结果插入到大表中，但在那里，我已经遇到了等待时间过长的问题。我想限制以下语言的解决方案: MySQL，PHP。到目前为止，我使用datagrip的GUI和sql-console导入这些文件。

浏览 4提问于2019-09-16得票数 1

2回答

如何在MySQL中导入对唯一数据的更新

mysql、csv

我有一个相当大的MySQL数据库，它是从公共数据存储库导入的CSV值。最近我注意到他们偶尔更新。正确的)数据，通常来自过去几个月内发表的记录。而且，当我更新我的数据时，我只提取了最后几个月的数据(不再是整个数据库)。那么，是否有一个类似于忽略的命令，我可以使用它

浏览 0提问于2017-04-24得票数 0

回答已采纳

2回答

如何在Laravel中上传Excel数据？

excel、laravel

我在将数千个数据导入phpMyAdmin时遇到了问题。我做了导入，它只会导致null。而且我不能一个接一个地手动输入。我需要一些对那个问题有帮助的东西。如果你愿意帮我，谢谢。

浏览 1提问于2018-10-12得票数 0

1回答

使用算法为SQL中的大型数据集创建列名称

mysql、sql、bigdata

我希望将一个海量数据集导入到mysql服务器中。问题是，前6列的名称很好，之后我有超过1000列的吸收值，我宁愿不坐在那里输入‘吸收-x’几个小时。

浏览 16提问于2019-10-22得票数 0

2回答

海量数据导入、Wordpress php和mysql

php、mysql、wordpress

我在2个不同的服务器上有2个数据库。源数据库是一个海量房地产数据库，第二个是Wordpress数据库。我必须将数据从源导入到Wordpress数据库的post和postmeta表中。目前，我正在从源数据库中取出所有内容，然后循环遍历这些结果，使用另一个嵌套查询将它们插入到posts表中，以使用post insert中的插入id将每个字段作为元值插入。// SOURCE DB $query = "select $fields

浏览 1提问于2012-12-11得票数 1

回答已采纳

2回答

如何处理巨大的表单

php、mysql、forms

我有一个问题，你是如何用php和mysql处理来自表单的海量数据的？我有接下来的:大约50个字段(输入文本，checkboxex，select，textarea) 之后，我需要将此数据保存到MySQL数据库中，并需要选择和过滤此数据。你有实践吗?

浏览 0提问于2012-07-30得票数 6

回答已采纳

3回答

海量MySQL数据库

mysql、database-design、query-optimization

我正在制作一个网站，它需要一个绝对庞大的mysql数据库，在一个表中可能有数百万甚至数十亿行。如何针对查询进行优化？我希望一次只能提取一行，但要尽可能快。

浏览 0提问于2011-03-27得票数 0

回答已采纳

2回答

数据库中存在大量MySQL表的副作用

mysql、database

在MySQL数据库中保存10000+表可以吗？我正在编写一个消息/聊天脚本，所以我正在考虑将数据分区到多个表上，因为几天后它将是一个巨大的数据量。可以吗？或者它有一些效果？因为一个表可以容纳数百万行，所以我在想也许一个数据库也可以容纳大量的表我是MySQL的新手，请帮帮忙

浏览 1提问于2013-08-23得票数 1

1回答

NNTP usenet下载消息

.net、mysql、nntp、usenet

我想下载usenet消息到我的个人Mysql数据库，所以不使用任何新闻阅读器。目前，我正在为.NET使用IpWorks组件。有谁知道更好的方法来“海量”下载消息，并将其插入到一个简单的mysql表中？

浏览 6提问于2010-05-11得票数 3

回答已采纳

2回答

海量数据库和mysql

mysql、database-design、optimization、nosql

Inactive: 456904 kBSwapFree: 0 kBmysql-------+------+-----+---------+-------+正如您从下表中看到的，我们有许多关联以每天100,000+的速度增长+----------++----------+ 1 row in set (0.00

浏览 1提问于2011-01-20得票数 3

1回答

管理用于android应用程序的大型数据插入sqlite数据库

android、mysql、sqlite

我想把这些信息存储在sqlite数据库中。但我想不出用表格的形式存储这些海量信息的最佳方法是什么。我的意思是，我需要把所有的数据编码到我的src文件中？或者，该数据库中是否有任何图形用户界面(如MySql数据库)可以将数据写入表而不对其进行编码？我不确定你是否理解我的问题。如果你不这样做，请问一下我说的是什么意思。(提前感谢您的帮助:)

浏览 3提问于2014-05-11得票数 1

回答已采纳

2回答

将海量数据集导入到Rails应用程序的最聪明的方法？

ruby-on-rails、database、import、dataset、migration

我有多个海量(几十亿字节)的数据集需要导入到Rails应用程序中。这些数据集目前都在我的开发机器上各自的数据库中，我需要读取它们，并根据它们包含的信息在我的Rails数据库的表中创建行。我的Rails数据库中的表将与源数据库中的表不完全相同。我在考虑迁移，但我不确定如何将迁移连接到数据库，即使这是可能的，也会慢得离谱吗？

浏览 4提问于2010-03-13得票数 1

3回答

从文本文件导入到SQL Server数据库，我应该选择什么解决方案？

c#、sql-server、ssis

我必须将日志文件导入到SQL Server数据库。文件很大，大约有6MB，有40000行。导入的任务每天都要用日志来完成。日志文件的每一行都包含许多字段，我必须将这些字段导入到Database中的正确列中，以便进行后处理。使用海量复制-Write C#应用程序非常感谢。但每天收到日志文件后，我的程序必须自动将其导入数据库。我该怎么做呢？

浏览 0提问于2009-07-16得票数 1

回答已采纳

1回答

持久性数据库(缓存) java

java、database、performance、caching、nosql

我得到了数据库仓库，在那里我存储了去年的所有重要数据(海量数据)。我写入数据库的数据量取决于白天时间。问题是，在高峰时段，由于将数据插入数据库，我的应用程序变得非常慢。我的想法是在将数据插入到数据库仓库之前，创建一个持久化数据库(或缓存)来保存数据。你能为这个想法提出技术建议吗？我应该使用nosql还是缓存？(app是用java编写的，db是mysql)

浏览 3提问于2016-02-23得票数 0

回答已采纳

1回答

facebook如何存储和访问文本数据

mysql、facebook

我试着自学数据库设计技术。由于facebook是大型数据处理系统的一个例子，我想知道如何处理这些海量数据。我知道他们使用MySQL作为核心数据库引擎，并使用‘Memcached’缓存数据和减少数据库访问。此外，如果任何人都能为像图像或视频这样的媒体提供有关其存储技术的信息，这将是一个额外的好处。

浏览 10提问于2014-06-04得票数 0

回答已采纳

1回答