千万级mysql数据库脚本 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

数千万条记录的最佳键值数据库

couchdb

我目前正在使用CouchDb来存储数千万个变量字段、变量类型的文档。不幸的是，为这些文档创建永久视图花费了大量的时间，并且变得相当不方便。有没有其他的键/值数据库，我可以轻松地测试即席查询，并在查询数千万条记录时具有毫秒级的性能？

浏览 1提问于2010-10-06得票数 1

1回答

我工作的一个实验室正在试图克隆由PubChem发现这里管理的开放的生化数据库。(请不要问为什么，我不负责这个项目，我只是负责数据库的克隆)，但他们的数据库包含数千万条记录，我目前运行的脚本是使用MySQL的"READ“指令将我们拥有的72万个csv文件写入我们的MySQL数据库.按照目前的速度，保存的数据量将使这个脚本需要大约240天的时间才能完成，而且我们没有那么多时间。我的问题是是否有一种普遍接受的方法可以快速将大量c

浏览 0提问于2013-12-25得票数 2

回答已采纳

1回答

适用于具有大量读写操作的海量数据的最佳数据存储

database、hbase、datastore、document-database、bigdata

我需要在数据库中存储大约1亿条记录。每天大约60-70%的记录将被删除，每天插入相同数量的记录。我觉得像Hbase，Big Table这样的文档数据库会适合这个。还有许多其他的数据存储，如Cassandra，MongoDb等，哪个数据存储对于这类问题是有用的，因为每天都会有大量的读/写操作(数千万级)。

浏览 1提问于2011-12-23得票数 6

回答已采纳

1回答

从php中检索数据库权限？

php、mysql、rights

我正在考虑一些数据库管理系统，我的问题很简单：有没有一种简单可靠的方法来通过PHP代码来获取访问权限(write，readonly等)？

浏览 0提问于2012-02-13得票数 1

回答已采纳

1回答

关于一千万条记录表中A条子句的近似MySQL查询时间

mysql、performance、users、query-performance

我期待着设计一个数据库(在MySQL中)，但在开始之前，我需要进行一些计算，以确保我的应用程序将保持效率，即使有10个Million+行(或者在一个表中，或者与其他表结合)。我对数据库管理和查询构建知之甚少。我在谷歌上搜索，并在Stackoverflow网站上读到了一些关于“为每个用户创建一个新表或使用一个带有user_id列的表来分隔每个用户的数据”的问题。看来，我要问的问题更像是“需要的方向”，然后是“MySQL查询时间的近似”。如果我只使用一个数据库表设计，那么该表将具有如下结构：- +------

浏览 0提问于2014-02-27得票数 0

回答已采纳

1回答

如何列出mysql中超过2GB的数据？

mysql

我有近2.54GB的数据库数据，其中有数千万的清单。现在，我已经尽可能地优化了mysql查询。但我还有10到12秒的时间来获取数据。所以谁能帮我现在该怎么办？

浏览 0提问于2016-01-25得票数 1

回答已采纳

3回答

哪个数据库最适合具有高插入、查询和删除容量的数百万个非常小的行，尤其是在磁盘使用方面？

mysql、database-design、diskspace

这个数据库每天可以轻松地插入、查询、更新和删除数百万(如果不是数千万)行。最好的数据库工具是什么？它是MySQL，还是有更高效的东西，可以使用更少的磁盘空间？

浏览 2提问于2011-09-24得票数 1

回答已采纳

1回答

如何计算出需要多少RAM？

redis

我将使用Redis作为缓存来减少对数据库的请求。我将在一些integer number中节省1000万redis sets。MYSQL中的： an int是4字节，所以1千万*4=4千万字节. 一个30个字符的字符串可以占用30字节，30字节*2百万=6千万字节。

浏览 2提问于2013-12-22得票数 7

回答已采纳

2回答

将大型数据库表导出到csv文件时，流到ruby中的文件中。

ruby、csv、file-io、mysql2

我使用一个小小的ruby脚本和mysql2宝石从mysql数据库导出以下内容require 'mysql2' db = Mysql2::Client.new如果我有一个有数千万行的大表，我想要不断地流到文件中。我该怎么做？

浏览 0提问于2013-07-16得票数 2

回答已采纳

3回答

MySQL表3000万条记录插入到另一个表中

mysql、sql

我有一个三千万条记录的mysql表。我正在使用EMS连接到数据库。

浏览 1提问于2011-11-05得票数 2

1回答

Acumatica自定义MySql

acumatica

我们在MySQL数据库的系统下开发定制包。所有数据库更改都从自定义页面添加到自定义中。主键约束在从MySQL生成时具有名称主。我们如何解决这个问题，

浏览 10提问于2017-12-04得票数 0

回答已采纳

1回答

MSSQL中是否有表的最大大小限制

sql、sql-server、database

我有150,000,000条记录，300列(nchar)，我正在运行一个脚本来将数据导入到数据库数据库中，但当它达到1,000万列时，它总是停止。编辑:我已经多次运行脚本，它已经能够创建多个表，但它们都在相同的1000万条记录的最大值

浏览 0提问于2015-07-29得票数 0

1回答

删除mysql中的重复数据(大数据场景下)

mysql

我在MySQL中遇到了大数据的大问题。我们有两个大表，具有相同的结构，用于存储英汉平行语料库。这两个表都包含千万级的记录。在一个表内和这两个表之间存在大量重复数据(例如，相同的英文和中文内容)。主要的问题是，当我们尝试在MySQL中合并这两个表时，会出现内存溢出。

浏览 2提问于2015-10-12得票数 0

1回答

为什么在UTF8中为MySQL文本数据设置排序规则？

mysql

我使用人工生成的文本，从不同的在线数据集中下载，比如GitHub Torrent、Twitter API、网页刮过的HTML页面、Google BigQuery for GitHub等，这意味着我在数据库中有数千万到数亿的文本在哪些场景中，我应该为、UTF8字段、和UTF8表在MySQL数据库中设置一个排序规则？是否有必要，我不能简单地使用“字符集UTF8"吗？utf8 -默认排序规则、utf8_unicode_ci、utf8_general_ci和utf8_general_mysql500_c

浏览 4提问于2015-02-25得票数 1

回答已采纳

1回答

在MySQL中设置默认数据库的权限

mysql、permissions

如果用户没有全局权限(mysql.user)或任何数据库级权限(mysql.db)，则用户无法设置默认数据库：ERROR 1044 (42000): Access denied for user 'XXX'@'%' to database 'mysql' 但是，使用默认数据库可能很方便，例如，有许多旧的脚本依赖

浏览 0提问于2016-03-21得票数 1

回答已采纳

2回答

升级到mysql 5.7后无法执行插入查询

mysql、debian

我有Debian 8 (Jessie)服务器，我按照这个过程从MySQL5.5升级到MySQL5.7 https://dev.mysql.com/doc/refman/5.7/en/linux-installation-debian.html现在，服务器中任何具有INSERT查询的脚本都无法工作.正在执行脚本，但INSERT查询总是返回false，没有错误描述.这是我安装的此外，当我单击phpmyadmin中的<

浏览 0提问于2016-04-12得票数 1

2回答

使用sqldf()选择与一百万个项目匹配的行

r、bigdata、sqldf

这是此处提供的有关使用sqldf()的答案的后续内容在以下代码中，标记ID的格式为tag.querysql.query <- paste('select * from f where v2 in (', tag.query, ')', sep='') selected.df <- sqldf(sql.query, dbname = tempfile(), fi

浏览 1提问于2012-03-20得票数 4

1回答

备份/还原用户/密码/特权

mysql、migration、installation

我正在从一台服务器移动到另一台服务器，我希望从我的MySQL服务器备份所有数据库+用户/特权/密码。我发现可以使用mysqldump备份数据库，但我不知道如何备份所有用户和给定的权限。

浏览 0提问于2015-05-04得票数 25

回答已采纳

2回答

MySQL 5.6 -即使在使用ALGORITHM=inplace时也是表锁

mysql、table-locking

我在一个包含6千万行的大型表上的ALTER 5.6数据库上运行以下MySQL命令：这是一种预期的行为吗？我要怎么找出这里出了什么问题？

浏览 14提问于2019-02-13得票数 17

回答已采纳

1回答

小行的长数据集--很少写，非常频繁的读--什么是最好的平台？

sql-server、mysql、database-administration、database-performance、nosql

我正在构建的平台的一部分需要一个大型数据表(从数以千万计的记录开始，在一两年内扩展到数亿，可能在某个时候达到数十亿)。数据表的结构是: int、int、float、datetime、datetime。此数据表将接受来自单个源(导入脚本)的多达一千万行的批处理数据。我完全控制导入脚本。各种应用程序将通过web以及可能是自定义TCP服务器来提取数据。我期望以每秒50,000次的速度请求单个行。我可能能够在应用层上做一些逻辑，一次拉出整个系列，但大部分排序仍将落在数据库层。因为MySQL比Se

浏览 0提问于2010-11-10得票数 1

点击加载更多