| 3
现在在现实中，我将有大约1000个不同campaignid的百万条记录，一次只能处理3000条记录，所以我想选择3000条记录并处理它们，然后再获得3000条记录并处理它们，以此类推当我从数据库中选择3000条记录时，我希望根据campaignids在总记录中所占的百分比来获取这些行。对于上述实例中的ex，抗菌素3存在50%，2存在33.33%，1存在17.77%。现在，如果这也是一百万条记录的组合，
浏览 0提问于2011-06-29得票数 1
10回答
数据库中有多少行是太多？
、、、
我有一个包含1,000,000条记录的MySQL InnoDB表。这是不是太过分了？或者数据库可以处理这些或者更多？我之所以这样问，是因为我注意到一些查询(例如，从表中获取最后一行)在具有1百万行的表中比在具有100行的表中慢(秒)。
浏览 1提问于2009-12-18得票数 94
有谁能说出他使用MySQL和.NET处理数百万条记录的经验吗？
我自己是否需要能够处理5000万到1亿条记录，并希望在您的确切背景下听到您是如何处理这一点的，以便我可以从中获得启发。
浏览 1提问于2010-04-30得票数 2
2回答
有没有人有使用PostgreSQL进行OLAP设置、对数据库使用多维数据集等的经验?在使用MySQL进行OLAP时遇到了许多特殊情况，有没有理由支持使用PostgreSQL (假设我想走开源路线)？
浏览 3提问于2009-11-22得票数 35
回答已采纳
我正在创建使用PHP MYSQL的出勤率项目，学校里有5000名学生。日5000条记录被插入数据库，因此每年(500x365) = 1825000条1年的记录。每天mysql数据库记录的大小都在增加，所以如何管理更多的数据。每天喜欢缺席，现在，离开等。状态正在插入。
因此，请帮助我如何使用PHP MYSQL来实现这一最佳方法，并轻松地管理数百万条记录。
浏览 3提问于2016-10-10得票数 2
回答已采纳
2回答
我在向MySql中插入数据时遇到问题。我使用的数据集很大，它是关于网络攻击的数据。例如，我正在处理的当前数据大约有25,000条记录，而每次我创建新的模式并插入数据时，只有1000条记录被下载。请帮帮我，因为我一直在读，上面说大数据集对MySql来说不是问题。
浏览 1提问于2012-02-04得票数 0
我在MYSQL Table1数据库中有一个表，其中包含200万条记录，我会预约并只返回前10条记录；如何防止SQL查询(MYSQL)读取整个表？
浏览 0提问于2014-02-20得票数 2
2回答
我有几个包含数百万行的安全日志文件。在我目前的测试中，我输入了一个月的数据，总数为14,000,000条记录。当我执行一个按log_time排序的select查询(偏移量约为百万)时，查询将得到大量的处理时间。My查询：解释
mysql> explain SELECT * FROM-----+------------+------+-----------
浏览 0提问于2015-03-02得票数 0
1回答
如何根据数据大小重新划分rdd
、、、、
我正在从事火花流项目，从卡夫卡的数据，应用一些规则，并保存在蜂巢中的数据。我的问题是数据摄取率不固定。60秒可能是100万条消息，也可能是1。我想在数据流上添加重新分区。由于数据流只有3个分区，无法在分钟内处理百万条记录。重新分区在少于20条记录时出现问题。它在配置单元中创建多个小文件。因此它可以处理一条消息或一百万条消息。
浏览 0提问于2018-06-02得票数 1
1回答
我有一个拥有100多万条记录的MySQL数据库。我不是数据库的所有者，并且没有对它的写/修改权限。我有一个名为MyDB的小目标数据库，它从巨大的视图中获取一些字段。现在，这些是我在MysqlWorkbench上处理巨大的百万记录表时所面临的问题。+marks-Integer
浏览 5提问于2015-02-23得票数 0
回答已采纳
1回答
基本上，我有一个庞大的自动完成数据集，而不是我维护数据，我希望一些在线供应商维护这些数据和服务器的用户要求。
有提供这种服务的供应商吗？
浏览 1提问于2013-06-21得票数 2
1回答
我在hive和mysql中实现了相同的数据仓库星型模式。我认为Hive在查询响应时间方面更好。问题是我没有一百万条记录，也没有hadoop的硬件集群。
我该怎么做呢？
浏览 0提问于2014-03-12得票数 0
1回答
使用Java EE处理大量数据
、、、、
我们有一个支持Oracle、MySQL和SQL Server供应商的Java应用程序。我们使用视图模型来查看从数据库中获取的数据，也在DAO模型中使用分页，到目前为止运行良好，但现在我们正在处理数百万条记录，比如1000万条记录，这给我们带来了一个很大的问题，因为我们的应用程序性能问题变得非常糟糕问题是:有没有什么技术可以处理这样大量的数据并具有良好的性能(响应时间和内存问题)？
浏览 0提问于2013-05-09得票数 0
2回答
我必须将数百万行数据更新到MySQL中。我目前正在使用for循环来执行查询。为了使更新更快，我想使用Python MySQL连接器的，这样我就可以对每个批处理使用单个查询进行批处理更新。
浏览 3提问于2016-05-03得票数 5
回答已采纳
假设我逐行读取一个文件(包含8亿行)，然后处理数据(非常简单的处理，基本上是格式化字符串)，然后将处理后的行写入另一个文件。如果我想为从文件中读取的每一百万行打印一条语句，一种基本的方法是添加一个检查迭代变量的If语句，对于每隔%m == 0，我就打印一条语句。现在，这段代码在每次迭代中检查索引是否达到下一个百万，这是每次迭代中的额外处理，对吗？
有没有其他有效的方法来做到这一点，以便只有当迭代索引变量达到百万的倍数
浏览 0提问于2013-03-21得票数 0
回答已采纳
1回答
我想看看我对JOINs的理解是否正确。SELECT * FROM tableA join tableC on tableA.someId = tableC.someId;List tempResults for each B_record in tableB
浏览 0提问于2016-12-27得票数 6
我们希望在一次批处理中处理三百万条记录。最后，批处理将创建一个包含三百万条记录的文件。
因此，我们想创建一个分区程序，它将查询数据库中的100k条记录并对其进行处理。
浏览 1提问于2020-11-03得票数 0
1回答
我希望在数据库中实现一个新特性，它需要将记录链接到另一个表。该表已经包含了大约76000条记录，只有新添加的记录才需要链接id。我在看两种方法：
向现有表中添加新的索引列。该列的值对于现有记录为null，对于新记录将包含一个整数值。
浏览 2提问于2017-07-10得票数 0
回答已采纳
2回答
一秒内插入了多少条记录
、、、
在JDBC的帮助下，连接MySQL。我有一个类似的场景，有一百万条记录的数据从一个表中获取并插入到另一个表中。因此，在这种情况下，我想检查每秒插入多少条记录。
浏览 0提问于2013-08-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
