处理海量数据

文章/答案/技术大牛

发布

1回答

performance、haskell

让我们假设我有一个大文件(500GB+)，并且我有一个数据记录声明Sample，它表示该文件中的一行：field1 :: Int,那么，什么数据结构适合于在这些Sample数据的集合上处理(filter/map/折叠)？

浏览 1提问于2014-06-20得票数 2

回答已采纳

1回答

作为我工作的一部分，我应该查询源数据库，调用一些过程，获取引用游标中的数据，并填充目标数据库。由于数据量可能很大，因此我在目标数据库上使用多线程来调用该过程。这种布置工作得很好，除非源db处的数据量很大(例如超过200万个条目)。我已经设置了大约20 GB的堆空间来处理记录，但是我的程序由于堆内存错误而失败。我想知道是否有一种方法可以以并行模式从源数据库中查询数据(例如，假设从源存储过程中总共获取了200万条记录，那么我的程序应该首

浏览 2提问于2013-03-12得票数 0

回答已采纳

2回答

用于大规模数据处理的标准C++库

c++、nlp

您能告诉我一些用于处理大规模数据的C++标准库吗?例如，处理海量数据的自然语言处理，蛋白质相互作用的数据集等。最佳，Thetna

浏览 0提问于2011-10-30得票数 7

回答已采纳

1回答

处理海量报表数据

java、architecture、reporting、scalability

我有一个报告系统，我需要组合来自3个不同服务器(系统)的数据，将其显示给用户。这在有几千条记录的情况下工作得很好，但随着它的增加，系统超时。虽然我认为第一个选项是最好的

浏览 3提问于2012-08-30得票数 0

回答已采纳

10回答

使用Java处理海量数据

java、database

作为需求的一部分，我们需要处理近300万条记录，并将它们与一个存储桶相关联。这种关联是由一组规则(由5-15个属性组成，具有单个或范围的值和优先级)决定的，这些规则派生出记录的存储桶。对如此大的数字进行顺序处理显然超出了范围。有人可以指导我们有效地设计解决方案的方法吗？

浏览 0提问于2009-06-12得票数 3

回答已采纳

2回答

通过jquery处理海量数据

jquery、asp.net、firebug

但我不确定在出现大量帖子的情况下，它是否能正常工作，因为上一次我在使用jquery发布大量数据时遇到了问题。有没有办法解决这个“请求大小限制”，或者“使用jquery传递如此庞大的数据是个坏主意”。请给我建议。谢谢

浏览 7提问于2012-05-07得票数 1

回答已采纳

1回答

数据摄取-使用并发进行大规模并行处理

concurrency、apache-nifi、esb、nodejs-stream

我正在寻找一个具有并发的大规模并行处理系统，它可以为每500毫秒100多万台IoT设备提供无缝的数据摄取解决方案。

浏览 2提问于2018-07-30得票数 0

1回答

使用arraylist处理海量数据

java、performance

如何处理如此庞大的数据列表？我们对此有什么解决方案吗？

浏览 0提问于2013-03-04得票数 0

2回答

MySQL海量数据操作处理

php、mysql、triggers、views

我在处理数据库中的大数据时遇到了以下问题：基本上，每一秒来自数字传感器的所有测量数据都存储在数据库中。报告应该从所有数据中仅显示发生的更改，例如在时间X时，寄存器#1的值从0更改为1。我已经创建了一个过程，它可以只返回我需要的数据(更改)，这节省了我在php中的大量处理，但最大的问题是，对于4天的当前数据，查询需要6*N秒才能完成，其中N是所选寄存器的数量。另一个想法是在每次插入数据计量时触发一个触发器，但问题是这

浏览 1提问于2012-09-14得票数 1

回答已采纳

2回答