数据结构存储大量数据？ - 腾讯云开发者社区

文章/答案/技术大牛

发布

11回答

数据结构要存储大量数据吗？

c++、memory、data-structures、dynamic-memory-allocation

在我的应用程序中，我必须从图像集(MRC图像)加载容量数据，并将像素数据保存在内存中(图像是灰度的，因此每个像素只有一个字节)。目前，我使用一个简单的数据结构来存储容量数据，如下所示：然后做一个巨大的分配如下。z_value);unsigned char* getZXPlaneSlice(int y_value); 使用我的简单数据结构但是，

浏览 0提问于2010-11-09得票数 13

回答已采纳

3回答

我正在从restful服务器上提取大量json。我使用来自google的GSON库来遍历这个json，它工作得很好。如果没有在一个数据结构中准备好所有的对象，这是很困难的。由于我一次遍历json一个对象，我想我必须将其存储在数据结构中，比如数组或散列图，然后使用数据库事务来快速执行插入。然而..。将大量数据(包括20万json对象)存储到内存中的结构中可以占用大量的内存，而且可能也会耗尽。什么是最好的方式，让所有的json对象进入我的

浏览 1提问于2014-10-26得票数 1

回答已采纳

1回答

设计一个迷你搜索引擎和数据结构

search、data-structures、disk

我知道这个数据结构存在于内存中。我正在考虑扩展这个问题。如果我被提供了大量的条目，内存将无法容纳如此大量的数据，因此我将不得不将其永久存储在硬盘驱动器上。然而，据我所知，数据是以块的形式存储在硬盘中的，作为一个程序员，我无法控制数据是如何存储在磁盘上的。那么，如何强制将数据存储在磁盘上，就像它们在内存中存储的方式一样。简而言之，我知道数据结构对于以有效的方式处理<

浏览 2提问于2012-08-03得票数 1

4回答

Java :存储大量单词的数据结构

java、data-structures

我必须在Java程序中存储大量的word (+200k)，并且我想要非常快地访问它们。我只需要知道一个给定的单词是否属于我的“字典”。我不需要像<word, smthg>那样的鞋子。PS :也许使用数据结构不是更好的方法？每次阅读包含单词的文件会更有效率吗？最后编辑:我最终选择了HashSet。

浏览 4提问于2013-04-18得票数 6

回答已采纳

2回答

如何设计HBase模式

schema、hadoop、hbase

我们目前有一个正在运行的项目，它使用RDBMS数据库(具有大量的表和存储过程来操作数据)。当前的流程是这样的:数据访问层将调用存储过程，存储过程将插入/删除/更新或从RDBMS获取数据(请注意，这些存储过程不执行任何批量处理)。当前的数据结构包含大量的主键和外键关系，并且对现有的数据库表进行了大量的更新。我只想知道我们是否可以使用HBase来实

浏览 0提问于2011-06-13得票数 0

3回答

C++存储最后X个传入项的最佳数据结构？

c++、vector、stack

我最初使用向量来存储“传入项”，但是即使有大量的RAM，这也是不切实际的。因此，我决定存储最后收到的X个项目。if(queue.size() == max_size){} 数据结构的用途将是存储事件的历史，如果使用

浏览 2提问于2014-01-31得票数 0

4回答

如何在数据库中存储单词或嵌入包

python、database、nlp、dataset、word-embedding

我想要存储矢量特征，如包字或文字嵌入向量的大量文本，在一个数据集，存储在一个SQL数据库。保存和检索这些特性的数据结构和最佳实践是什么？

浏览 6提问于2020-09-29得票数 3

回答已采纳

1回答

如何同时在RAM中保存包含数百万本字典的python列表？

python、dictionary、large-data

我正在将巨大的csv文件存储为字典列表，如下所示：其中键1和2是行号，值是cs

浏览 0提问于2019-08-05得票数 0

回答已采纳

1回答

时间序列数据的不可变数据结构

database、database-design、data-structures、theory、immutability

我想知道最好的数据结构(在磁盘上存储数据)是存储不可变的时间序列数据(99%的数据是真正不可变的，1%是独立于不可变数据的元数据)。我一直在研究日志结构的合并树，特别是因为它被Cassandra等人大量使用。

浏览 0提问于2013-09-10得票数 3

1回答

在内存中使用位字段的缺点

c、linux、gcc

我在一个内存受限的x64系统中，我需要在内存中保存大量数据。使用这种数据结构的缺点是什么？int hash : 26;} __attribute__ ((__packed__)); 我知道不鼓励使用位字段，但是使用这种非对齐数据结构的最大缺点是什么呢该结构将用于内存存储，预计会出现一些性能下降。

浏览 6提问于2012-05-24得票数 4

回答已采纳

3回答

可以存储在HashMap中的键(对象)数量的理论限制？

java、performance、hashmap

理论上，可以存储在HashMap中的键条目的数量是否有限制，或者最大值是否完全取决于可用的堆内存？另外，哪种数据结构最适合存储大量的对象(比如几十万个对象)？

浏览 3提问于2010-11-08得票数 40

回答已采纳

2回答

枢轴表数据结构

java、c++、c、data-structures、pivot-table

什么类型的数据结构(或数据结构？)可以用来存储数据可以访问的二维枢轴表吗？例如，让我们从Excel复制以下内容：如果数据都是在一个一维层次结构中--也就是说，它属于Group >Product年> Value，那么我们可以按照以下方式做一些事情： "Electronics2019: 0, Grand Total: 1} obj["Electronics"]['Computer']['Year'][20

浏览 5提问于2020-12-12得票数 0

回答已采纳

1回答

从CvPoint2D32f的C++矢量创建CvMat

c++、c、opencv

我正在尝试使用OpenCV中的cvMat()创建一个CvMat数据结构。vector<vector<CvPoint2D32f>> data;data.at(0) 作为最后一个参数工作，但是编译器说它不能转换为void*。这将浪费大量的时间/内存。

浏览 1提问于2011-06-05得票数 2

回答已采纳

1回答

存储坐标以进行有效查找的最佳数据结构？

voronoi、space-partitioning

在最近的一次采访中，我被问及我将存储大量浮点数的数据结构，以便我为自己或其最近的邻居查找新的到达。我说我将使用二进制搜索树，并尝试使其达到O(log )的平衡。然后问题扩展到两个维度:我将使用什么数据结构来存储大量的(x，y)对，例如用于快速查找的地理坐标？我想不出一个令人满意的答案，当扩展到K维时，我完全放弃了。使用什么数据结构实现这一点的最佳方式是什么？查找将如何执行？我觉得这个问题在计算机科学中是如此普遍，以至于现在它甚至有一个专用的数据结构。

浏览 5提问于2014-02-26得票数 0

4回答

检查存储过程是否有语法错误

sql、sql-server-2008

我的数据库中有大量的存储过程。我们在不断地改变数据结构(我们正在开发中)，有没有工具可以告诉我哪些存储过程不能编译？创建存储过程时，如果存在无效表或列，它会阻止您执行此操作，但如果在创建存储过程后更改列名，则proc将无效。我想得到那些无效的proc的列表。约瑟夫

浏览 0提问于2009-11-25得票数 4

回答已采纳

1回答

选择合适的数据结构

visual-c++、com、data-structures、mfc

我需要知道(数据通常是大字符串、xml文件、图像等)谢谢

浏览 1提问于2010-08-06得票数 0

回答已采纳

1回答

在DynamoDB中建模Reddit样式注释

amazon-dynamodb

我正在研究如何使用DynamoDB为我的应用程序存储注释。注释将是嵌套的数据结构，就像您在reddit中找到的那样。这样用户就可以对任何评论进行评分和回复。- Reply1 我的问题是如何在DynamoDB中建模答复关系，这样我就可以查询主题、评论和所有后续回复，而无需在后端进行大量分组这种数据结构显然更适合图形数据库，但我很好奇是否有人试图在DynamoDB中建模类似于树的数据结构。

浏览 2提问于2015-09-24得票数 0

4回答

存储大量数值字段的最佳数据结构

c#、data-structures

我正在使用一个类，比如说Widget，它具有大量的真实世界的数值属性(例如，高度、长度、体重、成本等)。我有1,000个每种类型的小部件(1,000个齿轮，1，000个链轮等) 我需要对这些属性执行大量计算(例如，计算1000个不同小部件的属性的加权平均值)。我能想到的为数不多： 1)将属性值和权重存储在double []中。我认为这可能是最有效的选择，但我需要确保这些数组在窗口小部件和计算器之间总是以正确的顺序存储。这也将数据与元数据解耦，因此我将需要存储一个数组(?

浏览 51提问于2016-06-08得票数 4

回答已采纳

5回答

用于存储大量字符串的数据结构

java、data-structures

当用户将条目从一个列表移动到另一个列表时，我需要将条目的唯一标识(字符串类型)临时存储到服务器中名为"selected“的”未知数据结构“中，当用户最终单击submit时，我会进一步将该列表传递给另一个应用程序在数据库中完成排序和过滤，然后将全部数据(以块为单位)加载回java，然后将检查每个条目是否被选中，并将其添加到将在web界面中显示的列表中。

浏览 7提问于2013-04-26得票数 4

回答已采纳

点击加载更多