假设我有一个表(数十万行)，我的用户存储他们的游戏结果。在一排，连同6个结果，我存储了他们玩时使用的“对象”和他们使用的“技术”。在我的情况下，大约有30种可能的不同对象和10种可能的不同技术。每一个对象和技术都是一个字长。
根据规范化，我将创建一个“对象”和“技术”表，其中每个对象和技术都被赋予一个唯一的ID，然后使用外键将它们从列出所有结果的大表中链接起来。所以，与其把对象的名字放在大表中，我应该有一个1-30的数字。我的用户将在
浏览 3提问于2015-11-09得票数 2
回答已采纳
2回答
从MongoDB (version >=3.2)读取大容量数据的有效方法是什么？我只为寻找方法。
我正在创建度量，分析存储在mongoDB中的数据。因为我正在测试水，所以我的技术栈仅限于Mongo聚合管道和Java。
浏览 5提问于2016-10-25得票数 3
回答已采纳
1回答
我们目前面临着如何有效地从非常大的数据集(数十亿)中存储和检索数据的问题。我们一直在使用mysql，并对系统、操作系统、raid、查询、索引等进行了优化，现在正在寻找新的发展方向。我需要做出明智的决定，决定采用什么技术来解决我们的数据问题。我一直在研究使用HDFS的map/reduce，但也听说过关于HBase的好消息。我情不自禁地认为还有其他选择。现有的技术是否有很好的比较，以及每种技术的权衡是什么？
如果你有链接可以分享，我也将不胜感激。
浏览 0提问于2011-01-20得票数 3
回答已采纳
对于一个特定数据库的大小，我有一个非常奇怪的错误报告。超过以下语句报告的大小之和，也报告了接近292 MB的大小。FROM information_schema.tables ORDER BY total_size DESC然而，这个数据库的pg_dump生成一个2.02GB的sql文件
我怀疑这两种计数方法都跳过LOB，因为这个数据库中有两个表包含大量内容的T
浏览 0提问于2014-06-16得票数 5
回答已采纳
我想在数据库(mysql)中存储非常大的序列化Ruby对象集。2)有没有别的办法？
3)如果对象真的很大，技术上有什么困难？
浏览 0提问于2010-02-25得票数 1
回答已采纳
在我的系统中，用户可以上传非常大的文件，我需要将这些文件存储在Couchbase中。我不需要这么大的对象在内存中持久化，但我希望它们总是被读/写到磁盘上。这些文件是只读的(从未修改过)。由于一些技术限制，我的系统无法将这些文件存储在文件系统中，因此它们必须存储到数据库中。我做了一些研究，发现article1说在数据库中存储大对象通常不是一个好主意，特别是对于Couchbase，但同时也提供了一些建议:创建一
浏览 1提问于2016-06-08得票数 4
1回答
实体类型与键是否不同？
、、、
在我看来，实体类型只是一个键，只是它没有父级，API客户端使用这个概念来避免冲突，但从技术上讲，在数据存储区级别没有区别。这都是一把大钥匙。我说的对吗？
浏览 0提问于2015-10-11得票数 1
我对应用于关系数据库(如SQL )的数据规范化技术有一定的了解。| A | Red | Large | 42 |让产品A永远是
浏览 2提问于2017-04-21得票数 2
回答已采纳
2回答
我已经从一个文本文件.Now动态创建了一个数据表，我需要将这些值存储在数据库中。foreach (DataRow row in dt.Rows) // insert statement我的疑问是数据表可能包含数千行，使用foreach循环是否有效，或者我是否应该使用一些其他技术，如大容量复制(我对此一无所知，请帮助我).Thank你
浏览 0提问于2011-12-06得票数 1
回答已采纳
容器变得相当大，序列化到MySQL数据库似乎是最好的主意。
什么是正确的(反)序列化技术？
浏览 4提问于2012-06-21得票数 2
回答已采纳
2回答
在you，facebook，flicker上百万的照片和视频是在他们的服务器上，但我只想问他们用什么技术来存储
一种巨大的数据？
浏览 0提问于2010-07-08得票数 0
回答已采纳
1回答
据我所知，非对称加密对于长数据来说太昂贵了。此外，从技术角度看，甚至不可能对任意大的数据部分进行加密(数据的大小受到所使用密钥大小的限制)。据我所知，通常的解决方法是创建一个(随机)密钥，使用该密钥对称地加密数据，然后只使用非对称算法加密该密钥。
我该怎么处理加密的密钥？当然，我在某个地方存储或发送加密的数据，但是密钥呢？如果我正确理解它，我也需要存储这个密钥，对吗？
浏览 6提问于2013-06-09得票数 0
回答已采纳
1回答
我需要存储一个非常大的JSON数组，该数组由大约10k个对象组成，其中每个对象包含不同的字段，例如表示多边形的x和y坐标的浮点数。我无法找到一种方法来以分散的方式存储所有这些数据，我已经阅读了基于文件系统的技术，如IPFS和一些分散的数据库(如BigChainDB )。我希望使用JS库表示地图上不同对象中包含的所有多边形，但我不知道如何存储这些数据，然后查询它们，以获得需要表示的项的坐标。
我刚刚开始研究这项技术，所以我为我写的任何荒
浏览 0提问于2018-04-22得票数 2
我有一些很大的文本(日志文件)，它们可能非常大(最高可达千兆字节)。它们与我存储在数据库中的实体相关联，我正在尝试确定是应该将它们存储在SQL数据库中，还是存储在外部文件中。对于MySQL中的LONGTEXT字段，数据库中的存储空间似乎被限制为4 4GB，其他数据库可能也有类似的限制。此外，存储在数据库中可能会在查看此数据时排除任何类型的查找--我必须加载整个数据
浏览 1提问于2011-01-14得票数 2
回答已采纳
我来自非技术背景，刚刚开始了我的数据科学之旅。我有一个由50 GB的记录组成的MySQL Db。jupyter客户端安装在服务器上。我想知道使用MySQL连接器访问的数据和"pd.read_sql“存储在jupyter中的位置。另外，如果我想要使用这么大的数据库，我需要有什么样的服务器配置。
浏览 12提问于2020-08-10得票数 0
3回答
我正在研究为个人项目存储数据的方法。我以前从未使用过这么多数据，我通常只是将其存储在.txt或.csv中，但我很好奇是否会有更好的方法来实现它。就数据而言，只需想一想字典：idx | string | string | string | string ..。
如果我只想按要显示的索引来获取信息，那么将所有信息存储到DBMS中是否值得投资呢？
浏览 10提问于2022-03-28得票数 0
1回答
我试图优化两个星火数据之间的联接查询，让我们称它们为df1，df2 (公共列“SaleId”上的联接)。df1非常小(5M)，所以我在星火集群的节点之间广播它。df2非常大(200M行)，所以我尝试用"SaleId“对其进行桶/重分区。
在Spark中，按列划分数据与逐列存储数据有什么区别？write.format('parquet').bucketBy(10, 'SaleId').mode("overwrite").save
浏览 0提问于2019-07-02得票数 10
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
