1回答
优化数十亿个不同键的分区
、、、、
我每天都在用PySpark处理一个文件，用来保存有关网络设备导航的信息。在每个月的月底，我想要使用窗口函数，以便对每个设备进行导航。这是一个非常慢的处理，即使有很多节点，所以我正在寻找方法来加速它。 我的想法是对数据进行分区，但我有20亿个不同的键，所以partitionBy似乎并不合适。即使是bucketBy也可能不是一个好的选择，因为我每天都创建n存储桶，所以
浏览 16提问于2019-05-10得票数 0
3回答
有人能解释我们什么时候对表使用搜索优化和集群键，还是两者都使用？我看到如果我们让他们两个都能的话，我们就会失去学分吗？
谢了，西恩
浏览 0提问于2021-03-17得票数 1
回答已采纳
我想使用键/值模式写作卡夫卡，以保持相同的顺序，数据写入，同时阅读。我的问题是，主题中的分区数是否等于传入数据中的不同键数。我已经知道，使用键/值模式，具有相同键的数据将转到同一个分区。因此，如果分区的数量不等于数据中的不同键</
浏览 3提问于2020-02-18得票数 0
回答已采纳
我想使用SQL Server和Azure表在我的站点上实现聊天功能。那么，这是怎么回事？在读了关于Azure桌子的文章之后，我是不是应该
在Server中存储GUID，它表示我的Azure表中的分区键？为每条消息存储一个</em
浏览 2提问于2018-11-02得票数 0
回答已采纳
2回答
经过几天的思考，我仍然被这个问题困扰着:我有一个表，其中"timestamp“是分区键。该表包含数十亿行。实现这一目标的最有效方法是什么？SparkSQL是否足够聪明，能够优化这样的东西
浏览 0提问于2016-03-17得票数 0
1回答
Cassandra分区问题
、、、、
我正在使用带有数十亿条记录的cassandra，并且我想存储按日期分组的数据。问题是，我应该为用户查询不同时区的记录，但它通过GMT将数据存储在分区键中。为所有时区保存不同的日期字段并创建大量视图是否正确？这将使db扩展到巨大的大小。
浏览 2提问于2018-05-03得票数 0
回答已采纳
1回答
tablestats查询中的分区数(估计值)表示什么？当我们在多节点cassandra的不同节点上查询表时，我们在每个node.Does上看到不同的稳定计数值和分区数--这表示特定节点的行数/分区键数？
浏览 0提问于2018-11-16得票数 2
回答已采纳
2回答
试图理解Hive分区是如何与Spark分区相关联的，最后提出了一个关于联接的问题。我有两个外部Hive表；这两个表都由S3桶支持，并由date分区；因此，在每个桶中都有带有名称格式date=<yyyy-MM-dd>/<filename>的键。分区等于S3中的对象数？假设这两个行类型有以下模式：
Tabl
浏览 4提问于2018-04-25得票数 5
2回答
如果我存储文档而不提供分区密钥，那么在这种情况下，documentId将被视为逻辑分区的分区密钥吗？
浏览 2提问于2019-06-19得票数 2
回答已采纳
在Cassandra中，我们能否“修复”某个特定分区键所在的节点以优化获取？
这是对特定键空间和表的优化，其中一个数据中心编写的数据永远不会被不同数据中心上的客户端读取。如果一个特定的分区键只在特定的数据中心中被查询，那么是否有可能通过将其“固定”到写入它的同一数据中心的节点
浏览 3提问于2014-07-09得票数 3
回答已采纳
Microsoft的分区密钥选择建议鼓励选择一个将导致100或1000个分区的键。总的主题是“越多越好”。
我的问题是，CosmosDb是否会受到分区键的影响，导致过多的高度分段的逻辑分区？我正在考虑使用一个分区密钥，它定义了一个工作组id，它也等同于一个客
浏览 6提问于2017-08-11得票数 1
我试图为具有客户ID (每个客户的唯一值)和客户城市(在北美，产生数千个可能值)的CosmosDB表确定最佳分区键。因此，我的问题是：
是每个分区键散列，每个分区<
浏览 2提问于2020-08-02得票数 3
我试图用不同的密钥存储不同分区的消息。类时，它总是存储在单个分区中。根据文档，DefaultPartitioner使用message key hash code查找分区。我也看到了这个问题，但在0.9.x版本的Kafka客户端库中找不到ByteArrayPartitioner类。如果我手动创建一个带有分区的主题，那么它可以正常工作。
浏览 2提问于2016-10-07得票数 1
回答已采纳
2回答
我需要找出卡桑德拉表中的记录数是否大于某个数字，例如10000。可能会有数十亿条记录，甚至只有数千条。下面这似乎不对，我认为它会失败或非常缓慢，对大量的记录。从sourceId = {id}和时间戳< {endDate}和时间戳>{startDate}的数据中选择计数(*)；
从source
浏览 1提问于2020-02-19得票数 1
1回答
我在我的MySQL 5.1.41中对表进行了分区化，其中包含了大量的数据。最近，我删除了很多数据，这些数据导致了大约500 GB的碎片，但是分区中有很多数据。为了将这个空间恢复到操作系统，我不得不对分区进行碎片整理。我提到了MySQL文档，，它把我和下面的声明混淆了，
重建分区:重新构建分区；这与删除分区中存储的所有记录，然后重新插入它们具有相同的效果。优化分区
浏览 6提问于2016-02-15得票数 1
我正在构建一个社交网络，现在我遇到了一个问题。拥有一个数据库，并为每个新用户创建新的表(用于消息)？ENUM ('Y', 'N') NOT NULL DEFAULT 'Y', from_id int(32)或,
将所有邮件保存在一个表中(使用INDEXes)如果有十亿行怎么办？
浏览 0提问于2012-02-14得票数 1
回答已采纳
该表中的每个实体都将拥有所需的信息，以便告诉工作人员角色将其中的一些信息写入特定表的分区。工作员角色正在读取的表的同一个分区中的实体可以批次在一起(将写入同一个分区)。我不知道表中包含worker角色信息的分区键。是否有一种方法可以完成不同时从不同分区抓取实体的</e
浏览 3提问于2014-03-08得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
