分区合并

文章/答案/技术大牛

发布

2回答

如何在星火中按对合并分区？

apache-spark

我有一组点(每个点都是文本文件中的一行)，我将其分布在Spark的分区之间。我将继续运行mapPartitions，直到我离开时只有几个分区。

浏览 1提问于2015-08-27得票数 0

回答已采纳

2回答

合并配置单元中的现有分区

hive、partitioning

如何合并现有分区并将其合并为一个分区。例如:我在年份列上有分区，比如year=2011，year=2012，year=2013，year=2014。请帮帮忙。问候你，Manoj

浏览 2提问于2016-09-26得票数 1

1回答

我知道，coalesce(n_desired_partitions)是一种更便宜的选择，它避免了洗牌，而是将分区合并在同一个执行器上。但是，我不清楚这个函数是尝试创建大小大致一致的分区，还是简单地合并输入分区，而不考虑它们的大小。支持合并的算法是否知道合并两个小分区(因为它们更小，我们需要平衡的分区大小)，而不是仅仅合并两个任意分区？在其他地方讨论这个主题根据 (跳到7:27)，Netflix大数

浏览 2提问于2016-12-08得票数 1

2回答

连接后的Dataframe保存正在创建许多部件文件。

apache-spark-sql

我正在尝试学习使用Dataframes编程。在下面的代码中，我尝试将两个CSV连接到一个列上，然后将其保存为一个组合CSV。在SCALA中运行这段代码的结果是，我看到了将近200个小部件文件。你能帮我理解一下这里出了什么问题吗- def main(args: Array[String]) { val sqlContex

浏览 1提问于2016-04-19得票数 2

1回答

TSQL -联机合并分区

sql-server、t-sql、partitioning、blocking、filegroups

我问题的简短版本是：“在两个分区合并期间，整个分区表被阻塞。我如何访问不受合并影响的读写部分？”我正在处理非常常见的场景--有一个以线性方式增长的生产表(每5分钟有几百行)。如何实现这一目标有很多教程--创建分区函数、方案、用它的索引对表进行分区、将分区切换到相同的空表等。如果我想再做一次，“标准”的方法是拆分当前的分区，并将其尾部与历史分区合并。因此，在分区1(历史记录)中有一些行现

浏览 0提问于2017-07-16得票数 0

回答已采纳

2回答

火花洗牌分区与聚结

apache-spark

当我要读取一些数据时，假设我有一个有20个分区的数据集。然后，我对该数据集进行聚合操作，这将使分区不为200(因为默认的洗牌分区大小)。现在，到目前为止，我没有对该数据集调用任何操作，而是在相同的数据集中应用合并，在合并操作中提供30个分区，然后在该数据集上调用一些星火操作。因此，我的问题是，当数据集有其聚合操作时，将有多少个分区在运行？它是30个分区(因为这是给出的合并分区)还是200个洗牌分区？

浏览 0提问于2020-10-09得票数 1

1回答

partitioning、gparted、merge

我需要把两个分区合并到一起。📷 有人能教我怎么做吗？我害怕丢失主分区中的数据。

浏览 0提问于2014-12-20得票数 0

1回答

如何在重新分区和合并中确定RDD的preferredLocation？

apache-spark、rdd

我在重新分区和合并中看到了一些奇怪的行为，我无法理解: 1.当从n到n-1分区合并时，我看到火花只是将一个分区合并到另一个分区。(我认为理想的行为应该是均匀分布在所有的n-1节点上) 上述行为与preferedLocations有关吗？

浏览 0提问于2016-12-06得票数 0

1回答

我删除了窗口，合并未使用的分区有困难。

partitioning

我喜欢它，我清除了上面有窗口的分区，现在我似乎不能将我的/dev/sda5 5 ext4分区与未分配的分区合并。Ubuntu安装在42 Gig分区上，但是我有一个320 Gig的未分配分区，我想合并这两个分区。

浏览 0提问于2013-04-30得票数 0

1回答

合并()是如何在火花内部工作的？

apache-spark

我正在探索聚合()函数，我有几个问题没有得到回答：是只在executor中移动数据，还是将分布在多台机器上的数据分区移动？如果它只是执行器级别，那么在这种情况下，如果每台机器只有一个分区，并且在三个节点上有3个分区，则合并()是如何工作的？如何合并(1)？我知道coalesce()分区的大小并不相同，但是创建大文件的原因是什么。如何在内部工作，这在这两个文件之间创建了700 MB的数据差异?

浏览 4提问于2021-06-10得票数 0

2回答

如何从已分区表和未分区表创建合并表

mysql、merge、union

我在mysql表中有一个已分区的表和一个未分区的表。我想为这两个表创建一个联合合并表。问题是，在创建合并表之后，当我尝试访问该表时得到以下错误：Unable to open underlying table which is differently defined or of non-MyISAMtype or doesn't existTable 'mydb.ptable' is di

浏览 5提问于2013-01-29得票数 1

1回答

df.coalesce(1)是什么意思？

python-3.x、apache-spark、hdfs、parquet

我在python中使用了星星之火，所以我需要保存包含火花结果的拼花文件。.coalesce(1).save(save_path, format='parquet', mode='append'))所以我很好奇，如果我运行的火花大约30个拼花文件，火花结果将只保存一个拼花文件或不保存。谢谢

浏览 2提问于2019-11-13得票数 8

1回答

如何回收未安装的磁盘空间

arch-linux、disk

最后，我将磁盘空间减半，希望将两个分区合并在一起。下面是Gnome磁盘的图片：左边的蓝色分区是未使用的，右边的分区7是我引导到和当前使用的分区。在Gnome磁盘中，我只需单击红色减号就可以删除蓝色的未挂载分区。这会让我合并我的两个分区吗？谢谢。

浏览 0提问于2021-12-27得票数 0

回答已采纳

1回答

哪种情况下使用合并和重新分区更好？

scala、apache-spark、partitioning

我的数据被划分为静态数据分区和国家动态分区数据。因此，每一次约会，我可以有多达180个国家分区。us/ => 100kb /cntry=uk/ => 1.5mb 对于每个日期，数据都很小(约20-100 it )，并在国家分区之间进行划分再分割还是合并？既然数据很小，合并会更好吗？我非常困惑何时合并或重新分区将

浏览 2提问于2019-01-17得票数 0

回答已采纳

2回答

如果我修改一个表来添加一个分区，我会丢失Oracle SQL中的数据吗？

sql、oracle、partition

我不确定是否修改一个表来创建一个新的分区，因为我担心我会丢失数据。如果Oracle SQL DB中的一个表已经被分区，但是我要添加一个新的分区，那么表中的现有数据会被删除吗？

浏览 4提问于2016-12-05得票数 3

回答已采纳

1回答

如何使用GParted合并两个未分配的分区？

installation、partitioning、gparted

我在使用GParted合并两个未分配的分区(空闲空间)时遇到了问题。我需要将它们合并到一个分区中，然后我可以将其分解为"root“和"home”，用于我即将安装的Ubuntu。请帮帮我！下面是我的分区表现在的样子的快照：(有两个分别为36.23GB和11.16GB的未分配分区，需要合并) 📷

浏览 0提问于2013-12-18得票数 3

回答已采纳

3回答

我想将一个未分配的空间与我的Ubuntu分区合并，但我不能

dual-boot、partitioning、20.04、gparted、lts

我使用分区管理应用程序G-PARTED将我的Ubuntu安装分区(sda6)与未分配的空间合并。当我试图通过调整大小选项来增加Ubuntu分区时，没有额外的空间可用。如何扩大我的系统分区sda6？📷📷📷 它显示最大和最小大小相同，不允许我合并它们。

浏览 0提问于2021-08-31得票数 0

回答已采纳

1回答

Server表分区无法在分区切换后删除文件组

sql-server、archive、partitioning

我有一张大桌子，大约有110个分区。我希望存档最古老的分区，并删除FileGroup。以下是我所采取的战略。将表名切换分区1更改为tablename_archive分区1 在验证开关(分区交换)之后，我删除了归档表。使用第一个边界值作为followsALTER分区函数YMDatePF2 ()合并范围('2012-01-01 0

浏览 1提问于2017-10-05得票数 1

回答已采纳

2回答

合并2个分区(未分配)而不丢失数据

gparted、partitioning、merge

我有3个分区，100 in (sda5，lba)，132 in(sda2，boot)和230 in(Sda3)。sda5未使用，sda2是Windows，sda3是Ubuntu。它们如下所示：我想合并第一个和第二个分区(sda5 & sda2)，但是如果未分配的空间在要合并的分区之前，GParted就不能合并两个分区。我可以把sda5和GParted一起移动吗？是否还有其他可以与前面的分区合并的程序？任何帮助都将不胜感

浏览 0提问于2016-08-06得票数 1

回答已采纳

1回答