我的增量文件被calendar_date分区file dosen't exist spark.read.format("delta").load(&quo
浏览 32提问于2021-03-06得票数 1
回答已采纳
我在Databricks增量中有一个表，它由transaction_date分区。我想将分区列更改为view_date。我尝试删除该表，然后使用PARTITIONED BY (view_date)使用新的分区列创建它。 然而，我的尝试失败了，因为实际的文件驻留在S3中，即使我删除了一个hive表，分区也保持不变。有没有办法改变现有增量表的分区？或者，唯一的解决方案是删除实际数据，并使用新指定的<em
浏览 27提问于2019-03-05得票数 10
回答已采纳
1回答
当使用Parquet格式时，能够通过下面的设置覆盖特定的分区，而不会影响其他分区文件夹中的数据
spark.conf.set("spark.sql.sources.partitionOverwriteModewrite.mode("overwrite").format("parquet").partitionBy("date", "name").save("abfss://path/to/somewhe
浏览 9提问于2022-07-14得票数 0
1回答
运行databricks以读取csv文件，然后另存为分区增量表。
文件中的总记录为179619219条。它被划分为A列(8419个唯一值)、年份( 10年)和月份。
浏览 4提问于2021-11-10得票数 1
1回答
s.eventtime < t.eventtime").updateAll() .execute()增量表是按类别划分的如果我在('a1'，‘a2’)中添加‘和a2’这样的分区过滤器，我可以从火花图中看到输入不是整个表。我想它确实是在修剪隔墙。我希望它能够自动感觉到它应该使用哪些分区来执行连接，类似于向下推。这是否可以在不指定特定分区值
浏览 1提问于2019-11-13得票数 4
我正在处理一个文件，在保存为增量之前，我运行了一个repartition(48, key)。在初始运行时，它在增量中生成大约25个分区(没有问题，因为键可能导致数据落入25个分区-我假设它不一定为没有数据的节点创建分区？)。但是，在第二次运行时(通过合并完成)，生成了60+分区文件(这是一个具有1700个预先存在的键和仅300个新键的SCD进程) 我的理解是，repartition使用散列算法来确定键属于哪个
浏览 30提问于2020-09-23得票数 2
1回答
我每小时填充一次该表，但我按月对该表进行分区(数据集相对较小)。每小时我都想将新数据插入到一些分区中。有没有办法让HIVE将数据附加到分区中的旧文件中(而不对旧数据使用UNION ALL )？
浏览 1提问于2012-08-22得票数 3
回答已采纳
1回答
Databricks中的命令COPY INTO提供了一个摄取增量表的幂等文件，请参阅here。在文档中，示例命令如下所示： COPY INTO delta.FILEFORMAT = CSV FORMAT_OPTIONS('header' = 'true') 但是，我希望通过分区来摄取数据是否可以使用分区执行COPY INTO命令？简单地添加p
浏览 12提问于2021-06-16得票数 1
1回答
这个星期早些时候，我的安装出现了一个严重的问题，这个问题变得越来越糟，导致我在同一个驱动器上重新安装13.10次，但被分割成了两部分。我刚刚完成了从旧分区复制所有重要文件的工作，新分区上的一切工作都很顺利，所以现在我希望将新主分区的大小调整到完全大小，并将整个旧分区吹走。如果不确保不丢失任何数据，并确保新的主分区与GRUB引导加载程序保持正确关联，我就不完全确定如何做到这一点，因为
浏览 0提问于2014-01-09得票数 0
我需要更新一个文档，更改用作分区键的元素的值。文档说，文档是由id和分区键唯一标识的。
如果不总是创建新文档，那么如何确定创建新文档的情况，以便删除旧文档？我不想删除任何东西而不首先创建新的，因为没有事务性的方法来做
浏览 0提问于2019-01-26得票数 4
回答已采纳
1回答
我有几个Kafka用户订阅了一个主题，需要添加一些分区。我在临时环境中使用，并添加了一些新分区。我对Kafka的理解是，它们应该自动重新平衡，并订阅新的分区。除非他们不这样做，重启也没有用。每次我这样做(现在已经两次了)，一夜之间消费者就会订阅新分区。
如果我在控制台中创建一个新的测试组，它可以订阅新的分区。但在控制台中使用现有的组id进行订阅时，会重新平衡工作进
浏览 23提问于2019-07-05得票数 2
回答已采纳
1回答
那么增量金属加载呢？
、、、
就我而言，Hadoop中不支持增量加载。我在玩小猪和蜂巢。出于测试目的，我只是从中的表中读取现有值，将其与新数据合并，然后在中创建新表，插入数据。删除旧的表，重命名新的表，等等。其他解决方案是将新数据添加到现有表中的分区。问候
帕韦尔
浏览 1提问于2014-02-13得票数 0
分区中的存储库几乎已经满了。它是带有ftp服务器的wget -m(镜像)。现在它已经满了我的本地存储库，我必须开始使用另一个分区。它是wget -m，因为除了每天在ftp服务器中添加新目录之外，旧目录中不时会有更改。
我需要将ftp服务器与旧分区“同步”，并将新文件复制到新分区。无法在ftp服务器上删除或进行更改。我读过-m相当于-r -N -l和-N不兼容-O(--output-document)
浏览 2提问于2022-10-04得票数 0
1回答
我们有这样一种情况，表模式是不固定的，它可能会改变例如:可以添加新列(在模式中的任何位置，不一定在末尾)、删除和重命名。在Hive中，一旦创建了分区，我想它们就不能被更改了，也就是说，我们不能在旧分区中添加新的列，而只用数据填充该列。我们必须用新的模式重新创建分区，并在所有列中填充数据。但是，新分区可以有新的模式，并将包含新列的数据(不确定是否可
浏览 6提问于2017-04-28得票数 0
1回答
有没有一种方法可以在不丢失数据的情况下将分区格式从FAT32更改为NTFS？因此，我正在寻找一种不删除数据的解决方案，只需将分区格式从FAT32更改为NTFS即可。这样的事情可能吗？
浏览 0提问于2013-06-02得票数 4
回答已采纳
我的主分区有一些空间限制。我的分区的配置是：驱动器C窗口删除并格式化为EXt4以添加到ubuntu30.26根39.11家庭我能不能把这个新释放的驱动器也划分为家呢？我可以同时有两个分开的分区作为家吗？或者，我是否可以将交换空间更改为新的已释放空间，并展开home (最后一个分区到就在它前面的旧交换区)。这样，因为主分区</em
浏览 0提问于2017-10-16得票数 0
1回答
很多事情都出了问题，我决定在旧的Ubuntu使用的分区上重新分配Ubuntu。对于这个安装，我创建了四个不同的分区：\、\home、\boot和swap，我指示旧的ubuntu分区为新的主分区(可能我没有选择格式化它)。我想早期的ubuntu安装仍然存在于\home分区中。
是否有可能只格式化主分区，同时保持它的结构(或者格式化它并重新安装结构而不陷入新的混乱)？“主文件夹”，其中
浏览 0提问于2013-03-08得票数 1
回答已采纳
当我安装12.04时，我分区了一个1GB的引导分区。每个安装新内核的更新都会添加到引导分区的内容中。很快它就会被填满。Ubuntu是否会自动覆盖或清除引导分区中未使用的旧文件？
浏览 0提问于2013-07-07得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
