对于Delta Lake的真空操作，Databricks集群是否需要始终保持正常运行？
对于Delta Lake的真空操作，Databricks集群需要始终保持正常运行。
Delta Lake是一种开源的数据湖解决方案，它在Apache Spark之上提供了可靠的事务性数据湖功能。真空操作是Delta Lake的一项重要功能，用于清理不再需要的数据文件，以减少存储空间的占用。
在Delta Lake中，真空操作通过删除过时的数据文件来释放存储空间。这些过时的数据文件是由于数据删除或更新操作而产生的。真空操作会扫描Delta表的元数据，找到不再被引用的数据文件，并将其删除。
为了执行真空操作，Databricks集群需要保持正常运行。因为真空操作需要访问Delta表的元数据，并对数据文件进行删除操作。如果集群不正常运行，无法执行真空操作，过时的数据文件将继续占用存储空间，导致存储资源的浪费。
因此，为了确保Delta Lake的正常运行和存储空间的有效利用，建议保持Databricks集群的正常运行状态。这可以通过监控集群的健康状态、自动扩展集群的规模、设置适当的警报和故障恢复机制来实现。
腾讯云提供了一系列与Delta Lake相关的产品和服务，例如TencentDB for Apache Spark，它是腾讯云基于Apache Spark打造的一站式大数据处理平台，支持Delta Lake等数据湖解决方案。您可以通过以下链接了解更多关于TencentDB for Apache Spark的信息：
https://cloud.tencent.com/product/spark
相关·内容
我在穿越德尔塔湖的时候遇到了一个配置spark.databricks.delta.snapshotPartitions，但是我不太确定这是用来做什么的？在delta lake文档中也找不到这一点。
在delta lake github中找到以下代码，但不确定此属性如何工作
val DELTA_SNAPSHOT_PARTITIONS =
buildConf("snapshotPartitions")
.internal()
.doc("Number of partitions to use when building a Delta L
浏览 18提问于2020-05-06得票数 0
回答已采纳
我正在使用Azure Databricks和集群的最新运行时。我对德尔塔湖的真空操作有些困惑。我们知道我们可以对删除的数据设置保留时间，但是，对于实际数据在保留期结束后要删除的数据，我们是否需要在整个保留期内保持群集运行？ 简而言之:为了利用Delta lake，我们是否需要让Cluster始终处于运行状态？
浏览 53提问于2020-11-27得票数 0
回答已采纳
我目前正在探索delta，这是由databricks开源的。我正在读取kafka数据，并使用delta lake格式将其写入为流。Delta lake在从kafka进行流式写入的过程中创建了许多文件，我觉得kafka是hdfs文件系统的核心。 我已经尝试过将多个文件压缩为单个文件。 val spark = SparkSession.builder
.master("local")
.appName("spark session example")
.getOrCreate()
val df = spark.read.parque
浏览 16提问于2019-10-13得票数 4
回答已采纳
1回答
我通过在Databricks中挂载并创建一个表(“使用增量”)来连接到Azure gen 2数据湖中的增量表。然后我在Power BI中使用Databricks连接器连接到它。 首先，我不清楚数据湖和Databricks中的Spark表之间的关系。Spark表在每次查询时都会从数据湖(增量湖)检索最新的快照，这是正确的吗？是否也不可能通过对Spark表的操作来影响数据湖中的更改？ 其次，减少Spark表中的列的最佳方法是什么(理想情况下，在将其读取到Power BI之前)？我尝试用指定的列子集创建Spark表，但得到了一个cannot change schema错误。相反，我可以创建另一个从
浏览 24提问于2021-08-12得票数 2
我试图从Databricks SQL引擎上的AWS Glue目录中查询delta表。它们以德尔塔湖的格式存储。我有胶爬虫自动模式。目录是设置的&使用非Delta表运行。通过databricks设置通过目录加载每个数据库的可用表&但是由于databricks使用的是单元而不是增量来读取，所以查询失败了。
Incompatible format detected.
A transaction log for Databricks Delta was found at `s3://COMPANY/club/attachment/_delta_log`,
but you are tr
浏览 30提问于2022-08-12得票数 1
Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。
浏览 31提问于2020-07-21得票数 1
回答已采纳
我正在将一个PySpark数据文件合并到一个Delta表中。输出增量按日期进行分区。下面的查询需要运行30：
query = DeltaTable.forPath(spark, PATH_TO_THE_TABLE).alias(
"actual"
).merge(
spark_df.alias("sdf"),
"actual.DATE >= current_date() - INTERVAL 1 DAYS
AND (actual.fe
浏览 1提问于2021-12-13得票数 3
5回答
三角洲湖回滚
、、、
需要一个优雅的方式回滚达美湖到以前的版本。
我目前的做法如下：
import io.delta.tables._
val deltaTable = DeltaTable.forPath(spark, testFolder)
spark.read.format("delta")
.option("versionAsOf", 0)
.load(testFolder)
.write
.mode("overwrite")
.format("delta")
.save(testFolder)
但是，这是很难看的，
浏览 0提问于2019-08-26得票数 12
回答已采纳
1回答
调用Databricks (Delta) Optimize和Vacuum是否有意义？这似乎是有道理的，但我不想仅仅推断该做什么。我想问问。
递归地清除与Delta表关联的目录，并删除不再处于表事务日志最新状态且超过保留阈值的数据文件。文件根据从Delta的事务日志+保留时间中逻辑删除的时间而被删除，而不是它们在存储系统上的修改时间戳。默认阈值为7天。
优化了三角洲湖泊数据的布局。可选地优化数据子集或按列排列数据。如果不指定共址，则执行装箱优化。
第二个问题:如果答案是肯定的，哪一个是最佳的操作顺序？
Optimize然后Vacuum
Vacuum然后Optimize
浏览 2提问于2021-11-01得票数 2
回答已采纳
1回答
在相同的jupyter会话中使用"spark.sql.warehouse.dir“(无数据库)可以工作。但是在jupyter中重新启动内核后，目录数据库和表不再被识别。使用metastore逻辑和增量湖在databricks之外是不是可以拥有会话独立性(我知道使用path的可能性)？
谢谢，克里斯蒂安
spark = (
SparkSession.builder
.appName("tmp")
.config("spark.jars.packages", "io.delta:delta-core_2.12:1.0.
浏览 1提问于2021-09-17得票数 3
试图使用自动加载程序，其中AWS S3是源，Delta湖在Azure Datalake。当我试图读取文件时，它会给我以下错误
从提供事务保证的角度来看，从非AWS向Delta表写入AWS是不安全的。如果您能够保证没有其他人会同时修改相同的Delta表，那么在启动集群时，您可以通过将SparkConf: SparkConf设置为false来关闭此检查。
尝试在群集级别设置设置，它可以正常工作。我的问题是，我们是否可以确保事务性保证将数据从AWS3加载到Azure Datalake (Datalake是我们Datalake的后端存储)。我们不希望在集群级别设置"spark.databric
浏览 6提问于2021-04-11得票数 2
在Databricks中，表是使用模式json定义创建的。
用来创建表的架构json
{
"fields": [
{
"metadata": {},
"name": "username",
"nullable": true,
"type": "string"
},
{
"metadata": {},
"name": "department"
浏览 0提问于2021-10-17得票数 0
回答已采纳
1回答
我们的组织运行着Azure上的数据库，数据科学家和分析人员主要用于笔记本，以便进行特别的分析和探索。
我们还为不需要火花的ETL工作流运行Kubernetes集群。
我们希望使用达美湖作为我们的存储层，其中数据库和库伯奈特都可以读写作为头等舱公民。
目前，我们的Kubernetes作业直接将parquets写到blob存储，另外还有一个作业可以将databricks集群中的数据加载到Databrick的表格式中。这既慢又贵。
我想要做的是直接从Kubernetes python写到达美湖，而不是第一次将一个拼花文件转储到blob存储，然后触发一个额外的Databricks作业，将它加载到Del
浏览 3提问于2021-08-12得票数 2
回答已采纳
1回答
我正在运行这个命令，从普通集群中读取Azure databricks中的数据(hadoop未安装)。
spark-submit --packages io.delta:delta-core_2.12:0.7.0 \
--conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
--conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog" \
--conf
浏览 5提问于2021-03-03得票数 1
回答已采纳
在过去的几个月里，我们一直在使用Azure Databricks / Delta lake，最近开始发现加载记录的一些奇怪行为，特别是除非重新启动集群或指定特定版本号，否则不会返回最新记录。 例如(不返回任何记录) df_nw = spark.read.format('delta').load('/mnt/xxxx')
display(df_nw.filter("testcolumn = ???")) 但这确实是 %sql
SELECT * FROM delta.`/mnt/xxxx` VERSION AS OF 472 wher
浏览 28提问于2021-09-06得票数 1
我在azure上使用databricks，当我像这样尝试从adls读取数据时，Pyspark会时不时地读取倾倒在azure数据湖存储adls中的数据：
spark.read.format('delta').load(`/path/to/adls/mounted/interim_data.delta` )
它抛出以下错误
AnalysisException: `/path/to/adls/mounted/interim_data.delta` is not a Delta table.
数据必须存在
当我运行时，文件夹内容和文件就会显示出来
%fs ls /path/to/adl
浏览 1提问于2021-07-01得票数 1
我正在使用开源版本将大量数据写入Databricks Delta lake，运行在AWS EMR上，并使用S3作为存储层。我正在使用EMRFS。 为了提高性能，我经常压缩和清理表，如下所示： spark.read.format("delta").load(s3path)
.repartition(num_files)
.write.option("dataChange", "false").format("delta").mode("overwrite").
浏览 57提问于2020-07-10得票数 3
回答已采纳
我正在将事实表和维度表从SQL Server导入Azure Data Lake Gen 2。 如果我要在Azure Databricks上创建一个对运行ML模型有用的数据集，我应该将数据保存为"Parquet“还是"Delta”？ 存储为拼花和增量之间的区别是什么？
浏览 18提问于2020-12-16得票数 6
1回答
我使用的OSS版本的三角洲湖和火花3.0.1。我的当前用例要求我发现给定的增量表中的所有当前分区。
我的数据存储在'./data/raw'中，并由列sensorId进行分区(提到的路径是相对于我的python脚本的路径)。
我试图使用SHOW PARTITIONS语法，就像中提到的那样。然而，我正在犯错误。
我的代码是这样的：
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("TestScript").getOrCreate()
df=spark.sql("
浏览 4提问于2021-02-22得票数 1
我是在本地机器上使用Python的新手。到目前为止，我可以在Azure Databricks中编写代码。我想创建和部署连接到confluent kafka的库，并将数据保存到增量表。我弄糊涂了- 1]我是否需要通过如下设置从本地计算机连接到Databricks Delta，使用python将流存储到增量或将流存储到本地增量(我可以创建增量表
spark = pyspark.sql.SparkSession.builder.appName("MyApp") \
.config("spark.jars.packages", "io.delta:del
浏览 0提问于2021-01-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
