无法使用Spark获取Delta Lake表的元数据信息

文章/答案/技术大牛

发布

1回答

scala、apache-spark、delta-lake

我正在尝试获取使用DataFrame创建的Delta Lake表的元数据信息。有关版本、时间戳的信息。已尝试：spark.sql("describe deltaSample").show(10,false) -这不提供与版本和时间戳相关的信息：

浏览 21提问于2019-07-23得票数 0

1回答

delta中spark.databricks.delta.snapshotPartitions配置的用途是什么？

apache-spark、delta-lake

我在穿越德尔塔湖的时候遇到了一个配置spark.databricks.delta.snapshotPartitions，但是我不太确定这是用来做什么的？在delta lake文档中也找不到这一点。在delta lake github中找到以下代码，但不确定此属性如何工作 buildConf("snapshotPartitions")

浏览 18提问于2020-05-06得票数 0

回答已采纳

2回答

AWS Glue能否抓取Delta Lake表数据？

apache-spark、amazon-s3、aws-glue、delta-lake

根据Databricks的article，将delta lake与AWS Glue集成是可能的。然而，我不确定是否有可能在Databricks平台之外也这样做。是不是有人这么做了？另外，是否可以使用Glue爬虫添加与Delta Lake相关的元数据？

浏览 16提问于2019-10-02得票数 8

1回答

Delta Lake表元数据

delta-lake

Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。

浏览 31提问于2020-07-21得票数 1

回答已采纳

4回答

没有Databricks运行时的Delta Lake

apache-spark、hdfs、databricks、delta-lake

可以使用Delta Lake而不依赖于Databricks Runtime吗？(我的意思是，是否可以仅在prem上使用带有hdfs和spark的delta-lake？)

浏览 10提问于2020-03-24得票数 5

1回答

到增量表的Simba ODBC连接&使用.Net C#从增量表中读取数据

c#、.net、odbc、delta-lake、simba

我正在尝试通过simba odbc驱动程序使用c#从增量格式表中读取数据。增量格式表示例：https://docs.delta.io/latest/quick-start.html#-create-a-table&language-python 已经按照https://www.simba.com/products/Spark/doc/ODBC_InstallGuide/mac/c

浏览 28提问于2021-03-23得票数 1

1回答

使用Spark结构流对传感器数据超时进行分组

spark-streaming、databricks、spark-structured-streaming、azure-databricks、spark-streaming-kafka

来自传感器的数据被发送到Kafka主题，由Spark Structured streaming API使用，并存储到Delta Lake。现在，我们必须确定每个传感器的会话，并将其存储在由device_id和sensor_id分区的不同Delta Lake表中。我尝试了Spark Structured加水印，但效果不是很好。stream2 = spark.rea

浏览 6提问于2021-02-17得票数 0

1回答

内部部署的delta

delta-lake、data-lake

是否有可能在内部实施delta lake？如果是，需要安装哪些软件/工具？我正在尝试在本地实现一个增量湖，以分析一些日志文件和数据库表。我现在的机器上装了ubuntu，apache spark。是否有任何其他工具建议来实施内部数据湖概念？

浏览 20提问于2021-02-10得票数 2

2回答

Pyspark: Delta表作为流源，怎么做？

apache-spark、pyspark、databricks、delta-lake

什么是预期的，参考来自以下链接https://docs.databricks.com/delta/delta-streaming.html#delta-table-as-a-stream-sourceEx： spark.readStream.format("delta").table("events") -- As expected, should work fine 问题，我用以下方式尝试了相同的

浏览 34提问于2020-06-12得票数 5

回答已采纳

1回答

如何在三角洲湖进行createOrReplaceTempView？

apache-spark-sql、delta-lake

我想使用我的天蓝色数据湖Gen2上的蜂巢Metastore中的达美湖表作为我公司湖房的基础。以前，我使用了“常规”蜂巢目录表。我会将数据从拼图加载到火花数据，并使用df.CreateOrReplaceTempView("TableName")创建一个临时表，这样我就可以使用spark或% SQL魔术来执行E

浏览 6提问于2022-09-08得票数 0

回答已采纳

2回答

Databricks:将镶木镶嵌表转换为增量表

apache-spark-sql、databricks、azure-databricks、delta-lake

我正在尝试将Databricks (Azure上的存储)中的现有表转换为Delta。根据提供的信息，这非常简单，我编写了两个sql语句来实现这一点：convert to delta parquet.为了验证，我对表中的一些记录运行了delete操作，这给出了错误： A transaction log for Databricks Delta wa

浏览 2提问于2020-07-15得票数 2

4回答

Delta Lake创建结构类似于其他表的表

apache-spark、databricks、spark-structured-streaming、delta-lake

我有一个青铜级别的增量湖表(Events_bronze)，位置是"/mnt/events- bronze“，数据从kafka流到这个位置。现在我希望能够从这个表中流出并使用"foreachBatch“更新到一个银表( events_silver )中。这可以使用铜表作为源来实现。我找不到一个DDL来做同样的事情。def upsertToDelta(microBatchOutputDF: DataFrame, ba

浏览 1提问于2019-10-05得票数 1

2回答

德尔塔湖独立于阿帕奇火花？

apache-spark、delta-lake

我一直在探索data lakehouse和Delta Lake的概念。它的一些功能看起来真的很有趣。就在项目主页上，有一张图表显示了Delta在“您现有的数据湖”上运行，但没有提到Spark。在其他地方，它表明德尔塔湖迪兹运行在Spark之上。所以我的问题是，它可以独立于Spark运行吗？例如，我可以在不使用Spark的架构中，使用S3存储桶来设

浏览 2提问于2021-04-20得票数 3

1回答

Azure Synapse专用sql池在synapse studio中没有显示数据对象

azure、azure-synapse、azure-sql-data-warehouse、azure-sql-pool

我正在处理Azure团队的这个文档的，其中在Dedicated SQL pool中(实际上也是一个数据库--作为教程状态的第2项)创建了一个名为nyctaxi的数据库，其表nyctaxi.trip如下所示：spark.sql("CREATE DATABASE IF NOT EXISTS nyctaxi") df.write.mode("overwrite").saveAsTable(&quo

浏览 10提问于2021-11-13得票数 0

回答已采纳

1回答

如何同步星火会话上的外部数据库

apache-spark、delta-lake

因为我想使用Spark的SQL，所以我需要同步达美湖和本地星火会话。有没有一种快速的方法可以让所有的表都可用，而不必为每个表创建一个临时视图？目前，这就是我所做的(假设我在s3_bucket_path“文件夹”中有3个表)。s3_bucket_path = 's3a://bucket_name/delta_lake/' spark.rea

浏览 5提问于2022-10-13得票数 0

回答已采纳

2回答

错误:当将Parquet转换为CSV时，‘str’对象没有属性'write‘

apache-spark、pyspark

我有下面列出在我的湖面文件，我想把地板文件转换为CSV。我尝试使用有关SO的建议来执行转换，但是我一直在获取属性错误：---------------("csv").save("/mnt/lake/RAW/export/")我输入以

浏览 1提问于2022-01-01得票数 -3

回答已采纳

1回答

Delta Lake将多个文件压缩为单个文件

databricks、delta-lake

我目前正在探索delta，这是由databricks开源的。我正在读取kafka数据，并使用delta lake格式将其写入为流。Delta lake在从kafka进行流式写入的过程中创建了许多文件，我觉得kafka是hdfs文件系统的核心。我已经尝试过将多个文件压缩为单个文件。() val df = spark.read.parquet("deltalakefile/d

浏览 16提问于2019-10-13得票数 4

回答已采纳

1回答

如何从Azure ADLS Gen 1在Azure中注册Delta表的特定版本？

python、azure、apache-spark、registration、retention

我在ADLS 1中创建了一个Delta表，并在Databricks中使用以下代码：有时，我会重新运行上面的代码来生成my_tbl

浏览 0提问于2021-12-01得票数 4

回答已采纳

1回答

如何获取Delta* Lake 1.0.0库的jar文件*

apache-spark、pyspark、aws-glue、delta-lake

我使用Delta lake在我的Glue作业中对我的数据进行更新。我通常将jar文件放在S3中，并在胶水作业中使用该位置。我目前使用的是Delta lake 0.6.1，对于它，我从某个我现在不记得的地方得到了jar文件。问题是它不适用于Spark 3.1。所以我试着为Delta Lake的最新版本找到相同<e

浏览 7提问于2021-11-08得票数 0

回答已采纳

1回答

spark sql:如何优化多个巨型hive表的连接

apache-spark、hive、apache-spark-sql、hiveql

有spark sql作业： spark.sql(s"""SELECT * select * from default.table1 created_dt between180' day .collect() .foreach(println) 在作业中，应将4个Hive表连接到每个<e

浏览 25提问于2019-01-23得票数 1

点击加载更多