将Spark数据帧写入delta lake

文章/答案/技术大牛

发布

2回答

apache-spark、pyspark、azure-databricks、delta、delta-lake

我试图使用文档提供的示例代码将Spark数据帧转换为delta格式，但总是收到这个奇怪的错误。你能帮帮忙或引路吗？df_sdf.write.format("delta").save("/mnt/.../delta/")org.apache.spark.SparkException: Job aborted. -------------------------

浏览 20提问于2020-02-05得票数 0

1回答

Delta Lake:性能挑战

pandas、delta-lake

方法1:我的输入数据是一堆json文件。经过预处理后，输出为pandas数据帧格式，该格式将写入Azure SQL数据库表。方法2:我已经实现了delta lake，其中输出pandas数据帧被转换为Spark数据帧，然后将数据插入到分区的Delta Table中。这个过程很简单，而且将pan

浏览 8提问于2020-10-28得票数 1

1回答

我目前正在探索delta，这是由databricks开源的。我正在读取kafka数据，并使用delta lake格式将其写入为流。Delta lake在从kafka进行流式写入的过程中创建了许多文件，我觉得kafka是hdfs文件系统的核心。我已经尝试过将多个文件压缩为单个文件。() val df = spark.read.parquet("deltalakefile/data/

浏览 16提问于2019-10-13得票数 4

回答已采纳

1回答

内部部署的delta

delta-lake、data-lake

是否有可能在内部实施delta lake？如果是，需要安装哪些软件/工具？我正在尝试在本地实现一个增量湖，以分析一些日志文件和数据库表。我现在的机器上装了ubuntu，apache spark。是否有任何其他工具建议来实施内部数据湖概念？

浏览 20提问于2021-02-10得票数 2

1回答

将数据写入Azure databricks中的Delta Lake时出现问题(检测到不兼容的格式)

databricks、azure-databricks、delta-lake

我需要将数据集读取到DataFrame中，然后将数据写入Delta Lake。但我有以下例外： AnalysisException: 'Incompatible format detected.\n\nTo disable this check, SET spark.databricks.delta.formatCheck.enabled=false\nTo learn more aboutDelta, see https:

浏览 62提问于2019-07-16得票数 5

回答已采纳

4回答

没有Databricks运行时的Delta Lake

apache-spark、hdfs、databricks、delta-lake

可以使用Delta Lake而不依赖于Databricks Runtime吗？(我的意思是，是否可以仅在prem上使用带有hdfs和spark的delta-lake？)

浏览 10提问于2020-03-24得票数 5

2回答

AWS Glue能否抓取Delta Lake表数据？

apache-spark、amazon-s3、aws-glue、delta-lake

根据Databricks的article，将delta lake与AWS Glue集成是可能的。然而，我不确定是否有可能在Databricks平台之外也这样做。是不是有人这么做了？另外，是否可以使用Glue爬虫添加与Delta Lake相关的元数据？

浏览 16提问于2019-10-02得票数 8

2回答

数据库错误: AnalysisException:检测到不兼容的格式。与达美

apache-spark、pyspark、databricks、azure-databricks、delta-lake

当我试图在Databricks上用Delta写入我的数据湖时，我得到了以下错误上面的内容会产生以下错误： AnalysisException: Incompatible f

浏览 11提问于2022-02-25得票数 1

回答已采纳

1回答

到增量表的Simba ODBC连接&使用.Net C#从增量表中读取数据

c#、.net、odbc、delta-lake、simba

我正在尝试通过simba odbc驱动程序使用c#从增量格式表中读取数据。增量格式表示例：https://docs.delta.io/latest/quick-start.html#-create-a-table&language-python 已经按照https://www.simba.com/products/Spark/doc/ODBC_InstallGuide/mac/content/odbc&#

浏览 28提问于2021-03-23得票数 1

1回答

使用Spark结构流对传感器数据超时进行分组

spark-streaming、databricks、spark-structured-streaming、azure-databricks、spark-streaming-kafka

来自传感器的数据被发送到Kafka主题，由Spark Structured streaming API使用，并存储到Delta Lake。现在，我们必须确定每个传感器的会话，并将其存储在由device_id和sensor_id分区的不同Delta Lake表中。

浏览 6提问于2021-02-17得票数 0

2回答

错误:当将Parquet转换为CSV时，‘str’对象没有属性'write‘

apache-spark、pyspark

/RAW/export/") 我已经创建了一个数据文件作为'df‘驻留在这个位置，它提供了以下输出：当我试图使用以下任一项将parquets

浏览 1提问于2022-01-01得票数 -3

回答已采纳

2回答

具有到增量湖的多个相同密钥的流写入

apache-spark、spark-streaming、delta-lake

我正在通过spark structured向delta写入数据流。每个流批次包含key - value (还包含作为一列的时间戳)。delta lake不支持在源(蒸汽批)上使用多个相同的键进行更新，所以我只想用最新的时间戳记录来更新delta lake。我该怎么做呢？

浏览 27提问于2020-06-19得票数 2

回答已采纳

1回答

为什么writeStream不以增量格式编写代码，即使我已经编写了它

apache-spark、databricks、spark-structured-streaming、delta-lake

writeStream正在以“拼接”格式写入记录，而不是“增量”格式，尽管我提到了增量格式。spark.format("delta").option("ignoreDeletes", "true").load("/mnt/

浏览 0提问于2020-01-10得票数 0

1回答

如何在三角洲湖进行createOrReplaceTempView？

apache-spark-sql、delta-lake

我会将数据从拼图加载到火花数据，并使用df.CreateOrReplaceTempView("TableName")创建一个临时表，这样我就可以使用spark或% SQL魔术来执行ETL了。但是，如果我不想执行这个saveAsTable操作并写入我的数据湖，该怎么办？使用SQL执行ETL的最佳方法是什么？我知道我可以通过多种方法将Delta表持久化到Hive中，例如通过df.write.format("delta"

浏览 6提问于2022-09-08得票数 0

回答已采纳

1回答

在不能访问internet的服务器上安装Delta Lake库

apache-spark、installation、pyspark、delta-lake

因此，在spark会话中正常使用Delta lake是不起作用的。从pyspark.sql导入SparkSession .builder \ .master("...") \ .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtensi

浏览 12提问于2021-03-12得票数 2

2回答

无法读取Delta格式的Delta / Parquet文件

apache-spark、pyspark、azure-databricks、delta-lake

我试图使用Databricks中的以下代码来读取Databricks中的delta / parquet df3 = spark.read.format("delta").load('/mnt/lake/

浏览 9提问于2022-08-06得票数 0

回答已采纳

1回答

delta中spark.databricks.delta.snapshotPartitions配置的用途是什么？

apache-spark、delta-lake

我在穿越德尔塔湖的时候遇到了一个配置spark.databricks.delta.snapshotPartitions，但是我不太确定这是用来做什么的？在delta lake文档中也找不到这一点。在delta lake github中找到以下代码，但不确定此属性如何工作 buildConf("snapshotPartitions")

浏览 18提问于2020-05-06得票数 0

回答已采纳

1回答

如何在德尔塔湖访问金表的网络仪表板和其他？

rest、apache-spark、delta-lake

我使用的是delta lake oss版本0.8.0。让我们假设我们使用原始数据计算了聚合数据和立方体，并使用delta将结果保存在一个金表中。我的问题是，有没有一种众所周知的方法来访问这些金表数据并将其传送到web仪表板？在我看来，您需要一个正在运行的spark会话来查询增量表。因此，一种可能的解决方案是编写一个web api，它执行这些spark查询。您也可以将gold结果写入postgr

浏览 31提问于2021-02-24得票数 1

回答已采纳

1回答

将数据流式传输到德尔塔湖，读取过滤结果

java、apache-spark、kotlin、delta-lake

我的目标是不断地将传入的拼图文件放入delta-lake，进行查询，并将结果放入Rest API中。所有文件都在s3存储桶中。//listen for changesdf.writeStream() .form

浏览 5提问于2020-10-16得票数 0

2回答

德尔塔湖独立于阿帕奇火花？

apache-spark、delta-lake

我一直在探索data lakehouse和Delta Lake的概念。它的一些功能看起来真的很有趣。就在项目主页上，有一张图表显示了Delta在“您现有的数据湖”上运行，但没有提到Spark。在其他地方，它表明德尔塔湖迪兹运行在Spark之上。所以我的问题是，它可以独立于Spark运行吗？例如，我可以在不使用Spark的架构中，使用S3存储桶来设置Delta Lake，以便以Parquet格式进行存储、模式验证等吗？

浏览 2提问于2021-04-20得票数 3

点击加载更多