将DataFrame从数据库写入数据湖
是将数据库中的数据以DataFrame的形式存储到数据湖中。数据湖是一种存储大量结构化和非结构化数据的系统，它可以容纳各种类型和格式的数据，并提供灵活的数据访问和分析能力。
优势：
- 数据湖可以存储大量的数据，包括结构化、半结构化和非结构化数据，无需事先定义数据模式。
- 数据湖提供了灵活的数据访问和分析能力，可以支持多种查询和分析工具。
- 数据湖可以与其他数据处理工具和技术集成，如数据仓库、机器学习和人工智能等。
- 数据湖可以提供数据的版本控制和数据质量管理功能，方便数据的管理和维护。
应用场景：
- 数据分析和挖掘：将数据库中的数据写入数据湖，可以方便进行数据分析和挖掘工作，发现数据中的模式和趋势。
- 数据集成和共享：将不同数据库中的数据写入数据湖，可以实现数据的集成和共享，方便不同部门和团队之间的数据交流和合作。
- 实时数据处理：将实时产生的数据写入数据湖，可以实现实时数据处理和分析，支持实时决策和业务处理。
- 数据备份和恢复：将数据库中的数据写入数据湖，可以作为数据的备份和恢复手段，保证数据的安全性和可靠性。
推荐的腾讯云相关产品：
腾讯云提供了一系列与数据湖相关的产品和服务，包括：
- 腾讯云对象存储（COS）：用于存储和管理数据湖中的数据，提供高可靠性和可扩展性。 产品介绍链接：https://cloud.tencent.com/product/cos
- 腾讯云数据仓库（CDW）：用于数据湖中的数据分析和查询，提供高性能和低延迟的数据访问能力。 产品介绍链接：https://cloud.tencent.com/product/cdw
- 腾讯云数据集成服务（DIS）：用于将数据库中的数据写入数据湖，支持多种数据源和数据格式。 产品介绍链接：https://cloud.tencent.com/product/dis
- 腾讯云数据开发套件（DataWorks）：用于数据湖中的数据开发和管理，提供数据集成、数据开发和数据治理等功能。 产品介绍链接：https://cloud.tencent.com/product/dw
请注意，以上推荐的产品仅为腾讯云的相关产品，其他云计算品牌商也提供类似的产品和服务。
相关·内容
我在我的三角洲湖中保存了一个dataframe，下面是命令：
df2.write.format("delta").mode("overwrite").partitionBy("updated_date").save("/delta/userdata/")
此外，我还可以装载和看到三角洲湖/userdata：
dfres=spark.read.format("delta").load("/delta/userdata")
但是在这里，我有一个疑问，比如当我将几个块文件从blob移动到创建datafra
浏览 0提问于2019-12-13得票数 2
1回答
我们的组织运行着Azure上的数据库，数据科学家和分析人员主要用于笔记本，以便进行特别的分析和探索。
我们还为不需要火花的ETL工作流运行Kubernetes集群。
我们希望使用达美湖作为我们的存储层，其中数据库和库伯奈特都可以读写作为头等舱公民。
目前，我们的Kubernetes作业直接将parquets写到blob存储，另外还有一个作业可以将databricks集群中的数据加载到Databrick的表格式中。这既慢又贵。
我想要做的是直接从Kubernetes python写到达美湖，而不是第一次将一个拼花文件转储到blob存储，然后触发一个额外的Databricks作业，将它加载到Del
浏览 3提问于2021-08-12得票数 2
回答已采纳
2回答
我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。
在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。
但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。
在当前的申请流程中，我遗漏了什么东西吗？
我可以使用Power直接从Azure数据湖获取数据，因此不需要数据仓库。我说的对吗？
我可以在Azure数据湖创建一个数据库，那
浏览 1提问于2018-03-15得票数 3
回答已采纳
我必须从Azure数据湖Gen2中读取数据库中的数百个avro文件，从每个文件中的Body字段中提取数据，并将所有提取的数据连接在一个唯一的数据中。要点是，所有要读取的avro文件都是存储在湖中不同子目录中的，如下所示：
根/YYYY/mm/DD/HH/mm/ss.avro
这迫使我循环摄取和选择数据。我正在使用这个Python代码，其中list_avro_files是指向所有文件的路径列表：
list_data = []
for file_avro in list_avro_files:
df = spark.read.format('avro').load(file_
浏览 3提问于2020-06-17得票数 0
回答已采纳
1回答
现在，我每天运行一项作业，从过去7天的delta湖获取数据，因为数据包含时间戳列。我正在处理这些数据并将其写入其他数据库。由于可能会有较晚的数据，我每天运行这项工作，并在最后7天检查新的数据。但是当我这样做的时候，我也会得到旧的数据和新的数据。因此，我现在所做的处理是(重写(旧数据)+后期数据+新数据)。我如何才能停止处理旧的data.Any思想？
浏览 4提问于2022-07-25得票数 1
我想使用Python将Dataframe (pyspark.pandas.Dataframe)作为一个Excel文件保存在Azure数据湖Gen2上。我已经切换到pyspark.pandas.Dataframe，因为它是从Spark3.2开始推荐的。
有一种名为to_excel (，文档)的方法允许将文件保存到ADL中的容器中，但我在文件系统访问协议方面遇到了问题。在同一个类中，我使用了使用abfss的to_csv和to_parquet方法，我想在excel中使用相同的方法。
因此，当我尝试这样保存它时，我使用：
import pyspark.pandas as ps
# Omit the d
浏览 32提问于2022-05-11得票数 0
回答已采纳
我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。实体每24小时保存为数据湖中的CSV文件。 我希望将实体截断为新数据，并附加到数据湖中已经存在的文件中，而不是批量复制。 我认为这是SQL数据库的常见操作，但这可以在Dynamics 365和数据湖之间完成吗？
浏览 14提问于2019-05-01得票数 1
1回答
在Hadoop生态系统中浏览不同的列数据库时，我遇到了术语“深度存储”。我不能理解深度存储意味着什么。深度存储是否意味着数据湖？它与存储在HDFS中的数据是否不同？
浏览 18提问于2019-03-08得票数 0
回答已采纳
2回答
有没有一种方法可以让我从流分析输出到数据湖，并使用aad应用程序或其他东西，而不是我的帐户，用于写入到数据湖？让用户作为数据湖的写入者是不切实际的。
浏览 3提问于2018-06-19得票数 0
我在Azure Databricks中有一条管道，它将数据从Google BigQuery(GBQ)移到Azure数据湖(gen 1)，中间在Azure数据库中进行一些清理。
第一个复制活动将数据从GBQ复制到数据湖，然后数据通过Databricks，最后一个活动将数据复制到blob容器中。
在4个初始复制活动中，有一个随机失败，错误如下
失败发生在'Sink‘方面。'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，Message=Writing to 'AzureDataLa
浏览 3提问于2021-07-09得票数 0
1回答
如果您有一个具有复制数据活动的管道，该管道将数据从copies服务器复制到蔚蓝数据湖存储帐户，则选择某种形式的压缩。
压缩发生在哪里？是通过互联网传输到云的数据，然后进行压缩。或者它会被自我托管的集成运行时压缩到prem上？
浏览 5提问于2019-12-16得票数 0
回答已采纳
1回答
我有一个要求分类的PII和非PII数据从Azure数据湖发电1文件。由于我不想复制数据湖中的物理文件创建，我们是否可以在数据湖中创建逻辑视图，最好与物化视图相比较。
更好的技术-天青同步分析/数据库/ VM与火花过程，.
此外，该技术易于与RBAC的Active Directory集成。
告诉我可能性。
浏览 4提问于2020-09-11得票数 0
回答已采纳
在有限的Azure Machine Learning Studio上，用户可以从本地SQL Server数据库导入数据。从Azure machine Learning Services工作区在虚拟机上的python jupyter笔记本上执行完全相同的操作的能力如何？ 从我在文档中发现的情况来看，这似乎是不可能的。数据源将在Azure ML服务中受到限制：“目前，可以注册为数据存储的支持Azure存储服务列表包括Azure Blob容器、Azure文件共享、Azure数据湖、Azure数据湖Gen2、Azure SQL数据库、Azure PostgreSQL和数据库文件系统” 预先感谢您的帮
浏览 32提问于2019-05-21得票数 0
回答已采纳
从Azure数据湖中，向AzureSQL DB中的外部表插入记录会产生以下错误：
Error E_CSC_USER_CANNOTMODIFYEXTERNALTABLE Modifying external table 'credDB.dbo.BuildInfosClone' is not supported.
Modifying external table 'credDB.dbo.BuildInfosClone' is not supported.
External tables are read-only tables.
如何在外部数据库中插入记录
浏览 0提问于2018-06-14得票数 1
1回答
是否有可能在内部实施delta lake？如果是，需要安装哪些软件/工具？ 我正在尝试在本地实现一个增量湖，以分析一些日志文件和数据库表。我现在的机器上装了ubuntu，apache spark。不确定还需要哪些其他工具。 是否有任何其他工具建议来实施内部数据湖概念？
浏览 20提问于2021-02-10得票数 2
我想使用我的天蓝色数据湖Gen2上的蜂巢Metastore中的达美湖表作为我公司湖房的基础。
以前，我使用了“常规”蜂巢目录表。我会将数据从拼图加载到火花数据，并使用df.CreateOrReplaceTempView("TableName")创建一个临时表，这样我就可以使用spark或% SQL魔术来执行ETL了。这样做之后，我可以在spark.sql或%%sql上使用TableName。当我做完了，我会write我的桌子到蜂巢亚稳态。
但是，如果我不想执行这个saveAsTable操作并写入我的数据湖，该怎么办？使用SQL执行ETL的最佳方法是什么？
我知道我可以通过多种方
浏览 6提问于2022-09-08得票数 0
回答已采纳
我想要完全迁移所有的表从azure SQL数据库到azure数据湖。我怎么能做到这一点。请给我一些场景，这样我就可以完全搬到天蓝色的数据湖。提前谢谢。
我也可以通过SSIS做到这一点吗？
浏览 1提问于2016-10-21得票数 2
2回答
(Azure)数据湖的元数据管理
、、、、
据我所知，数据湖解决方案用于存储从原始格式的原始数据到经过处理的数据。不过，我还不能理解(Azure)数据湖中的元数据管理的概念。在数据湖中处理元数据的最佳实践是什么？
是否有任何自动读取元数据的机制(例如，从头文件中读取)，如果有，是否有任何方法来查看和编辑此元数据(可能是编程实现的API )？我担心，如果没有适当的管理，“湖”只会变成“数据坟墓”。一种解决方案可能是创建一个自己的数据库，我自己在其中存储每个文件的元数据。还有其他更先进的方法吗？
浏览 4提问于2017-03-27得票数 3
我在Azure Data Lake中有一个CSV文件。我想将此文件的类型更改为DataBricks的csv.gz。
我可以将此文件写入df，然后将文件另存为csv.gz，然后从数据湖中删除csv文件。
是否有可能在不将文件写入df的情况下将类型更改为csv.gz？
提前谢谢。
浏览 5提问于2020-09-29得票数 0
我正在寻找一种最佳的编程方法从Azure数据湖提取数据到MSSQL数据库，MSSQL数据库安装在Azure中的VM上。
目前，我正考虑下列方案：
SSIS ()
用户定义的输出，
读取Azure数据湖数据并将其插入Server的自定义C#代码
还有其他我错过的好方法吗？
浏览 3提问于2017-12-21得票数 0
2回答
对于我正在进行的项目，我需要将API中的JSON输出读入星火DataFrame，以便进一步处理数据湖存储。但是，JSON并不仅仅是我习惯使用的常规JSON。我想将下面的JSON转换成一个星火DataFrame，这样它就可以用于Delta的处理。有人知道如何有效地将其转换为DataFrame吗？
[
[
{
"name": "Id",
"value": "1"
},
{
"name": "Firstname",
"
浏览 8提问于2022-02-28得票数 1
回答已采纳
1回答
我试图使用下面的代码将存储在Azure数据湖Gen2上的json文档导入Server数据库，但遇到以下错误。但是，当我从Server读取数据时，jdbc连接可以工作。
错误消息： The driver could not open a JDBC connection.
代码：
df = spark.read.format('json').load("wasbs://<file_system>@<storage-account-name>.blob.core.windows.net/empDir/data";)
val blobStorag
浏览 3提问于2020-08-21得票数 0
回答已采纳
假设Azure数据工厂中有参数管道，将数据从Dataset_DL_XXX (数据湖)复制到Dataset_DB_XXX (Azure数据库)。这项活动于晚上10:00开始。晚上10点05分，我们又有一个请求将数据从Dataset_DL_YYY (数据湖)复制到Dataset_DB_YYY (Azure数据库)。
我们可以使用相同的管道触发多个任务吗？还是我们还有别的办法？
谢谢。
浏览 4提问于2019-12-24得票数 0
是否有办法按原样将所有数据库从源Server加载到数据池？
我试着用他的表加载每个数据库，但我想问是否有一种方法可以像加载到数据湖那样加载所有的数据库。
浏览 7提问于2022-11-16得票数 0
我们可以移动/加载数据到天蓝色数据湖存储从宇宙数据库。如果可以做到，前提是什么？
对于这方面的任何帮助我们都很感激。
浏览 4提问于2021-06-22得票数 0
回答已采纳
我们正在使用Azure流分析从IOT集线器读取消息，并将其写入Azure数据湖存储。流分析作业的输入是JSON格式，输出应该是CSV Azure流分析，我们已经创建了多个输出数据接收器，这些数据接收器指向format.In数据湖存储中的不同目录。根据输入JSON字符串中的一个字段，我们必须将输入转换为CSV并写入相应的输出数据接收器。我们如何在流分析查询中实现这一点？
浏览 2提问于2017-03-21得票数 1
我正在使用以下内容作为研讨会？v=IAqJ6nCDtGc
我在Azure SQL数据库(而不是本地数据库)中有一些销售数据
我有一个数据湖Gen Storage 1，我已经成功地设置了连接器和数据集。每个接头的测试结果均为ok
创建Azure数据湖创建应用程序注册以获取主体ID和主体密钥所需的信息
根据上面的视频，我已经创建了具有复制活动的管道
当我运行它时，我得到以下结果
{ "errorCode"："2200"，"message"：“'Sink‘端出现故障。ErrorCode=UserErrorFailedFileOperation，
浏览 49提问于2018-12-13得票数 0
1回答
我是新的天青数据湖，目前正在使用数据工厂v2将数据从我的事务数据库转移到蔚蓝数据湖存储。
考虑一个场景
公司拥有多个数据源。
A组负责源A
B组负责源B
C组负责源C
多作者
每个团队负责将数据移动到数据池中。
A组在下移动数据
/TeamA/Entiy01.csv
/TeamA/Entiy02.csv
。。
B组在下移动数据
/TeamB/实体03.csv
。。
多读者
Team可以在databricks环境中读取数据并执行计算
Team可以获取数据，转换数据并将其复制到单个租户文件夹中
网球1/实
浏览 1提问于2018-03-05得票数 0
我正在研究几种“事务性数据湖”技术，如Apache、Delta、AWS格式治理表。
除了后者，我看不出它们在多集群环境中是如何工作的。我以s3为基础进行存储，并希望增量地修改我的数据池，在那里，可能有许多集群在任何给定的时间都会从该湖读取并写入该湖。这有可能/得到支持吗？压缩和事务处理似乎处于群集状态。因此，您不能使用来自多个不同来源的这些平台来管理事务性数据池。还是我搞错了？
您发现的任何轶事或性能限制都将不胜感激！
浏览 1提问于2021-10-16得票数 3
我正在尝试从Azure数据湖Gen1中读取avro数据，该数据是从Azure EventHubs生成的，Azure事件集线器捕获是在Azure数据库中启用的：
inputdata = "evenhubscapturepath/*/*"
rawData = spark.read.format("avro").load(inputdata)
以下语句失败
rawData.count()
使用
org.apache.spark.SparkException: Job aborted due to stage failure: Task 162 in stage 48.
浏览 3提问于2019-12-01得票数 1
回答已采纳
我们的团队有一个Azure Data Lake Gen2。另一个团队希望将数据输入到数据湖中，但他们不应该能够在数据湖中查看我们的内容。我怎样才能做到这一点？ 我认为部分访问是不可能的，需要为外部团队创建另一个Azure数据湖来放置数据。我说的对吗？
浏览 25提问于2020-09-24得票数 0
1回答
目前，在我的组织中，我们持有弹性搜索中的半结构化数据，我们使用查询进行快速文本搜索和聚合，但是我们有其他产品在其他数据库中，所以我们希望将所有的数据放在像HDFS这样的数据湖中。
因此，如果我使用HDFS作为一个数据湖来保存原始数据，那么如何使用弹性搜索呢？我指的是在使用之前的弹性搜索索引数据，那么是否可以将数据保存在数据湖中，然后弹性搜索就可以直接从数据湖查询数据，而不需要将数据存储在弹性中？或者我会把数据保存在数据湖中，然后处理它，然后再用弹性存储它，这样它就可以索引它了吗？
总之，我想知道弹性和hadoop干涉的概念。
浏览 3提问于2022-11-21得票数 0
1回答
我目前正在使用Azure database将平面文件数据从第二代数据湖加载到Synapse数据库表中。不幸的是，我们为每个提要接收到(许多)数千个文件到有时间戳的文件夹中。我目前正在使用Synapse外部表将这些数据复制到标准堆表中。
由于每个文件夹包含如此多的文件，我想移动(或复制/删除)整个文件夹(处理后)在湖的其他地方。对于Azure数据工厂，有什么实用的方法吗？
浏览 2提问于2022-11-10得票数 0
我使用将数据从数据湖传输到GP。我有一列数据类型为"DateTime“。
import psycopg2
import pandas as pds
from sqlalchemy import create_engine
alchemyEngine = create_engine('postgresql+psycopg2://user_name:Host:5432/warehouse')
dbConnection = alchemyEngine.connect()
script = '''SELECT name,lastrun_d
浏览 21提问于2022-07-04得票数 0
4回答
我有一个青铜级别的增量湖表(Events_bronze)，位置是"/mnt/events- bronze“，数据从kafka流到这个位置。现在我希望能够从这个表中流出并使用"foreachBatch“更新到一个银表( events_silver )中。这可以使用铜表作为源来实现。但是，在初始运行期间，由于events_silver不存在，我一直收到错误消息说增量表不存在，这是很明显的。那么我如何创建与events_silver具有相同结构的events_bronze呢?我找不到一个DDL来做同样的事情。
def upsertToDelta(microBatchOutputDF:
浏览 1提问于2019-10-05得票数 1
我有两个不同的应用程序处理来自数据湖存储Gen1的数据。
第一个应用程序上传文件:如果同一天有多个上载，则将覆盖现有文件(它始终是使用YYYY-MM-dd格式保存的每天文件)。
第二个应用程序从文件中读取数据。
是否有锁定此操作的选项:当执行写入操作时，不应进行读，而当读取发生时，写入应等到读操作完成。
我没有找到使用AdlsClient的任何选项。
谢谢。
浏览 4提问于2019-10-09得票数 1
回答已采纳
我正在移动数据到Azure数据湖存储和处理它使用Azure数据湖分析。数据是XML格式的，我正在通过读取它。现在，我想从Azure中访问这些数据，看起来Azure数据湖存储目前还不受直接支持。
用Azure ML使用Azure的可能方法是什么？
浏览 2提问于2016-03-21得票数 0
回答已采纳
因此，我有一些通过使用R编程语言生成的大型.rdata文件。我目前已经使用azure存储资源管理器将它们上传到了Azure data lake。但我必须将这些rdata文件转换为parquet格式，然后将它们重新插入到数据湖中。我该怎么做呢？我似乎找不到任何关于从rdata转换到parquet的信息。
浏览 15提问于2021-02-06得票数 0
回答已采纳
...Or我是否需要先使用数据工厂将数据添加到数据湖中，然后再使用databricks作为ELT？
浏览 38提问于2019-02-08得票数 0
回答已采纳
我需要将数据从Azure SQL托管实例作为json文档导出到数据湖存储。我必须使用来完成这一任务。我尝试使用灵活的文件目标数据流任务，但是当我看到支持的文件格式时，不支持json。我还能有什么其他选择来完成这个任务。
浏览 3提问于2022-04-11得票数 1
我有一个问题，我应该如何从Auzre数据湖下载一个.csv文件，然后进行一些计算，并将其再次保存在.csv中。我知道在下载.csv时我可以使用：data=pd.read_csv('example.csv') #example
new_data=data//2+data #calculation in databricks notebook现在的问题是如何在Azure数据湖中以.csv格式保存名称为：example_calulated.csv的example_calulated.csv
浏览 1提问于2022-08-16得票数 0
1回答
我希望有一个源系统的增量加载模式，其中没有审计字段，它说明了记录上次修改的时间。示例:上次修改时间(日期和时间) 但是这些表是用主键和唯一键定义的，当属性发生任何变化时，应用程序都会使用它们来更新记录。 现在的问题是，我如何确定Delta的每天，并使用Azure数据工厂/数据库将它们加载到Azure数据湖中。 我是否应该转移当天和当天1的全套数据，并使用哈希值确定增量？ 还是有更好的方法？
浏览 26提问于2020-03-26得票数 2
下面是将数据从SQL数据库传输到Azure数据湖的命令：
sqoop-import --connect "jdbc:sqlserver://MYDB.database.windows.net:1433;username=MYUSERNAME@MYDB;password=MYPW;database=MYDb" --table TABLENAME --target-dir adl://TESTTT.azuredatalakestore.net/Sqoop/TABLENAME
结果是好的，除了它不包括列名，有没有方法包括这些列名？
浏览 10提问于2017-04-26得票数 2
回答已采纳
1回答
是否有任何功能可以使达美湖在数据库。我们一直在使用数据蛋糕中的拼花文件。我们怎样才能利用三角洲湖？
它是只使用DELTA选项，还是有任何功能需要启用？
浏览 6提问于2022-07-10得票数 0
我有一个需求，比如我想从Azure函数连接到我的Azure数据湖v2(ADLS)，读取文件，使用python处理它，然后在Azure数据湖中再次写它。因此，我的输入和输出绑定将是ADLS。在python中是否有用于Azure函数的ADLS绑定？有人能对此提出建议吗？
谢谢你，安滕·D
浏览 1提问于2020-10-25得票数 0
2回答
我从数据库中生成了一个DataFrame。如何提供下载CSV的响应？
基本上，
df = magic_dataframe_supplier()
response = HttpResponse(content_type='text/csv')
response['Content-Disposition'] = 'attachment; filename=export.csv'
# ... type mapping code ...
return response
我已经有了一个csv.writer的工作版本，但出于明显的原因，这不是一个Data
浏览 0提问于2019-02-17得票数 9
回答已采纳
1回答
三角洲湖表存储分类
、、、、
我有一个三角洲湖表，并将数据插入到那个表中。业务要求对数据进行排序，同时将其存储在表中。
在创建delta表之前，我对数据进行了排序，如下所示
df.sort()
然后创建delta表，如下所示
df.write.format('delta').Option('mergeSchema, true).save('deltalocation')
当将这些数据检索到dataframe时，我看到数据仍未排序。
为了显示已排序的数据，我必须做df.sort。
根据我的理解，数据实际上不能按排序顺序存储，用户必须在从表中提取数据时编写排序查询。
我需要了解这是否正确
浏览 11提问于2022-12-01得票数 0
一位朋友的公司正在开发一种数据架构，对我们来说，它似乎相当复杂，并且存在一些可伸缩性和成本问题。
如果可能的话，我想征求您对旧的和建议的体系结构(或备选方案)的意见，讨论它们的优点和缺点，并可能发现不可预见的问题/限制。
当前架构- Azure Stack
摄食层
多源通过Azure数据库存储到Azure数据湖Gen2
处理层
Azure数据库清理数据并将其存储回Azure数据湖Gen2中:原始的、干净的
加载层
使用instanceAzure Azure数据库将数据加载到Azure Server中，使用 Synapse作为Azure Server和Azure Analysis 之间的层
浏览 5提问于2021-12-10得票数 0
1回答
我一直困惑着是要创建一个数据湖还是一个数据仓库，希望一些有经验的现实世界的专业人士能给我一些启示。
我想用我从多个来源(IoT设备、API等)摄取的数据来存储、可视化和执行机器学习。我读到，在我们所处的当前环境中，企业将同时需要数据湖和数据仓库。
我的问题是：
我是否应该先创建一个数据湖，然后从湖中转换/处理这些原始数据，并将其摄取到数据仓库中？
还是数据湖本身是一个独立的数据处理管道？
还是这取决于用例？
这就是我一直在想的：
📷
PS:如果这是错误的StackExchange，请告诉我，谢谢:)
浏览 0提问于2022-05-13得票数 2
回答已采纳
试图使用自动加载程序，其中AWS S3是源，Delta湖在Azure Datalake。当我试图读取文件时，它会给我以下错误
从提供事务保证的角度来看，从非AWS向Delta表写入AWS是不安全的。如果您能够保证没有其他人会同时修改相同的Delta表，那么在启动集群时，您可以通过将SparkConf: SparkConf设置为false来关闭此检查。
尝试在群集级别设置设置，它可以正常工作。我的问题是，我们是否可以确保事务性保证将数据从AWS3加载到Azure Datalake (Datalake是我们Datalake的后端存储)。我们不希望在集群级别设置"spark.databric
浏览 6提问于2021-04-11得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
