数据库入湖是什么意思 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

如何使用用户分配的标识从数据库访问ADLS容器

azure、azure-databricks、azure-managed-identity、azure-data-lake-gen2

我有一个带有blob容器的ADLS存储帐户。我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。我的问题是如何使用托管标识，或者如何在不挂载或使用秘密的情况下从Databricks对ADLS存储进行转换？谢谢。

浏览 6提问于2022-03-08得票数 0

3回答

AWS湖形成: s3://abc/的湖形成许可不足

amazon-web-services、amazon-s3、aws-lake-formation

我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：有人能帮上忙吗实际问题是什么！

浏览 0提问于2020-09-15得票数 10

2回答

使用Azure数据湖时是否需要数据仓库？

azure、data-warehouse、azure-data-factory、azure-data-lake

我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。在当前的申请流程中，我遗漏了什么东西吗？我可以使用Power直接从Azure数据湖获取数据，

浏览 1提问于2018-03-15得票数 3

回答已采纳

1回答

基于温度的数据湖

azure-data-lake

我最近遇到了一个基于温度的术语数据湖，我搜索了有关它的信息，但找不到任何与它相关的信息。谁能解释一下这是什么意思，并分享任何链接。提前谢谢。

浏览 17提问于2021-04-02得票数 0

1回答

在TFS中，它可以将SQL视图、Sprocs、functions表脚本存储为工作项吗？

team-foundation-server

当开发人员创建新的查询、sprocs、函数等时，我希望能够跟踪TFS中数据库的这些类型的更改。另外，是否可以将这些脚本存储为工作项？或者是否有跟踪TFS之外数据库更改的首选方法？- Thx Marc

浏览 0提问于2011-04-26得票数 0

2回答

(Azure)数据湖的元数据管理

azure、metadata、azure-data-lake、database-metadata、data-lake

据我所知，数据湖解决方案用于存储从原始格式的原始数据到经过处理的数据。不过，我还不能理解(Azure)数据湖中的元数据管理的概念。在数据湖中处理元数据的最佳实践是什么？我担心，如果没有适当的管理，“湖”只会变成“数据坟墓”。一种解决方案可能是创建一个自己的数据库，我自己在其中存储每个文件的元数据。还有其他更先进的方法吗？

浏览 4提问于2017-03-27得票数 3

1回答

数据湖:数据目录和数据模式定义

mysql、postgresql、database-design、data-dictionary

我意识到，当这篇文章谈到数据湖时，这个术语将被用来将data catalog描述为containing metadata information within data lake。现在，据我所知，数据目录是数据库。而data schema被描述为containing metadata information within a database。这意味着数据湖中的data catalog等于数据库中的data schema。两者似乎具有相同的目的，如数据发现。但术语在不同的层次上使用。一个用于数据湖，另一

浏览 0提问于2020-02-07得票数 0

1回答

将数据从Cosmos DB移动到Azure数据湖存储

azure、azure-cosmosdb、azure-data-lake

我们可以移动/加载数据到天蓝色数据湖存储从宇宙数据库。如果可以做到，前提是什么？对于这方面的任何帮助我们都很感激。

浏览 4提问于2021-06-22得票数 0

回答已采纳

2回答

五旬斋中的“餐桌存在”一步

pentaho、kettle、pdi

我想使用“表存在”步骤来检查某些表是否存在，如果不存在，那么创建一个表Table Input -----> Table exists ---最后两个结果字段名是什么？我怎么能用呢？

浏览 1提问于2015-11-22得票数 4

回答已采纳

1回答

带有增量文件verison的Pyspark结构化流错误

pyspark、databricks、spark-structured-streaming、azure-data-lake、delta-lake

这两个表都位于Azure数据湖容器中。我得到以下错误，我无法理解：这是什么意思？

浏览 3提问于2021-10-21得票数 1

1回答

浅谈Azure表中批量操作的重试

c#、azure、azure-table-storage、azure-data-factory

我正在尝试通过Azure将数据从Azure数据湖存储到Azure表。Azure数据列表文件中的数据与最终Azure表接收器中的数据处于相同的架构中。ADF管道由从Azure数据湖存储区复制到Azure表的单个复制活动组成。但ADF管道有时由于节流而失败。我负担不起重新运行完整的管道，因为它需要几个小时。如果批处理通过设置参数或在ADF管道中生成不同的活动图而失败，是否有方法重试它？

浏览 0提问于2019-07-24得票数 1

1回答