数据入湖原则 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

如何使用用户分配的标识从数据库访问ADLS容器

azure、azure-databricks、azure-managed-identity、azure-data-lake-gen2

我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。

浏览 6提问于2022-03-08得票数 0

1回答

创建从Crystal Reports到Azure Synapse Analytics的服务原则连接

crystal-reports、azure-synapse

我将数据保存在Azure data Lake Gen 2存储容器中。我想为在Crystal Reports中使用SQL on demand编写的现有报告提供此数据。我可以访问Synapse环境和数据湖。这成功地工作了，尽管速度很慢，但提取了所需的所有信息。要正确部署此解决方案，我需要删除我的AAD证书，并使用已配置的服务原则。我给出了从数据湖中读取的服务原则，并将该原则添加到SQL数据库中。现在我被困在如何使用这个

浏览 28提问于2021-09-13得票数 2

回答已采纳

1回答

计算: 3001在databricks中意味着什么？

apache-spark、pyspark、databricks、spark-streaming、delta-lake

当将数据从kafka主题加载到增量湖时，运行时的单元格输出显示“计算快照版本: 3001”。我以前多次看到这条信息，但这是我第一次看到一个异常庞大的数字。这个信息到底是什么意思？

浏览 8提问于2022-11-22得票数 1

回答已采纳

3回答

AWS湖形成: s3://abc/的湖形成许可不足

amazon-web-services、amazon-s3、aws-lake-formation

我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：有人能帮上忙吗

浏览 0提问于2020-09-15得票数 10

2回答

.Net客户端应用程序访问Azure数据湖时的AccessControlException

azure、azure-active-directory、azure-data-lake、azure-authentication、azure-security

我正在尝试使用this example从.Net客户端应用程序访问数据湖我已经在AAD租户中注册了客户端应用程序，并使用其中的客户端Id和客户端密钥(因为我认为这是服务到服务的身份验证)。数据湖位于不同的订阅中，但属于同一租户/AAD 应用程序在“所有者”和“已分配权限”下对数据记录中的特定文件夹(根文件夹下两个层次结构)具有读/写/执行权限。如果是这样，我该如何检查我的应用程序的服务主体在这个数据湖上的访问权限。谢谢。

浏览 11提问于2019-01-06得票数 0

回答已采纳

7回答

Hadoop Vs数据湖

hadoop、data-warehouse、data-lake

我听说了数据湖这个新名词。我在谷歌上查到了数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<

浏览 8提问于2016-03-14得票数 16

2回答

从一个DataLake到另一个DataLake的Azure数据工厂复制

azure-data-lake、azure-data-factory-2

我需要建立一个能够从一个DataLake复制到另一个的管道，但是到目前为止，通过谷歌搜索，我找不到任何与之相关的东西，有人能给我指出正确的方向吗？非常感谢。

浏览 16提问于2018-02-21得票数 0

1回答

您是以规范化格式将数据存储在达美湖银层中，还是从中派生数据？

delta-lake、data-lakehouse

我目前正在建立一个数据湖，试图遵循达美湖的原则(在青铜中降落，清洗并合并成银，然后，如果需要，以黄金呈现最终视图)，并有一个问题，什么应该储存在银。例如，如果青铜器中的数据来自REST并以JSON形式存储，则以以下格式输入：一个例子看上去如下：'id':12345,| 12345 | a | |

浏览 4提问于2022-04-11得票数 2

回答已采纳

2回答

使用模板部署使用数据湖创建Azure HDInsight时出现的问题

azure、azure-resource-manager、azure-hdinsight、azure-data-lake

我正在尝试使用模板部署 HDInsight创建带有数据湖的Azure。但我在执行模板时遇到了一个问题，因为我认为原因是“服务原则名称”与蔚蓝数据湖存储的集成。错误:当访问数据存储帐户时出错:从AAD获取AppPrincipalId XXXXXX-XXXXXXXXX-XXXXX-XXX-XXXXX的OAuth令牌时出错。然后为应用程序添加了“数据湖权限”。但我还是觉得我可能失踪了。

浏览 2提问于2017-04-28得票数 2

回答已采纳

2回答

将数据湖存储gen 2与数据库连接起来

azure、oauth-2.0、azure-databricks

我试图连接与数据湖存储v2，并无法匹配客户端，秘密范围和密钥。我已经在Azure密钥库和Databricks中创建了包含键和值的秘密范围。

浏览 0提问于2019-01-29得票数 3

回答已采纳

2回答

如果我删除Azure数据湖分析帐户，它会删除它的默认数据源吗？

azure、azure-data-lake

我对Azure相当陌生，我只是尝试Azure数据湖分析。为了测试目的，我创建了一个新的Azure帐户，并且希望现在就删除它，但是在安装过程中，我使用了一个现有的Azure数据湖存储(ADLS)帐户作为默认的存储帐户。我现在知道我可能应该添加现有的ADLS作为关联的数据存储。

浏览 3提问于2017-08-18得票数 0

1回答

将Azure应用程序Insight日志文件导出到Azure数据湖存储

azure、azure-application-insights、azure-data-lake

我可以通过azure应用程序洞察力跟踪我的应用程序日志文件，并导出xls工作表( )，但是为了备份跟踪目的，我需要将所有日志文件存储到蔚蓝数据湖存储中。我需要在我的应用程序上调试这个问题，当我面对issues.but时，我得到了和继续导出sql，blob存储的链接，我不想要不必要的存储来将我的数据存储在蔚蓝资源中。因此，如果有任何方式连接应用程序洞察力到Azure数据湖通过连接器或plugins.IF，its，请您分享我的链接。谢谢。。

浏览 2提问于2017-05-30得票数 5

1回答

数据湖如何存储数据和格式？

sql、image、nosql、azure-data-lake、data-lake

我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。

浏览 0提问于2018-09-09得票数 2

回答已采纳

2回答

从数据湖中检索数据到分析系统

hadoop、bigdata、analytical

我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？

浏览 16提问于2018-10-04得票数 0

1回答

数据存档与数据摄入

bigdata、erp

从大数据或数据湖的角度来看，数据归档和数据摄入到底有什么区别？我推测，在数据湖的上下文中，“摄入”是一个恰当的词，但是如果我们在那里使用'Archival‘而不是’摄入‘，那么我们所缺少的是什么。我认为使用“摄入”而不是“归档”的几个原因是谢谢

浏览 1提问于2018-09-28得票数 0

2回答

如何处理数据湖vs数据仓库中的历史化数据？

data-warehouse、data-lake

在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？

浏览 36提问于2020-11-30得票数 0

回答已采纳

1回答

在datalake中插入if更新& Datalake: S3或MongoDB

database-design、blob

S3中的文件结构是大约99%的.csv's中的每一行都没有每次更新因此，可以检查每个.csv中哪些行已经更改，并且只将每个.csv的更新行和新添加的行存储到数据池中。另一种选择是使用非

浏览 0提问于2022-04-08得票数 -1

1回答

Kappa体系结构是否使用数据湖？

apache-spark、bigdata、data-processing、data-lake、kappa

Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。

浏览 10提问于2022-07-21得票数 0

回答已采纳

1回答

如果我通过enduser/承租者分割我的微服务数据，并且每个服务器都拥有全部数据的一个子集，那么如何在所有服务器上查询数据呢？

microservices、data-warehouse、scalability

设想一个高度可伸缩的体系结构，其中每个租户都是按区域和可用性区域划分和分布的，每个服务器都持有总数据的一个子集。还存在冗余，还有承载相同逻辑碎片的物理碎片。这很好，如果客户端知道分配给用户的所有逻辑碎片，那么在处理返回极端数量数据的请求时，客户端可以使用map/reduce样式检索所有数据。这解决了当用户的数据量大于任何单个服务器的存储、内存或计算的容量时的问题。那么我的问题是，如果一个名词微服务的数据是跨多个服务器隔离和共享的，并且每个服务器都承载着不同的用户或租户子集，我如何创建系统中所有对

浏览 4提问于2022-07-23得票数 0

1回答