数据湖数据中台 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

Azure应用程序无法访问数据湖存储中新创建的文件

azure、azure-data-lake、u-sql

我编写了控制台应用程序来监控/分析Azure数据湖存储中的文件。我在Azure活动目录中创建了一个应用程序来访问azure资源。我遵循了给出的所有步骤，让能够访问蔚蓝数据湖存储上的应用程序。我提供了对父目录和数据湖存储的所有幼童文件夹/文件的访问权限。现在，我可以通过我的代码访问文件。我正在使用微软提供的.NET API进行数据湖分析和数据湖

浏览 1提问于2018-01-30得票数 0

1回答

QlikView和Hadoop与Kerberos在同一服务器上

hadoop、kerberos、qlikview

在同一台服务器上，我运行了一些qlikview的加载器和hadoop中的一个数据湖。我的qlikview加载器使用impala连接器(您可以在qlikmarkt中找到的连接器)查询数据湖的一些“表”，但我们将在数据湖中使用kerberos安全性。

浏览 0提问于2016-04-07得票数 1

7回答

Hadoop Vs数据湖

hadoop、data-warehouse、data-lake

我听说了数据湖这个新名词。我在谷歌上查到了数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<

浏览 8提问于2016-03-14得票数 16

2回答

从一个DataLake到另一个DataLake的Azure数据工厂复制

azure-data-lake、azure-data-factory-2

我需要建立一个能够从一个DataLake复制到另一个的管道，但是到目前为止，通过谷歌搜索，我找不到任何与之相关的东西，有人能给我指出正确的方向吗？非常感谢。

浏览 16提问于2018-02-21得票数 0

1回答

如何使用用户分配的标识从数据库访问ADLS容器

azure、azure-databricks、azure-managed-identity、azure-data-lake-gen2

我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。

浏览 6提问于2022-03-08得票数 0

1回答

数据存档与数据摄入

bigdata、erp

从大数据或数据湖的角度来看，数据归档和数据摄入到底有什么区别？我推测，在数据湖的上下文中，“摄入”是一个恰当的词，但是如果我们在那里使用'Archival‘而不是’摄入‘，那么我们所缺少的是什么。我认为使用“摄入”而不是“归档”的几个原因是谢谢

浏览 1提问于2018-09-28得票数 0

2回答

Azure web应用程序与数据湖的集成

azure、web-applications、azure-data-lake

我正在创建一个python作业，它运行脚本将存储在数据湖中的excel数据转换为csv。'adl://DLstorename.azuredatalakestore.net/filename.xlsx‘：OSError: Errno 22无效参数有人能建议我应该如何将我的网络工作与数据湖连接起来

浏览 0提问于2018-04-12得票数 1

回答已采纳

1回答

亚马逊雅典娜数据库--是否有一种自动方式为Amazon生成数据模式的方法

schema、amazon-rds、json、amazon-web-services

亚马逊雅典娜数据库--是否有一种自动方式为Amazon生成数据模式的方法请参阅： https://docs.aws.amazon.com/machine-learning

浏览 0提问于2021-04-28得票数 0

回答已采纳

3回答

AWS湖形成: s3://abc/的湖形成许可不足

amazon-web-services、amazon-s3、aws-lake-formation

我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：有人能帮上忙吗

浏览 0提问于2020-09-15得票数 10

2回答

如何处理数据湖vs数据仓库中的历史化数据？

data-warehouse、data-lake

在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？

浏览 36提问于2020-11-30得票数 0

回答已采纳

1回答

能否在Azure database中创建链接服务到Synapse数据库

azure-data-factory、azure-synapse

嗨，有人能让我知道是否有可能在Azure数据工厂中创建链接到湖泊数据库的服务吗？

浏览 2提问于2022-06-20得票数 0

回答已采纳

1回答

Azure数据工厂和数据库之间的连接

azure、azure-data-factory、azure-data-factory-2、azure-databricks

我想知道从Azure数据工厂访问databricks最合适的方式是什么。目前，我已经将databricks作为一个链接服务，我通过一个生成的令牌来访问它。

浏览 0提问于2019-11-01得票数 0

1回答

如何使用azure数据工厂下载blobs

azure、azure-data-factory

我正在使用数据工厂来创建我的管道，我面临着一些挑战。

浏览 2提问于2021-12-10得票数 0

回答已采纳

1回答

将Azure应用程序Insight日志文件导出到Azure数据湖存储

azure、azure-application-insights、azure-data-lake

我可以通过azure应用程序洞察力跟踪我的应用程序日志文件，并导出xls工作表( )，但是为了备份跟踪目的，我需要将所有日志文件存储到蔚蓝数据湖存储中。我需要在我的应用程序上调试这个问题，当我面对issues.but时，我得到了和继续导出sql，blob存储的链接，我不想要不必要的存储来将我的数据存储在蔚蓝资源中。因此，如果有任何方式连接应用程序洞察力到Azure数据湖通过连接器或plugins.IF，its，请您分享我的链接。谢谢。。

浏览 2提问于2017-05-30得票数 5

2回答

如果我删除Azure数据湖分析帐户，它会删除它的默认数据源吗？

azure、azure-data-lake

我对Azure相当陌生，我只是尝试Azure数据湖分析。为了测试目的，我创建了一个新的Azure帐户，并且希望现在就删除它，但是在安装过程中，我使用了一个现有的Azure数据湖存储(ADLS)帐户作为默认的存储帐户。我现在知道我可能应该添加现有的ADLS作为关联的数据存储。

浏览 3提问于2017-08-18得票数 0

2回答

如何使用数据工厂截断Dynamics 365实体(并复制到Azure数据湖)？

azure、dynamics-crm、azure-data-factory、azure-data-lake、azure-data-factory-2

我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。实体每24小时保存为数据湖中的CSV文件。我希望将实体截断为新数据，并附加到数据湖中已经存在的文件中，而不是批量复制。我认为这是SQL数据库的常见操作，但这可以在Dynamics 365和数据湖之间完成吗？

浏览 14提问于2019-05-01得票数 1

2回答

在我的用例中需要数据吗？

data

我的web应用程序存储使用数据，例如：执行的任务等等，我需要显示仪表板和报告的使用和性能趋势，例如：平均任务执行时间是多少？数据来自具有特定数据模型的关系数据库。有人要求我创建一个数据记录，只是给他我所有的原始数据。我不明白这张照片里有什么数据。没有模型和关系，我的数据是无用的。而且，我没有事件流:我在关系数据库中有表。例如，“任务”表中的一行将

浏览 0提问于2018-11-04得票数 1

1回答