1回答
如何使用用户分配的标识从数据库访问ADLS容器
azure、azure-databricks、azure-managed-identity、azure-data-lake-gen2
我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。
现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6提问于2022-03-08得票数 0
1回答
数据湖如何存储数据和格式？
sql、image、nosql、azure-data-lake、data-lake
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
3回答
AWS湖形成: s3://abc/的湖形成许可不足
amazon-web-services、amazon-s3、aws-lake-formation
我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：
有人能帮上忙吗
浏览 0提问于2020-09-15得票数 10
3回答
有没有一种方法可以使用逻辑应用程序将数据加载到Azure数据湖存储gen 2？
azure、azure-storage
我已经使用逻辑应用程序将数据加载到azure datalake存储gen2。我尝试使用连接器azure文件存储，但在that.Can中无法获得任何文件系统文件夹。有人在此问题上帮助我吗？
浏览 0提问于2019-05-16得票数 1
2回答
数据湖接收器上的数据工厂V2错误代码2200
azure、azure-data-lake、azure-data-factory-2
v=IAqJ6nCDtGc我有一个数据湖Gen Storage 1，我已经成功地设置了连接器和数据集。每个接头的测试结果均为ok根据上面的视频，我已经创建了具有复制活动的管道{ "errorCode，Source=System，'"，
浏览 49提问于2018-12-13得票数 0
1回答
将数据从Cosmos DB移动到Azure数据湖存储
azure、azure-cosmosdb、azure-data-lake
我们可以移动/加载数据到天蓝色数据湖存储从宇宙数据库。如果可以做到，前提是什么？
对于这方面的任何帮助我们都很感激。
浏览 4提问于2021-06-22得票数 0
回答已采纳
1回答
如何从Azure数据湖转换，将数据按日期文件夹分区到delta湖
azure、azure-data-factory、azure-data-lake、delta-lake
我拥有一个由datetime嵌套文件夹划分数据的蔚蓝数据湖gen2。我想向我的团队提供增量湖格式，但是我不确定我是否应该创建一个新的存储帐户，将数据复制成增量格式，或者将当前的蔚蓝数据湖转换为增量湖格式是否是最佳实践。
有人能提供关于这件事的任何建议吗？
浏览 2提问于2022-08-09得票数 0
回答已采纳
1回答
是否跟踪数据池中数据的更改？
business-intelligence、scd、data-lake
最近我发现了数据湖世界，我计划用ADL建立一个数据湖。我不确定的一件事是数据湖应该如何跟踪随时间变化/处理与源不同版本的更改。我遇到过这样的站点，声称数据湖按原样提供数据，其他状态是数据应该是时间戳，或者文件夹结构应该反映时间戳。干杯!
浏览 0提问于2019-07-24得票数 0
回答已采纳
2回答
如何使用数据工厂截断Dynamics 365实体(并复制到Azure数据湖)？
azure、dynamics-crm、azure-data-factory、azure-data-lake、azure-data-factory-2
我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。实体每24小时保存为数据湖中的CSV文件。我希望将实体截断为新数据，并附加到数据湖中已经存在的文件中，而不是批量复制。 我认为这是SQL数据库的常见操作，但这可以在Dynamics 365和数据湖之间完成吗？
浏览 14提问于2019-05-01得票数 1
1回答
Azure数据湖存储Gen2标签显示为容器而不是文件系统
azure、azure-data-lake、data-lake
我刚从Azure中的数据湖开始，并在Azure门户中用ADLS Gen2屏幕解决了一个问题。
使用Azure，我按照在线说明创建了一个新的存储帐户来设置一个新的Azure数据湖Gen2存储。这就创建了数据湖。但是，容器的名称仍然显示为容器。在我看到的视频中，服务面板显示了带有标签“Data Gen2文件系统”的容器。但是，在我创建的一个文件中，它仍然将标签显示为容器。
浏览 1提问于2020-02-07得票数 0
回答已采纳
2回答
使用Azure数据湖时是否需要数据仓库？
azure、data-warehouse、azure-data-factory、azure-data-lake
我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。
在
浏览 1提问于2018-03-15得票数 3
回答已采纳
2回答
关于三角洲湖的困惑
delta-lake
据我所知，它为您的数据存储增加了ACID事务，并通过增量引擎提高了查询性能。如果是这样，为什么我们还需要其他不支持ACID事务的数据湖呢？Delta lakes声称将数据湖和数据仓库这两个世界结合在一起，我们知道，由于它目前对操作的支持，它还不能取代传统的数据仓库。但它应该取代数据湖吗？为什么需要两份数据副本-一份在数据湖中，另一份在德尔塔湖中？
浏览 21提问于2020-07-30得票数 0
回答已采纳
2回答
如何在Azure数据湖中调度U查询？
azure-data-lake、u-sql
我想每天在蔚蓝数据湖中执行查询。我们能在蔚蓝数据湖中安排一个U查询吗？
浏览 2提问于2016-12-15得票数 6
回答已采纳
2回答
将数据池与已删除的记录同步
apache-spark、hadoop、cassandra、hdfs、data-lake
我正在建设的数据湖，以集成多个数据源的高级分析。
我将检测删除的记录从来源和我将做什么与数据</
浏览 2提问于2018-04-06得票数 1
1回答
是否可以从flink作业触发spark作业并从中获取数据？
apache-spark、apache-flink、azure-data-lake
我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。因此，我尝试从flink中触发火花，从Azure数据湖中读取数据，并执行一些逻辑操作，然后将列表返回给flink。所以flink可以使用这些数据？
是否可以从flink触发spark作业？或者如何配置flink来理解Azure数据湖文
浏览 2提问于2017-07-11得票数 0
1回答
QuickSight无法看到跨帐户雅典娜数据库
aws-glue、amazon-athena、amazon-quicksight
我有两个数据库，一个是默认的，另一个是雅典娜的另一个名字，都在同一个AWS Glue目录下。目录在QuickSight中显示为数据源，但没有一个数据库在QuickSight中显示，如下所示：当我尝试使用自定义查询功能时，它会出现以下错误：
[Simba][AthenaJDBC](100071
浏览 1提问于2021-03-23得票数 2
1回答
Azure Databricks DBFS数据集存储在哪里？
azure、databricks、azure-databricks
我将数据上传到Azure Databricks，可以看到DBFS列表中有数据集，但在Databricks所属的资源组中找不到任何数据集。
数据集存储在哪里？此外，如果我创建达美湖，如何从Azure数据工厂调用Delta湖？我看不出三角洲湖存放在哪里。
浏览 11提问于2022-04-14得票数 0
回答已采纳
2回答
使用DataFactory将数据从Azure data Lake移动到属于不同租户的另一个ADL
azure、azure-data-factory、azure-data-lake
我正在使用DataFactory将数据从一个Azure data Lake移动到另一个属于另一个订阅(租户)的Azure Data Lake Store。我在上传Sink Data Lake的LinkedService时遇到错误，就像无效的凭据一样，那么我真的可能正在做什么吗？如果是，请让我看一些参考资料。
浏览 2提问于2017-06-07得票数 0
1回答
卡比湖4k硬件加速
4k-monitor
我计划使用Ubuntu的4k显示器和卡比湖CPU。Kaby支持多个视频编解码器的硬件加速解码。显然，这也需要匹配的驱动程序--有人知道Linux/Ubuntu上当前对硬件加速的支持状态吗？
浏览 0提问于2017-01-26得票数 3
1回答
我们可以用Azure DevOps测试计划来测试数据蛋糕吗？
python-3.x、pyspark、azure-devops、azure-data-factory、azure-databricks
我正在从事一个数据湖项目，我使用(编写pyspark代码)用于ETL，使用Azure DevOps用于CICD和源代码管理。我注意到了Devops中的测试计划:我的查询是，我可以使用测试计划进行数据湖测试吗？我浏览过与网络浏览相关的测试计划，但没有发现任何与数据湖、数据库或数据仓库相关的计划。
浏览 3提问于2020-01-19得票数 0
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号