1回答
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
浏览 10提问于2022-07-21得票数 0
回答已采纳
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
设想一个高度可伸缩的体系结构，其中每个租户都是按区域和可用性区域划分和分布的，每个服务器都持有总数据的一个子集。还存在冗余，还有承载相同逻辑碎片的物理碎片。这很好，如果客户端知道分配给用户的所有逻辑碎片，那么在处理返回极端数量数据的请求时，客户端可以使用map/reduce样式检索所有数据。这解决了当用户的数据量大于任何单个服务器的存储、内存或计算的容量时的问题。那么我的问题是，如果一个名词微服务的数据是跨多个服务器隔离和共享的，并且每个服务器都承载着不同的用户或租户子集，我如
浏览 4提问于2022-07-23得票数 0
为数据湖/三角洲湖体系结构设置DEV/TEST/PROD环境的最佳实践是什么？对于每个DEV/TEST/PROD，您有一个单独的ADLS2实例吗?还是在一个ADLS2实例中托管这三个实例？您甚至可以在数据砖中挂载多个ADLS2实例吗？
浏览 6提问于2022-06-03得票数 1
1回答
即使经过很多资源，我也不明白什么是湖房，所以我想问一问。如果我们有Azure Gen 2存储、ADF和Azure数据库，可以将传入的CSV文件转换为Delta表，可以称为"Lakehouse“体系结构，还是称为"Delta Lake"？或者是"SQL分析“引擎在Delta湖层之上使它成为了"Lakehouse"？
请澄清。
浏览 0提问于2021-06-18得票数 1
回答已采纳
Azure数据湖分析和天蓝色数据库都可以用于批量处理。谁能帮我理解一下什么时候该选一种而不是另一种？
浏览 0提问于2018-05-22得票数 22
回答已采纳
1回答
在现代数据体系结构中，将数据湖划分为多个层次，数据以原始形式存储在着陆区，然后在可信/应用层进行汇总整理和存储。我相信我们甚至可以通过数据湖中的可信数据来进行报告。如果是这样的话，我想不出一种逻辑来证明数据仓库的存在是合理的。还是可信数据本身就是Datawarehouse？或者信任的数据更像是只是聚合数据，而不是做适当的建模，因此我们仍然需要数据仓库。
浏览 9提问于2022-07-25得票数 0
1回答
从DynamoDB表创建数据池
、、、、
我们希望从这个表中创建一个数据湖，用于历史数据、模型培训和分析洞察力。我们想保证30分钟的数据湖数据“新鲜”w.r.t。原来的桌子。但是，我对什么是一个很好的体系结构感到困惑:我对数据湖的理解是，您应该使用一个存储服务(即S3)来存储没有处理的原始数据。然后，执行ETL工作，在转换、处理和过滤数据(例如，使用Glue)之前，将其用于任何应用程序。
，但我有疑问：，这是否意味着我们必须每30分钟将Dy
浏览 7提问于2021-08-13得票数 1
回答已采纳
如果可能的话，我想征求您对旧的和建议的体系结构(或备选方案)的意见，讨论它们的优点和缺点，并可能发现不可预见的问题/限制。当前架构- Azure Stack多源通过Azure数据库存储到Azure数据湖Gen2 Azure数据库清理数据并将其存储回Azure数据湖Gen2中:原始的、干净的使用Analysis都需要始终打开，表示不需要的费用替代体
浏览 5提问于2021-12-10得票数 0
2回答
阿帕奇星火+三角洲湖概念
、、、、
1)数据库提出了三层(青铜、银、金)，但哪一层是推荐用于机器学习的，为什么？我想他们建议在黄金层中清理和准备数据。2)如果抽象这三层的概念，我们可以把青铜层看作数据湖，银层作为数据库，黄金层作为数据仓库吗？我是说就功能而言。( 3)达美建筑是一个商业术语，还是Kappa体系结构的一种演变，还是一种新的趋势建筑，如Lambda和Kappa体系结构？(Delta + Lambda架构)和Kappa体系结构有什么不同？4)在许多情况下，De
浏览 2提问于2019-05-19得票数 22
回答已采纳
随着Synapse、Power BI的发展和湖房体系结构的兴起，是否有可行的解决方案来构建部门多维数据集以避免Analysis？我想滑到冰球要去的地方，而不是现在。Power数据集中的新特性能否取代Analysis的某些功能，然后将多维数据集作为Power数据集托管在Power服务中？
浏览 0提问于2021-06-17得票数 0
回答已采纳
1回答
我想用必要的文献资料来定义数据仓库。在中，数据仓库这一术语也适用于复杂的数据，即视频、图像等，但在本文中，数据仓库这一术语仍未定义。
浏览 0提问于2018-12-05得票数 1
回答已采纳
我喜欢创建web应用程序来上传文件，保存到azure数据湖，读/写到azure SQL Server。我使用我的Azure AD客户端I/密钥访问数据湖，
我的Azure SQL Server连接字符串，如: Server=tcp:{MyAzureSQLServer}.database.windows.netMultipleActiveResultSets=False;Encrypt=True;TrustServerCertificate=False;Authentication="Activ
浏览 4提问于2019-01-18得票数 0
1回答
我已经构建了一个解决方案，但我正在寻找方法来改进或尝试另一个体系结构。这里是我的用例：
为此，我构建了一个解决方案，用户可以将csv格式的源数据上传到云存储。我使用云函数来监视云存储桶中的更改，并触发Dataflow管道对其进行批处理，并以bigquery格式存储数据(json格式)进行分析。最后，我使用Data
浏览 2提问于2018-08-03得票数 0
我们使用.NET框架实现了Web Job，它指向Azure Data Lake Gen 1。这里有一个问题，我们是否仍然可以使用.NET框架来指向第二代天青数据湖，即.NET框架是否将支持第二代？
浏览 15提问于2020-09-04得票数 0
我需要建立一个能够从一个DataLake复制到另一个的管道，但是到目前为止，通过谷歌搜索，我找不到任何与之相关的东西，有人能给我指出正确的方向吗？非常感谢。
浏览 16提问于2018-02-21得票数 0
2回答
从头开始建数据湖
、、
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
1回答
我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。
现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6提问于2022-03-08得票数 0
我已经创建了一个DataFrame，我想在表中的Azure DataLake Gen2旁边编写/导出它(需要为此创建新的表)。在中，我创建了一个连接-> Azure DataLake来查看我的文件：感谢帮助如何用火花/电火花写它。
浏览 2提问于2020-01-16得票数 4
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
