数据湖生态体系构建 - 腾讯云开发者社区

文章/答案/技术大牛

发布

7回答

Hadoop Vs数据湖

hadoop、data-warehouse、data-lake

我听说了数据湖这个新名词。我在谷歌上查到了数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<

浏览 8提问于2016-03-14得票数 16

1回答

Kappa体系结构是否使用数据湖？

apache-spark、bigdata、data-processing、data-lake、kappa

Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。

浏览 10提问于2022-07-21得票数 0

回答已采纳

1回答

数据体系结构-全天蓝色堆栈与集成的三角洲湖

azure、databricks、delta-lake

如果可能的话，我想征求您对旧的和建议的体系结构(或备选方案)的意见，讨论它们的优点和缺点，并可能发现不可预见的问题/限制。当前架构- Azure Stack多源通过Azure数据库存储到Azure数据湖Gen2 Azure数据库清理数据并将其存储回Azure数据湖Gen2中:原始的、干净的使用中创建并服务于Power或Excel中的数据模型通过Azure Analysis Se

浏览 5提问于2021-12-10得票数 0

1回答

Hadoop中的深度存储

hadoop、druid

在Hadoop生态系统中浏览不同的列数据库时，我遇到了术语“深度存储”。我不能理解深度存储意味着什么。深度存储是否意味着数据湖？它与存储在HDFS中的数据是否不同？

浏览 18提问于2019-03-08得票数 0

回答已采纳

1回答

如果我通过enduser/承租者分割我的微服务数据，并且每个服务器都拥有全部数据的一个子集，那么如何在所有服务器上查询数据呢？

microservices、data-warehouse、scalability

设想一个高度可伸缩的体系结构，其中每个租户都是按区域和可用性区域划分和分布的，每个服务器都持有总数据的一个子集。还存在冗余，还有承载相同逻辑碎片的物理碎片。这很好，如果客户端知道分配给用户的所有逻辑碎片，那么在处理返回极端数量数据的请求时，客户端可以使用map/reduce样式检索所有数据。这解决了当用户的数据量大于任何单个服务器的存储、内存或计算的容量时的问题。那么我的问题是，如果一个名词微服务的数据是跨多个服务器隔离和共享的，并且每个服务器都承载着不同的用户或租户子集，我如

浏览 4提问于2022-07-23得票数 0

1回答

新的Synapse & Power世界中分析服务的替代方案？

powerbi、azure-synapse、azure-analysis-services

随着Synapse、Power BI的发展和湖房体系结构的兴起，是否有可行的解决方案来构建部门多维数据集以避免Analysis？我想滑到冰球要去的地方，而不是现在。Power数据集中的新特性能否取代Analysis的某些功能，然后将多维数据集作为Power数据集托管在Power服务中？

浏览 0提问于2021-06-17得票数 0

回答已采纳

1回答

体系结构帮助-替代ETL数据流和处理

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-dataflow

我正在寻找一些关于为一个简单的ETL工作构建一个架构的指导。我已经构建了一个解决方案，但我正在寻找方法来改进或尝试另一个体系结构。这里是我的用例：为此，我构建了一个解决方案，用户可以将csv格式的源数据上传到云存储。我使用云函数来监视云存储桶中的更改，并触发Dataflow管

浏览 2提问于2018-08-03得票数 0

2回答

HDFS和ADLS有什么区别？

hadoop、hadoop2、azure-data-lake

与HDFS不同的是，我对天蓝色数据湖的存储方式感到困惑。有谁能简单地解释一下吗？

浏览 2提问于2020-07-09得票数 1

回答已采纳

1回答

您能在Databricks中挂载多个ADLS2实例吗？

azure-databricks、azure-data-lake、delta-lake、azure-data-lake-gen2

为数据湖/三角洲湖体系结构设置DEV/TEST/PROD环境的最佳实践是什么？对于每个DEV/TEST/PROD，您有一个单独的ADLS2实例吗?还是在一个ADLS2实例中托管这三个实例？您甚至可以在数据砖中挂载多个ADLS2实例吗？

浏览 6提问于2022-06-03得票数 1

2回答

使用Google生态系统与构建您自己的微服务体系结构

google-bigquery、google-cloud-storage、microservices、google-cloud-dataflow

在Google生态系统中构建是非常强大的。我非常喜欢您如何将文件摄取到Cloud，然后数据流丰富、转换和聚合数据，然后最终存储在BigQuery或Cloud中。如果您目前有一个微服务体系结构，其中每

浏览 0提问于2018-05-11得票数 1

1回答

和Delta层会让它成为湖屋吗？

databricks、azure-databricks

即使经过很多资源，我也不明白什么是湖房，所以我想问一问。如果我们有Azure Gen 2存储、ADF和Azure数据库，可以将传入的CSV文件转换为Delta表，可以称为"Lakehouse“体系结构，还是称为"Delta Lake"？或者是"SQL分析“引擎在Delta湖层之上使它成为了"Lakehouse"？请澄清。

浏览 0提问于2021-06-18得票数 1

回答已采纳

1回答

如何在Azure数据湖分析和Azure数据库之间进行选择

azure-data-lake、azure-analysis-services

Azure数据湖分析和天蓝色数据库都可以用于批量处理。谁能帮我理解一下什么时候该选一种而不是另一种？

浏览 0提问于2018-05-22得票数 22

回答已采纳

2回答

从头开始建数据湖

hadoop、data-warehouse、data-lake

我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。

浏览 1提问于2019-02-27得票数 2

回答已采纳

1回答

数据湖中的可信数据层能代替数据仓库吗？

google-cloud-platform、snowflake-cloud-data-platform、data-warehouse、azure-data-lake、data-lake

在现代数据体系结构中，将数据湖划分为多个层次，数据以原始形式存储在着陆区，然后在可信/应用层进行汇总整理和存储。我相信我们甚至可以通过数据湖中的可信数据来进行报告。如果是这样的话，我想不出一种逻辑来证明数据仓库的存在是合理的。还是可信数据本身就是Datawarehouse？或者信任的数据更像是只是聚合数据，而不是做适当的建模，因此我们仍然需要数据仓库。

浏览 9提问于2022-07-25得票数 0

1回答

从DynamoDB表创建数据池

amazon-web-services、amazon-s3、amazon-dynamodb、aws-glue、data-lake

我们希望从这个表中创建一个数据湖，用于历史数据、模型培训和分析洞察力。我们想保证30分钟的数据湖数据“新鲜”w.r.t。原来的桌子。但是，我对什么是一个很好的体系结构感到困惑:我对数据湖的理解是，您应该使用一个存储服务(即S3)来存储没有处理的原始数据。然后，执行ETL工作，在转换、处理和过滤数据(例如，使用Glue)之前，将其用于任何应用程序。，但我有疑问：，这是否意味着我们必须每30分钟将Dy

浏览 7提问于2021-08-13得票数 1

回答已采纳

1回答

ML表示存在“中间”分类目标的预测。

machine-learning、classification、machine-learning-model

我有5个广泛的元基因组“生态区域”类别(只要想一想，在不同的好地方的DNA )，成为他们完整的(和扩大的)元体数据的训练目标。这些是10E5到10E6的小数据集。如何通过ML达到中间的分类状态？

浏览 0提问于2022-11-03得票数 1

回答已采纳

2回答

使用distcp时，wasb协议是否支持内部部署？

azure、hadoop、hdfs、azure-blob-storage、distcp

我想将我的工作负载从本地移动到azure blob。我可以使用distcp将工作负载移动到azure吗？因为它是blob，所以我将在目标参数中使用wasb。wasb在这种情况下会工作吗？

浏览 1提问于2018-02-08得票数 0

1回答

谷歌的BigQuery对Azure数据湖U

azure、google-bigquery、google-cloud-platform、azure-data-lake、u-sql

我试图了解谷歌的大查询和Azure data之间的区别或利弊。哪个更好？我已经彻底地寻找了什么是巨大的差异，但找不到它。

浏览 0提问于2016-04-25得票数 3

回答已采纳

2回答

阿帕奇星火+三角洲湖概念

apache-spark、apache-kafka、data-warehouse、databricks、delta-lake

1)数据库提出了三层(青铜、银、金)，但哪一层是推荐用于机器学习的，为什么？我想他们建议在黄金层中清理和准备数据。2)如果抽象这三层的概念，我们可以把青铜层看作数据湖，银层作为数据库，黄金层作为数据仓库吗？我是说就功能而言。( 3)达美建筑是一个商业术语，还是Kappa体系结构的一种演变，还是一种新的趋势建筑，如Lambda和Kappa体系结构？(Delta + Lambda架构)和Kappa体系结构有什么不同？4)在许多情况下，De

浏览 2提问于2019-05-19得票数 22

回答已采纳

2回答