我有一个需求，比如我想从Azure函数连接到我的Azure数据湖v2(ADLS)，读取文件，使用python处理它，然后在Azure数据湖中再次写它。因此，我的输入和输出绑定将是ADLS。
浏览 1提问于2020-10-25得票数 0
我们需要基于一个水标列来递增地查询这些数据，并且它必须被加载到Azure数据湖容器中，进入原始层，然后再加载到管理层。在原始层中，文件应该包含整个数据(满载数据).So，基本上我们需要附加这些数据并作为一个满载导出。我们是否应该使用Databricks Delta湖表来处理这个需求。如何将数据插入到达美湖表。
浏览 4提问于2022-10-25得票数 0
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
我想借助Quick BI实时分析存储在MariaDB中的数据，是否可以将MariaDB与QuickBI连接？我也发现ETL不支持Quick BI。
浏览 1提问于2018-09-26得票数 0
我们希望确保我们有能力访问我们的数据，并且将其摄入到我们的分析数据湖(一些实时的)中。我正在寻求关于供应商和他们的解决方案我们应该有哪些要求/更喜欢什么的建议？API-大多数供应商都提到他们提供了用于数据访问的API，但是需要哪些特性API才能适合将数据摄取到Analytics？中。DB副本-我们是否应该期望供应商提供DB副本(如果它是单个租户)，并且我们使用它作为报告的数据存储。很明显，这是我们的额外费用。通过ODBC直接SQL访问-我还读到如果SaaS应用程序有多个租户，可
浏览 7提问于2021-10-13得票数 0
回答已采纳
1回答
从SAP ECC中实时提取数据
、、、、
我们要求从ECC表中实时提取数据到Azure数据湖。Azure数据工厂有与SAP ECC系统的连接选项，但它不支持实时摄入。
请让我知道在Azure / SAP中是否有支持这种需求的本地实现。
浏览 4提问于2022-09-13得票数 0
如何在没有任何第三方ETL工具的情况下从外部数据库增量加载Quick BI中的数据？
因为到目前为止还没有ETL支持。
浏览 3提问于2018-09-24得票数 0
在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。 如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？
浏览 36提问于2020-11-30得票数 0
回答已采纳
我们目前正在为非技术用户使用ETL工具(通过Hadoop)，让他们使用原始数据创建csv文件。Dev根据这些需求为它们创建一个进程，并按需运行它。由于我们使用数据湖文件(S3)来创建输出，因此我们需要将所有事实连接在一起，并运行Hadoop需要一段时间才能完成的一些繁重任务。
我们希望这些进程在更短的时间内运行。由于redshift中的数据已经根据业务需求构建，通常是一个非常简单的查询，以获得他们想要的，运行2-5分钟。然而，我不确定给我们的用户一个按需运行卸载命令的选
浏览 0提问于2015-11-27得票数 1
我遵循这里共享的文档- https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/azure-datalake-gen2#adls2-aad-credentials来使用服务主体挂载我的datalake帐户。虽然文档提到了使用Azure AD应用程序的客户端秘密执行此操作的步骤。我找不到使用客户端证书的方法。此流程是否支持使用证书凭据的服务主体身份验证？
浏览 17提问于2020-09-01得票数 0
回答已采纳
2回答
从头开始建数据湖
、、
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
2回答
我有每秒从传感器到Azure IoT集线器的JSON数据。数据是由15个变量组成的时间序列。我想使用c#应用程序实时处理此数据，该应用程序相当复杂，并将输出事件发送到其他服务(可以是存储或PowerBI)。您认为最好的架构方法是什么?1.尝试使用c#代码处理流分析中的数据，我知道.Net支持天青流分析，但我认为还为时过早？有这种方法的经验吗? azure流分析是否支持复杂的c#算法?2.将数据存储到azure数据湖并使用数据湖分析来处
浏览 0提问于2017-07-05得票数 0
我通过Azure数据工厂(ADF v2)运行Azure数据湖分析( US2 )作业，并使用Azure数据湖存储第1代在东US2运行了相当长一段时间。我计划部署另一个实例来满足加拿大客户的需求，并希望建立Azure数据湖存储第1代。
浏览 4提问于2020-08-01得票数 1
2回答
阿帕奇星火+三角洲湖概念
、、、、
1)数据库提出了三层(青铜、银、金)，但哪一层是推荐用于机器学习的，为什么？我想他们建议在黄金层中清理和准备数据。2)如果抽象这三层的概念，我们可以把青铜层看作数据湖，银层作为数据库，黄金层作为数据仓库吗？我是说就功能而言。4)在许多情况下，Delta + Spark比大多数数据库的扩展要大得多，而且如果调整得当，我们可以获得近2倍的查询结果。我知道比较实际的趋势数据仓库和特性/Agg数据存储是相当复杂的，但是我想知道如何进
浏览 2提问于2019-05-19得票数 22
回答已采纳
我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。
我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。
浏览 2提问于2019-07-11得票数 1
回答已采纳
/tests/.my_test_env
如何构建Docker镜像来模拟Azure数据湖(第2代)？我使用Python3SDK与数据湖进行交互，文档在这里-- 。
浏览 3提问于2020-08-27得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
