它的遥测数据，每小时都会出现在那里。现在我们正在使用azure批处理服务，它通过将所有文件名保存在Azure表存储中来做到这一点，批处理服务中的每个任务都会从表存储中读取数据，并在完成后进行更新。
浏览 0提问于2017-09-09得票数 1
1回答
我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。
现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6提问于2022-03-08得票数 0
我们将传感器数据作为.json文件推送到数据湖中。频率是每分钟发送一个.json文件。我想做的是将Power BI Stream数据集设置为高于容器数据湖，设置为一些寻求接近实时的仪表板。
浏览 18提问于2020-05-12得票数 0
我想使用C#编写从事件中心到数据湖存储的事件，而不使用流分析。
我们可以在BLOB中写入，但是我们如何在数据湖中写入。
浏览 0提问于2017-06-09得票数 0
1回答
我要设计一个IOT平台，它可以收集成千上万个或更多的传感器数据。以不同的方式处理这些数据，并向用户提供交互式仪表板，使用户能够向下钻取聚合信息，直到特定的设备级别。还支持用户可能要求从该特定设备获取实时信息的情况。
我有一些可以用于数据流分布式处理的工具，但对于如何与IOT设备接口没有太多的想法。所以我才开始调查FIWARE。问题:如果我要使用FIWARE GEis作为设备代理，从设备接收数据并转发到实时处理管道，我应该使用哪个GEis？哪些具体的实现？
浏览 4提问于2015-11-19得票数 0
1回答
从SAP ECC中实时提取数据
、、、、
我们要求从ECC表中实时提取数据到Azure数据湖。Azure数据工厂有与SAP ECC系统的连接选项，但它不支持实时摄入。
请让我知道在Azure / SAP中是否有支持这种需求的本地实现。
浏览 4提问于2022-09-13得票数 0
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
Azure Synapse Analytics是Azure的数据仓库解决方案。将数据加载到数据仓库有三种方法：
但是我没有看到任何引用Synapse链接的文档在传统的数据仓库中用于分析。中的用例是：
浏览 5提问于2022-09-22得票数 0
1回答
从DynamoDB表创建数据池
、、、、
我们有一个服务，其中一个DynamoDB表~50 is是我们的特性存储库，用于实时在线应用程序。但是，我对什么是一个很好的体系结构感到困惑:我对数据湖的理解是，您应该使用一个存储服务(即S3)来存储没有处理的原始数据。然后，执行ETL工作，在转换、处理和过滤数据(例
浏览 7提问于2021-08-13得票数 1
回答已采纳
2回答
我有每秒从传感器到Azure IoT集线器的JSON数据。数据是由15个变量组成的时间序列。我想使用c#应用程序实时处理此数据，该应用程序相当复杂，并将输出事件发送到其他服务(可以是存储或PowerBI)。您认为最好的架构方法是什么?1.尝试使用c#代码处理流分析中的数据，我知道.Net支持天青流分析，但我认为还为时过早？有这种方法的经验吗? azure流分析是否支持复杂的c#算法?2.将数据存储到azure数据湖并使用数据湖
浏览 0提问于2017-07-05得票数 0
这些数据目前以拼图格式存储在s3上，我使用AWS Athena进行即席查询。我想要构建一个基于web的仪表板，它将显示每个客户的指标；一个示例查询将是过去6小时内按客户的请求量。我只需要之前30天的详细使用数据。
理想情况下，我将继续利用AWS生态系统来实现此解决方案。我试图确定的是一个大致的方向。Redshift能否在1s左右的时间内，根据原始日志数据高效地计算出这些类型的查询，使其在web上可用？有没有更好的工具？
浏览 0提问于2020-06-20得票数 1
我正在用代表多个表的多个文件将Power连接到Azure数据湖存储区。1)更新它目前正在将数据加载到Power file.update中，但是，我可以从Power桌面与Azure Desktop进行实时连接吗？
2)可以加载多个文件来表示维度和事实表。
浏览 1提问于2018-05-29得票数 0
我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：
有人能帮上忙吗
浏览 0提问于2020-09-15得票数 10
我们正在尝试使用Apache Superset来可视化业务数据，其中一些存储在基于SQL的数据库中，但其中一些(例如外部天气数据)我们需要通过公共API(通常是REST，但有时也是基于推送的微服务，如websocketsSuperset是否可以以这种方式显示数据，或者它是否绑定到SQL或类似SQL的查询/API？
浏览 8提问于2020-03-24得票数 2
1回答
目前，我们将把Redshift和我们的PostgreSQL RDS数据库链接在一起，以实现机器学习功能，这样我们的ML服务器就可以在一个地方查询和连接数据。据我所知，有两种解决办法：
对于选项1，我们可以使用的最佳
浏览 6提问于2020-06-14得票数 1
回答已采纳
2回答
在亚马逊S3中实现CDC
、、、
作为我们当前项目的一部分，我们正在尝试在亚马逊S3存储桶中创建一个数据湖。将会有另一个S3层，它将包含在上一层中发生的CDC。架构团队建议使用Talend或Streamsets。
浏览 1提问于2020-01-30得票数 0
我正在尝试设置数据湖，并将所有数据移动到s3。我必须将aurora mysql数据移动到s3 (最有可能是拼接格式)。我尝试了使用数据迁移服务的初始POC，我们可以一次移动所有数据。问题是每次我运行它都会复制整个数据。我想要在s3中近乎实时地反映数据库的变化。 提前谢谢。
浏览 12提问于2019-05-13得票数 0
我试图使用ADF V2复制实时数据从酒店到Azure数据湖商店。我已经在现场服务器上安装了一个自托管的Integration。然后，我使用复制数据向导创建管道和数据集。我看到有一个Get元数据活动，它可以获得文件系统文件上的最后修改时间。我看到数据集允许添加参数。但是，在V2中，我没有看到帮助按钮或示例。因此，我假设我必须更改JSON文件。然而，在我这么做之前，问题是
该管道可以触发-每2或3秒(连续)-检查文件是否已更改，然后复制到Azure<em
浏览 2提问于2018-10-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
