1回答
数据湖分析查询失败
、、、、
Data Lake Analytics作业失败，出现以下错误，输入为json文件。看起来像是json格式错误。任何帮助都是非常感谢的。json文件由流分析生成，使用来自IOT集线器的数据作为输入。
浏览 9提问于2019-05-02得票数 0
2回答
文件格式是CSV，它指向data 2文件夹，其中包含多个CSV文件，这些文件包含实际数据。CSV文件不时被更新。
我想预见当用户在更新底层CSV文件时对外部表执行长期运行的查询时可能出现的潜在问题。查询会失败吗?或者结果集可能包含脏数据/不一致的结果？
浏览 9提问于2022-01-31得票数 0
2回答
我有每秒从传感器到Azure IoT集线器的JSON数据。数据是由15个变量组成的时间序列。我想使用c#应用程序实时处理此数据，该应用程序相当复杂，并将输出事件发送到其他服务(可以是存储或PowerBI)。您认为最好的架构方法是什么?1.尝试使用c#代码处理流分析中的数据，我知道.Net支持天青流分析，但我认为还为时过早？有这种方法的经验吗? azure流分析是否支持复杂的c#算法?2.将数据存储到azure数据湖并
浏览 0提问于2017-07-05得票数 0
作业提交失败，user datalakeanalyticsaccountname对数据湖分析所需的/system/ path中的子文件夹没有权限。请从门户运行“添加用户向导”，或者使用Azure PowerShell授予用户对数据湖存储上的/system/及其子系统的访问权限。数据工厂似乎将数据湖分析帐户的“名称”视为用户，并抱怨权限问题。我有U转换活动与Azure数据
浏览 3提问于2016-11-24得票数 0
我们正在使用Azure流分析从IOT集线器读取消息，并将其写入Azure数据湖存储。流分析作业的输入是JSON格式，输出应该是CSV Azure流分析，我们已经创建了多个输出数据接收器，这些数据接收器指向format.In数据湖存储中的不同目录。根据输入JSON字符串中的一个字段，我们必须将输入转换为CSV并写入相应的输出数据接收器。我们如何在流分析查询中实现这一点？
浏览 2提问于2017-03-21得票数 1
我们是一家广告公司，我们在Azure表中存储了大量数据。比如每个用户的页面浏览量、页面动作、会话等。我们选择Azure tables而不是SQL Server的原因是数据量太大(每秒数以万计)。我们希望更进一步，并对该数据执行高级查询。在Azure生态系统中，这是可能的吗？也许是通过在他们的数据仓库产品中加载数据，或者通过一些Map Reduce查询？此外，如果上述情况是可能的，我们也在考虑在数据仓库中以微批的方式摄取数据，以确保我们
浏览 1提问于2016-03-07得票数 0
我所处的位置是，我们使用Azure数据仓库中的外部表从Azure数据湖中读取数据。在性能方面，我看不到太大的区别。我假设Data Warehouse正在后台运行某种形式的分布式查询，正在转换到U-SQL(?)
浏览 1提问于2018-01-18得票数 3
1回答
我们的组织运行着Azure上的数据库，数据科学家和分析人员主要用于笔记本，以便进行特别的分析和探索。
我们还为不需要火花的ETL工作流运行Kubernetes集群。我们希望使用达美湖作为我们的存储层，其中数据库和库伯奈特都可以读写作为头等舱公民。目前，我们的Kubernetes作业直接将parquets写到blob存储，另外还有一个作业可以将databricks集群中的数据加载到Databrick的表格式中。这既慢又贵。我想要做的是直接从Kubernetes pytho
浏览 3提问于2021-08-12得票数 2
回答已采纳
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和<em
浏览 8提问于2016-03-14得票数 16
我正在创建管道使用蔚蓝数据湖工厂。管道有一个数据湖分析U活动.这过去正常工作，但停止工作，说明我需要刷新凭证令牌。 "resourceGroupName": "DataLake"}我尝试过重新启动浏览器会话，创建新的服务--它仍然失败。
我还遗漏了什么吗？
浏览 2提问于2016-05-11得票数 2
回答已采纳
1回答
我要设计一个IOT平台，它可以收集成千上万个或更多的传感器数据。以不同的方式处理这些数据，并向用户提供交互式仪表板，使用户能够向下钻取聚合信息，直到特定的设备级别。我有一些可以用于数据流分布式处理的工具，但对于如何与IOT设备接口没有太多的想法。所以我才开始调查FIWARE。问题:如果我要使用FIWARE GEis作为设备代理，从设备接收数据并转发到实时处理管道，我应该使用哪个GEis？哪些具体的实现？
浏览 4提问于2015-11-19得票数 0
2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
1回答
我有一个简单的查询，它使用两个字段组成一个组： SELECT a.CodFactura, FROM @table_facturas AS a@table_facturas有4100行，但查询需要几分钟才能完成有没有什么方法可以减少顶点数并更快地执行此查询？
浏览 1提问于2017-11-21得票数 0
Visual允许您从azure datalake下载和调试失败的作业。(作业>选择作业名称>“下载”(在黄栏中))。
我想在visual中分析编译后的数据湖程序集的行为。
浏览 1提问于2017-05-25得票数 0
回答已采纳
我想借助Quick BI实时分析存储在MariaDB中的数据，是否可以将MariaDB与QuickBI连接？我也发现ETL不支持Quick BI。
浏览 1提问于2018-09-26得票数 0
我对Azure相当陌生，我只是尝试Azure数据湖分析。为了测试目的，我创建了一个新的Azure帐户，并且希望现在就删除它，但是在安装过程中，我使用了一个现有的Azure数据湖存储(ADLS)帐户作为默认的存储帐户。我现在知道我可能应该添加现有的ADLS作为关联的数据存储。
浏览 3提问于2017-08-18得票数 0
目前，我正在尝试从我的web应用程序中的数据湖分析中调用我的U作业。为此，我使用了正式的.net sdk。我授权由另一个网页应用程序，被放置在蔚蓝活跃目录，并有权访问数据湖文件(这在我的应用程序也很完美)，并有读取权利的数据湖分析资源组。我只是在尝试一些来自互联网的选项(在这两个服务上打开防火墙，检查我是否在数据湖分析中有数据湖存储的az数据源)
浏览 3提问于2017-07-10得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
