StreamAnalyticsJob Blob输出产生的文件数与输入EventHub的分区数一样多？
StreamAnalyticsJob Blob输出产生的文件数与输入EventHub的分区数一样多。
答案：是的，StreamAnalyticsJob Blob输出产生的文件数与输入EventHub的分区数一样多。在Azure Stream Analytics中，Blob输出是一种将处理结果写入Azure Blob存储的方式。当输入数据来自EventHub时，Stream Analytics会根据EventHub的分区数将输出结果分发到相应的Blob文件中。每个EventHub分区对应一个Blob文件，因此输出文件的数量与输入EventHub的分区数一致。
Blob输出的优势在于可靠性和扩展性。Azure Blob存储是一种高可用性、可靠性和可扩展性的对象存储服务，可以存储大量的非结构化数据。通过将处理结果写入Blob存储，可以确保数据的持久性和可靠性，并且可以方便地进行后续的数据分析和处理。
适用场景：
- 实时数据分析：通过将Stream Analytics与EventHub和Blob存储结合使用，可以实现实时数据的处理和分析，例如实时监控、实时报表等。
- 数据备份和存档：将处理结果写入Blob存储可以作为数据备份和存档的一种方式，确保数据的安全性和可靠性。
- 数据集成和转换：通过Stream Analytics的数据转换功能，可以将输入的数据进行格式转换、字段提取等操作，并将结果写入Blob存储，方便后续的数据集成和使用。
推荐的腾讯云相关产品：腾讯云对象存储（COS） 腾讯云对象存储（COS）是一种高可用、高可靠、可扩展的云存储服务，适用于存储和处理大规模非结构化数据。它提供了简单易用的API接口和丰富的功能，可以满足各种场景下的数据存储需求。您可以使用腾讯云对象存储（COS）作为StreamAnalyticsJob Blob输出的存储目标，确保数据的可靠性和安全性。
产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
1回答
流分析的故障排除
、、
even集线器从API获取消息(在API中编写的自定义代码，用于向eventhub发送消息。
我们面临的问题是Stream Analytics偶尔会停止，我们没有任何错误的痕迹。我们对失败的原因一无所知。当然，输入格式可能不正确。有没有什么方法可以让我们看到出现在eventhub中的消息呢？
浏览 1提问于2018-02-07得票数 0
2回答
我们正在从现场虚拟机迁移到Azure云。虚拟机最终将退役，我们有许多文件和文件夹，我们不想丢失，如旧的网站和数据库，脚本，程序等。
我们使用Azure存储帐户，通过blob容器存储和检索实时网站的图像。
Q：从现场虚拟机到Azure云备份大量未使用的文件(很少被访问)的最佳和最节省成本的方法是什么？
浏览 0提问于2019-01-21得票数 0
回答已采纳
我有一个从设备收集数据的系统，并以JSON格式将数据发送到Azure Eventhub。有一个Azure stream分析流，它从eventhub获取数据并将其输出到PowerBI。它每秒发送数据。有时，互联网连接中断，系统继续从设备收集数据。当互联网连接恢复时，它会将收集到的所有数据发送给eventhub。我希望它在发送之前压缩或压缩数据。
但Stream解析输入格式只有JSON、CVS或Avro。压缩的Json会自动解压吗？或者我们无法将压缩数据发送到Azure流分析？
浏览 3提问于2016-08-20得票数 0
很多公司已经开始持续收集、分析数据，用于异常处理、趋势预测、精准营销、风险控制等场景，希望利用数据的潜在价值，提高公司盈利能力和竞争力。那么腾讯云时序数据库 CTSDB VS 传统时序数据库，腾讯云时序数据库有没有什么进步？
浏览 1726提问于2018-09-26
我正在开发一个spring boot云流应用程序，它需要从Azure Eventhub Namespace主题中读取数据。我正在尝试理解主题分区计数和spring.cloud.stream.bindings.input.consumer.concurrency之间的关系。 如果我将分区数设置为10，我是否需要将spring.cloud.stream.bindings.input.consumer.concurrency设置为10？或者，如果这些值不匹配，则不会有任何影响
浏览 66提问于2021-01-08得票数 0
回答已采纳
我收集了一些xml格式的数据。看起来像这样的东西 0
0
0
0 此数据将发送到Azure Eventhub。我想把这些数据发送到SQL数据库。我在Azure stream Analytics中创建了一个流，它接受此输入并将其放入SQL数据库中。但是当要求输入流的输入格式时，只有JSON、CVS和Avro。我可以使用这些格式中的哪一种？或者我应该使用哪种azure服务将数据从Eventhub移动到sql数据库？
浏览 42提问于2016-07-14得票数 0
回答已采纳
我有一个Azure blob容器，我会每隔15分钟向其中添加一个不同名称的新blob对象。我有Azure Stream Analytics，它有一个指向blob容器的输入。我不会删除已处理的旧blob文件。那么Azure Stream Analytics是否只读取未处理的blob对象，甚至是已处理的对象？
浏览 1提问于2017-08-24得票数 0
我有一个EventHub(包含json格式的实体作为事件)，它是我的Stream Analytics Job的输入。我在EH上创建了4个分区，但没有任何分区键，因此理论上数据分布在RoundRobin中。 我的StreamAnlytics查询和SELECT * FROM EventHub OUTPUT TO BLOB一样简单。blob输出配置为每5分钟进行一次数据聚合，文件格式为<date><HH>。 我在我的blob存储上每小时看到4个文件，这是预期的吗？SA是否在内部同时单独读取每个分区？ 抱歉，如果这听起来很天真，我是个新手，很想知道SA是如何在内部工作的。
浏览 11提问于2021-03-23得票数 0
回答已采纳
如果使用EventHub.SendAsync(EventData)从Azure EventHub客户端SDK编写的消息，有什么方法可以找出消息是哪个分区编写的？
我们故意不提供分区键，这样EventHub服务就可以进行内部负载平衡，但是希望找到数据最终写入的分区，以便诊断端到端数据流的问题。
浏览 8提问于2020-10-07得票数 0
回答已采纳
我有一个azure SQL数据库，并且希望使用Azure Stream Analytics数据库中的数据--我知道我必须使用Blob存储来使用我的数据作为我的工作的参考数据。
问题
现在，将我的SQL数据放入作业以丰富传入数据的最佳方法是什么？
浏览 2提问于2016-09-30得票数 0
回答已采纳
希望在事件流上进行实时指标计算，在Azure中什么是一个好的选择？Stream Analytics还是Storm？我对SQL或Java都很满意，所以我想知道其他的区别是什么。
浏览 0提问于2015-06-30得票数 7
2回答
好日子
我有一个应用程序，它通过Azure EventHub通过Azure SQL数据库中的Azure流分析传递数据。此数据来自Cost Recovery Software每隔几分钟写入的一个文件，其中包含最新的完整帐户列表。
我希望确保当文件中的所有数据都通过此过程时，会发生某种形式的合并，仅更新现有帐户并插入不存在的帐户。确保不会创建重复的帐户。
我不确定Stream Analytics是否是将数据从EventHub提供给SQL的最佳选择。
流程示例：
浏览 1提问于2019-03-22得票数 0
3回答
我们正在考虑开发一个BI解决方案在Azure，以分析客户航空公司的搜索要求，我们的系统。请求以xmls的形式存储，每天生成大约5000万个请求。您会推荐什么天蓝色的解决方案来将这些加载到云中，跨时间分析这个data...trends (因此保存历史数据)，实时系统性能/错误。
我想我们还需要一些类似的特快路线来将数据传输到云。
浏览 0提问于2018-02-01得票数 9
回答已采纳
我正在尝试从Azure数据湖Gen1中读取avro数据，该数据是从Azure EventHubs生成的，Azure事件集线器捕获是在Azure数据库中启用的：
inputdata = "evenhubscapturepath/*/*"
rawData = spark.read.format("avro").load(inputdata)
以下语句失败
rawData.count()
使用
org.apache.spark.SparkException: Job aborted due to stage failure: Task 162 in stage 48.
浏览 3提问于2019-12-01得票数 1
回答已采纳
我有一个工作函数应用程序，它有一个blob输入和一个事件中心输出(在beta中工作)。随着最近的变化，我的功能不再工作了。我尝试根据发布说明更新host.json文件，但它没有引用blob触发器：
{
"version": "2.0",
"extensions": {
"blobTriggers" : {
"name": "blob",
"type": "blobTrigger",
"dire
浏览 0提问于2018-09-03得票数 6
3回答
Azure游戏记分板
、、、、
您能给我推荐一种在Azure云上存储游戏分数的替代解决方案吗？我正在寻找一个管理的，廉价运行和易于伸缩的存储选项。
输入数据：{ "player": 1, "score": 10 } (分数可能已经计算过了，不需要汇总)。
应该有一个选项可以进行两种类型的查询：
在记分板上得到球员的位置。
获得位置(球员和得分)之间的位置X和Y。
在写入过程中，应用程序不能告诉玩家在记分板中的位置--后端数据库解决方案应该提供这些信息，或者数据布局应该允许快速计算所有玩家之间的位置。非实时精度是可以接受的。
目前的后端技术选择: Azure (.NET核心)、存
浏览 6提问于2017-03-27得票数 2
回答已采纳
我对Azure非常陌生。我需要创建一个Power BI仪表板来可视化传感器产生的一些数据。仪表板需要“几乎”实时更新。我已经确定我需要一个推送数据集，因为我想在折线图上可视化一些历史数据。然而，从架构的角度来看，我可以使用Power BI REST app (在我的情况下完全可以，因为我们使用Python应用程序处理数据，我可以使用它来调用Power BI)或Azure stream Analytics (它也可以工作，我可以将数据从Python应用程序转储到Azure Blob存储，然后流式传输)。你能告诉我一般来说，这两种方法的优缺点是什么？
浏览 29提问于2020-08-07得票数 0
回答已采纳
我将Stream Analytics用于一个简单的数据直通场景。
作业有多个SQL Server输出(三个)和一个EventHub输入。事件计数很小。问题是我的SU %利用率一直在增加。我的临时解决方案是每天重新启动Job一到两次。
我做错了什么吗？下面是我的查询示例。我尝试将查询更改为使用TUMBLINGWINDOW，但我得到了相同的结果。
SELECT field_1, field_2, field_3, field_4, field_5
INTO [out-alias-1]
FROM [in-alias]
WHERE field_1 LIKE 'Event1:%' OR
浏览 0提问于2015-07-08得票数 1
我有一个来自Azure Eventhub的输入，通过一个查询和goint到一个输出，这是一个Azure SQL数据库。流运行了2天，突然我看不到数据库中的输出。在Stream Analytics的操作日志部分，我只能看到一个带有“失败”状态和操作日志id的“发送事件”。我在哪里可以找到失败的原因？此外，当我重新启动ASA作业时，数据开始进入数据库。
浏览 14提问于2016-07-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
