我正在尝试将xml文件(小于100 kb)发送到Azure事件中心,然后在发送它们之后,读取Databricks中的事件。
现在,我已经使用Python以字节发送XML的内容(这个步骤是工作)。但是我想要完成的下一步是从事件的“主体”中读取该XML内容,并使用PYSPARK创建一个Spark。
要做到这一点,我有两个疑问:
XML1-我在选项中指定事件的“主体”的内容是XML的选项吗? 2-是否有其他方法可以直接将该内容转储到Spark ? 3-在将spark.readStream作为事件发送时缺少一些配置吗?
我试着像下面的例子一样:
Python事件生成器
# this is the p
我需要使用Python将using文件从我的文件夹发送到azure-EventHub
import json
from azure.eventhub import EventHubClient, Sender, EventData
# Address can be in either of these formats:
# "amqps://<URL-encoded-SAS-policy>:<URL-encoded-SAS-key>@<mynamespace>.servicebus.windows.net/myeventhub"
#
我试图使用Pycharm和azure-eventhub 1.2.0包使用Python3.7来执行这个azure-eventhub 1.2.0。
当我试图运行它时,我会得到以下错误:
ModuleNotFoundError: No module named 'azure.eventhub'; 'azure' is not a package
这是有问题的一行:
from azure.eventhub import EventHubClient, Receiver, Offset
会发生什么事?
这是我的项目解释器
使用pip冻结:
我有一个从Azure EventHub中读取的工作。我正在试着在工作中读取消息的属性。我具体讨论的是附加到EventHub消息的属性,如下所示:
var Event = new EventData(Encoding.UTF8.GetBytes(serialized));Event.Properties.Add("tableName",tableName);
我想在我的工作中阅读"tableName“属性。这是可能的从流分析还是我必须设置一个EventHostProcessor才能读取这些属性?
如果可能的话,我如何在Azure管理门户中测试这一点?在通过EventDat
我们使用独立的python作业将使用(azure.schemaregistry.encoder.avroencoder)编码的Avro数据发送到事件集线器,并且可以使用使用另一个独立python使用者的同一个解码器反序列化。在本例中,架构注册表还提供给Avro编码器。
这是我使用的独立制片人
import os
from azure.eventhub import EventHubProducerClient, EventData
from azure.schemaregistry import SchemaRegistryClient
from azure.schemaregistry.en
在Python中我可以:
n = int(input())
a = [int(x) for x in input().split()]
我可以在c++中:
int main()
{
int n, x;
cin >> n;
for (int i = 0; i < n; i++)
{
cin >> x;
somthing(x)
}
}
如何在Python (3.x)上编写?我可以在不保存所有列表的情况下处理流中的数字吗?
输入数据(例如):
6
1 4 4 4 1 1
我可以使用sys.stdi
我使用EventHubConsumerClient.ReadEventsAsync方法读取eventHub中的事件。当我使用默认的eventHub时,它工作得很好。但是,当我将其路由到一个新的eventHub时,我会不时地得到EventHubsExeception(ConsumerDisconnected)。从文件上看。它说,这是由于A client was forcefully disconnected from an Event Hub instance. This typically occurs when another consumer with higher OwnerLevel