当我们在Spark中为格式使用DataStreamReader API时,我们使用option/options方法为所使用的格式指定选项。例如,在下面的代码中,我使用Kafka作为源,并通过option方法传递源所需的配置。在这里,我只使用了两个选项- server details and topic configuration。我试图找出的是,对于特定格式的数据源或接收器,有哪些其他选项可用,在本例中为Kafka。在Kafka格式的情况下,我可以在Spark文档的Kafka指南中找到一些选项,但我在哪里可以找到其他可用于Kafka格式的选项。我在Spark的所有文档中搜索了这个信息,但没有
我已经设置了一个heroku kafka实例,并且我正在尝试使用python使用者连接到它。我通过heroku config -s > .env将heroku环境放在一个名为.env的文件中,然后在运行这个python程序之前加载并导出它:
import os
from kafka import KafkaConsumer
for variable in ['KAFKA_TRUSTED_CERT', 'KAFKA_CLIENT_CERT', 'KAFKA_CLIENT_CERT_KEY']:
with open(f'{v
我们在生产中有一个由4个节点组成的集群。我们观察到,其中一个节点遇到了一种情况,它不断地收缩和扩展ISR超过1个小时,并且无法恢复,直到代理被弹回。
[2017-02-21 14:52:16,518] INFO Partition [skynet-large-stage,5] on broker 0: Shrinking ISR for partition [skynet-large-stage,5] from 2,0 to 0 (kafka.cluster.Partition)
[2017-02-21 14:52:16,543] INFO Partition [skynet-large-st