我有一个在Minikube上运行的本地集群。我的管道工作是用python编写的，是Kafka的基本使用者。我的管道如下所示： import apache_beam as beam "--runner=FlinkRunner",
&
浏览 33提问于2021-03-09得票数 0
我目前正在尝试以类似于以下示例KafkaIO的ByteDeserializer格式读取消息。我的测试设置如下： 选项1:配置为使用--runner=PortableRunner 选项2:启动本地flink作业服务器， docker run --net=host apache/beam_flink1.10_job_server:latest 发布测试kafka avro消息 流水线参数被定义为， pipeli
浏览 17提问于2021-07-07得票数 0
我正在尝试运行由本地Flink集群支持的Apache，以便使用卡夫卡主题，如中所述。由于我试图在Flink上运行，我遵循了这个并执行了以下操作/beam_java_
浏览 1提问于2020-08-30得票数 0
回答已采纳
我有一个Flink集群(在minikube中运行)，它有一个worker池，运行Python SDK 2.27.0，带有管道选项：
options = PipelineOptions([beam的KafkaIO变换。我在worker上遇到了无法运行管道的docker的问题，但是在通过docker-in-docker (dind image)添加d
浏览 0提问于2021-03-02得票数 0
我正在使用Apache处理Kafka流，方法是运行它们提供的Beam容器。docker run --net=host apache/beam_flink1.13_job_server:latestfrom apache_beam.io.kafkaimport ReadFromKafka</
浏览 1提问于2021-07-15得票数 1
1回答
我正在使用一个简单的Apache管道，包括从一个无限制的Kafka主题中读取并打印出这些值。我有两种口味。这是通过Flink运行程序完成的。])这个程序使用from apache_beam.io.kafka import ReadFromKafka
浏览 9提问于2022-03-09得票数 1
回答已采纳
1回答
我试图使用Python 处理Apache提供的数据流，用于Apache和Flink运行器。在运行Kafka 2.4.0和Flink 1.8.3之后，我遵循以下步骤：
( 1)用Flink 1.8转轮编译运行梁2.16。/gradlew :runners:flink:1.8:job-server:runShadow -PflinkMasterUrl=localhost:80
浏览 2提问于2019-12-27得票数 3
回答已采纳
更新：我仍然面临这个错误，即使我关闭了Flink和Kafka，这导致我相信这是一个连接问题docker run --net=host apache/beam_flink1.13_job_server:latest
这样做
浏览 4提问于2021-07-14得票数 0
根据
"--environment_type=PROCESS", ]
浏览 18提问于2022-06-02得票数 1
回答已采纳
下面有使用连接到kafka的代码。我知道ReadFromKafka转换是在java工具(坞容器)中运行的，但是我还没有弄清楚如何使ssl.truststore.location和ssl.keystore.location在SDK扣环境中可访问*,beam_java_sdk:latest' --其中beam_java_sdk:latest是一个基于apache</e
浏览 9提问于2021-02-01得票数 1
1回答
我正在尝试使用Apache和Dataflow从kafka主题中读取数据，将数据打印到控制台，最后将它们写到公共子主题中。但是它似乎被困在了ReadFromKafka函数中。卡夫卡主题中有很多数据，但是当它运行时，在这个过程中什么也不会发生。import apache_beam as beam
from apache_beam.io.kafka import
浏览 1提问于2021-11-30得票数 4
1回答
我正在尝试使用direct runner来计算kafka消息密钥。 如果我将max_num_records =20放在ReadFromKafka中，我可以看到打印或输出为文本的结果。中的消息数，程序会继续运行，但不会输出任何内容。如果我尝试使用beam.io.WriteToText输出，将会创建一个空的临时文件夹，如: beam-temp-StatOut-d167
浏览 40提问于2021-07-07得票数 0
1回答
我一直在尝试理解apache beam、confluent和dataflow与python 3.8和beam 2.7的集成--所希望的结果是构建一个管道(它将在数据流上运行)，它消耗了来自合流kafka这是我正在使用的代码：from apache_beam.io.kafka
浏览 6提问于2022-04-20得票数 1
回答已采纳
Apache Flink 1.9.0于2019年8月22日发布。我试着运行来自Beam2.15.0和Flink runner " Beam -runners-flink-1.8“的Beam字数计数示例，但似乎不起作用。1.9.0版本是否有兼容flink runner工件的预计到达时间？我使用下面的Maven依赖项构建： <de
浏览 13提问于2019-09-09得票数 0
回答已采纳
我正在尝试设置一个本地的梁运行程序，以便更容易地测试/开发。我希望允许测试python管道，它在我的mac上本地使用kafka。: - -cp - org.apache.beam.runners.fli
浏览 23提问于2022-11-14得票数 1
我试图在Kubernetes的脱机实例上使用flink运行管道。但是，由于我有带有外部依赖项的用户代码，所以我使用Python工具作为外部服务--这会导致错误(如下所述)。component: python-beam-sdkbeam_options = PipelineOptions([
"--runner=FlinkRunner&
浏览 1提问于2020-02-26得票数 7
回答已采纳
我试图在python中构建一个流束管道，它应该从kafka捕获消息，然后执行从其他源获取数据和聚合的进一步阶段。到目前为止，我逐步建立的过程是：./config/server.propertiesdocker run --net=host apac
浏览 3提问于2020-07-14得票数 3
我试图运行一个管道，使用apache-束，源作为一个卡夫卡主题，目的地作为另一个卡夫卡主题。我已经编写了我的代码，并且运行良好(也就是说，在我认为的代码中没有错误)。但在输出主题中看不到数据--这是代码：import apache_beam.transforms.window as wind
浏览 8提问于2022-06-02得票数 -1
1回答
我正在尝试运行一个使用kafka生产者(Python )的应用程序，以及一个apache管道，它(目前)只需将这些消息打印到STDOUT中即可使用。我理解使用、Kafka、外部转换、和、apache、是一种跨语言的努力，因为它调用了Java。我遵循了 选项1：
这是使用Python转换的</
浏览 7提问于2021-08-25得票数 1
我正试图在Flink Runner上运行Python光束作业。我已经在我的本地机器上启动了一个minikube集群，并转发了8081端口来查看localhost:8081上的Flink Dashboard。部署的flink集群上的所有东西似乎都在运行，但当我尝试执行基本管道(在DirectRunner上运行良好)时，我在
浏览 530提问于2021-02-04得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
