我是新接触Apache光束的人。我正在阅读字数统计和手机游戏教程。对于字数统计,给出了运行流水线的命令。但是,本教程中没有给出运行手机游戏的命令。
https://beam.apache.org/get-started/wordcount-example/
https://beam.apache.org/get-started/mobile-gaming-example/
代码中有一些注释,可以帮助我弄清楚如何运行前两个批处理管道。但是,我不确定关于最后两个流水线的命令。
评论还提到了使用Injector来生成发布/订阅数据。我认为它可能需要几个步骤才能成功运行这些流水线。例如,创建BigQuery表、生成发布订阅数据、在终端中运行命令等。
有没有人能教我怎么做?谢谢!
我在Google Cloud Shell上使用以下命令尝试了前两个批处理管道。
mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.complete.game.UserScore
-Dexec.args="--runner=DataflowRunner
--project=MY_PROJECT_NAME
--tempLocation=gs://MY_BUCKET_NAME/tmp
--output=gs://MY_BUCKET_NAME/userScore" -Pdataflow-runner
发布于 2020-03-23 19:09:04
假设您已经设置了word-count maven项目,手机游戏示例的java代码也在同一个项目中。您可以通过执行以下命令来运行,比如说第一个名为UserScore的示例。
mvn compile exec:java \
-Dexec.mainClass=org.apache.beam.examples.complete.game.UserScore \
-Dexec.args="--output=user-scores"
此公共的输入GCS存储桶,但仍然需要在使用
gcloud auth login
输出将写入前缀为user-scores的文件中
https://stackoverflow.com/questions/56269102
复制相似问题