腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(27)
视频
沙龙
1
回答
Flink未向Cassandra中的Store发出值
apache-flink
@Column(name = "timeStamp")} 而Mapper代码是, DataStream<Reading>
sideOutput
OutputTag<>("contact", TypeInformation.of(Person.class))); CassandraSink.addSink(
sideOutput
sideOutput
没有发出要存储在Cas
浏览 6
提问于2020-08-13
得票数 0
回答已采纳
1
回答
Flink:处理Flink作业内部异常的最佳方法是什么
apache-flink
我的目标是有一个集中的地方来处理可能从不同的操作符抛出的异常,下面是我当前的解决方案: 在catch块中使用ProcessFunction和output
sideOutput
到context,假设有异常,并且在
sideOutput
的末尾有一个单独的接收器函数,其中它调用外部服务来更新另一个相关作业的状态。但是,我的问题是,通过这样做,我似乎仍然需要调用collector.collect()并传入一个空值,以便继续跟踪操作符并进入最后一个阶段,其中
sideOutput
将流到单独的接收器函数中。
浏览 0
提问于2018-09-19
得票数 2
回答已采纳
0
回答
在IDE中将数据写入端输出,而不是在群集上
java
、
apache-flink
new SimpleStringSchema(), ).name("
sideOutput
-KafkaSink")平面映射永远不会显示它在集群图形用户界面中收到了记录,并且System.out.println消息也永远不会写到标准输出中
浏览 1
提问于2017-11-29
得票数 2
回答已采纳
1
回答
边输出变换相同的数据流流水线的构造
google-cloud-dataflow
、
apache-beam
PCollectionList.of(
sideOutput
1).and(
sideOutput
2) .apply(Flatten.pCollections()) .apply(新HandleErrorTransform
浏览 3
提问于2017-02-06
得票数 0
回答已采纳
1
回答
如何检查flink中的DataStream为空或有数据
apache-flink
、
flink-streaming
、
flink-cep
、
flink-sql
我是Apache flink的新手,我有一个数据流,它实现了一个进程函数,如果满足某些条件,那么数据流是有效的,如果它不满足条件,我会将其写入
sideoutput
。
浏览 82
提问于2020-05-19
得票数 0
1
回答
Flink进程函数未将数据返回到Sideoutputstream
apache-flink
、
flink-streaming
、
flink-cep
、
flink-sql
我正在尝试用一组规则验证JSONObject,如果json与一组规则匹配,它将返回匹配的规则,如果不匹配,JSONObject将返回JSONObject到
Sideoutput
所有这些都是在ProcessFuntion中处理的,我正在获得主输出,但无法捕获副输出public final static OutputTag<org.json.JSONObject> unMatchedJSONSideOutput}).process(new RuleFilter()).print("MatchedJSON=&g
浏览 14
提问于2020-05-25
得票数 2
回答已采纳
1
回答
通过Flink动态异常处理在Kafka中编写多个主题
scala
、
apache-kafka
、
apache-flink
、
flink-streaming
、
kafka-producer-api
我目前正在从单个kafka主题读取数据,并根据数据本身写入动态主题。我已经实现了以下代码(根据数据的accountId动态选择主题),它工作得很好: class KeyedEnrichableEventSerializationSchema(schemaRegistryUrl: String) with KafkaContextAware[KeyedEnrichableEvent] { private val enrichableEventClass = clas
浏览 32
提问于2021-02-09
得票数 0
1
回答
GCP数据流Apache光束写入输出错误处理
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
对于具有相同主键的多个插入到Spanner的操作,我需要对数据流应用错误处理。逻辑是,可能在当前消息之后接收到较旧的消息,并且我不想覆盖保存的值。因此,我会将我的突变创建为一个插入,并在尝试重复插入时抛出一个错误。spannerBranchTuples2.get(spannerOutput2) .apply("Create Spanner Mutation", ParDo.of(createSpannerMutation
浏览 4
提问于2018-07-02
得票数 2
2
回答
如何正确处理自定义MapFunction中的错误?
apache-flink
我为我的Apache流实现了MapFunction。它解析传入元素并将其转换为其他格式,但有时会出现错误(即传入数据无效)。
浏览 2
提问于2016-03-18
得票数 9
1
回答
(Apache )--如何处理带有头的gzipped文件?
google-cloud-dataflow
、
apache-beam
我在GCS中有csv (gzip压缩)文件。我想读取这些文件并将数据发送到BigQuery。这怎么可能呢?而且,我觉得这有点过火,因为它使文件无法分割(虽然在
浏览 1
提问于2017-08-07
得票数 0
回答已采纳
2
回答
如何在使用Google数据流处理数据时报告无效数据?
google-cloud-platform
、
google-cloud-dataflow
我正在查看和,以了解如何在使用谷歌的处理数据时报告无效数据。p.apply(TextIO.Read.named("ReadMyFile").from(options.getInput())) .apply(TextIO.Write.named("WriteMyFile").to(options.getOutput()));除了实际的输入/输出之外,我还想生成第二个输出文件,其中包含被认为无效的记
浏览 2
提问于2015-01-02
得票数 2
回答已采纳
2
回答
BigQuery:基于列拆分表
google-bigquery
、
gcloud
简短问题:我想根据列的不同值将一个BQ表拆分为多个小表。因此,如果列country有10个不同的值,它应该将表拆分为10个单独的表,每个表都有各自的country数据。最好是从BQ查询中完成(使用INSERT、MERGE等)。谢谢。
浏览 5
提问于2018-11-02
得票数 1
1
回答
无法使用OutputTags运行作业
google-cloud-dataflow
options.setRunner(BlockingDataflowPipelineRunner.class); PCollection<String>
sideOutput
= results.getc.element(); if (profile.contains(keywor
浏览 1
提问于2016-10-04
得票数 1
回答已采纳
1
回答
射束SQL不点火
google-cloud-dataflow
、
apache-beam
、
spotify-scio
、
beam-sql
ParDo.of(new DoFnExample())) val delivery_events =
SideOutput
[DemoEvents]() val (mainOutput: SCollection[DemoEvents
浏览 1
提问于2019-08-22
得票数 2
回答已采纳
1
回答
Apache :如何处理三个流
apache-flink
、
flink-streaming
, new Fields("word")) .allGrouping("A_bolt", "SUM"); 在Flink中,实现了SUM stream(A_bolt's
SideOutput
浏览 0
提问于2018-11-08
得票数 0
回答已采纳
1
回答
当ParDo函数中存在错误时,NACK不会从数据流发送回Google Cloud发布/订阅
apache-beam
、
google-cloud-pubsub
、
dataflow
当数据流作业无法或不愿意处理消息时,如何向发布/订阅发送NACK。 Pipeline pipeline = Pipeline.create(options); PubsubIO.readMessagesWithAttributes() .apply(ParDo.of(new ProcessZipFileEventDo
浏览 19
提问于2021-04-22
得票数 1
2
回答
具有不同侧边栏的选项卡
r
、
shiny
我正在尝试创建一个有多个标签的闪亮应用程序。每个选项卡都有自己的侧边栏。我还没能把这件事办好。任何关于什么是错误的帮助,我们将不胜感激。下面是代码 sidebarPanel(
浏览 2
提问于2017-06-14
得票数 3
回答已采纳
1
回答
数据流+数据存储= DatastoreException: I/O错误
java
、
google-cloud-platform
、
google-cloud-datastore
、
google-cloud-dataflow
DoFnContext.sideOutputWindowedValue(DoFnRunnerBase.java:314) at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnProcessContext.
sideOutput
浏览 4
提问于2016-09-05
得票数 1
回答已采纳
2
回答
如何将PCollection转换为普通列表
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
在执行Bigquery处理之后,我有一个PCollection作为管道的结果,现在我想使用从管道分离出来的数据的某一部分。如何将PCollection转换为List,以便可以遍历它并使用其内容。
浏览 0
提问于2015-10-14
得票数 2
1
回答
奇怪的"Cannot Serialize operator object class ...CoBroadcastWithNonKeyedOperator“错误
java
、
apache-flink
以下是代码的相关部分: //
Sideoutput
that error strings will be written to OutputTag<String> sideOutputTag =
浏览 58
提问于2019-03-13
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
并行度改变引发的血案
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券