在过去几天学习Flink CEP库时,我的印象是它没有为Flink的标准功能添加任何新的基本功能。似乎Flink CEP的唯一目的是使事件处理更容易,具有清晰的语义和直观的代码结构。例如,Flink只显示事件匹配跳过的。虽然这些语义对于很多情况来说都是足够的,但它可能不能解决具体的问题,这使我们回到了普通的Flink。
测试用例是以下模式:
Emmit a alert(represented by 'a') for each non-overlapping pair of numbers in a stream
以模式为代表:
Pattern.begin[EventType](
我正在学习如何使用Flink处理流数据。
我已经成功地编写了一个示例,它是从数据源接收和反序列化流数据,转换它并打印输出。
现在我在考虑如何处理Flink中的OOM例外。
例如,如果存在背压问题,这意味着如果从数据源发送数据的速度比Flink的操作符中处理数据的速度快,我的理解是,RAM将在一段时间内耗尽。如果这个案子发生了呢?如何处理这种异常?是否有可能忽略某些输入,从而使进程不会导致任何错误?
换句话说,我期待一些机制如下:
if (RAM is almost exhausted)
ignore the coming data
else
process the coming
所以我用它安装了一个样例Flink项目。
我正在尝试使用这个模板,它让我可以开始编写一个Flink摄取应用程序,而不必担心依赖关系,但它适得其反。当我尝试与sbt同步时,我发现找不到Flink (不是要说谎,但这部分对我来说甚至是模糊的)。我想知道是否有人知道如何让我的项目找到Flink。使用这项技术非常令人兴奋。
Error while importing sbt project:
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=384M; support was removed in 8.0
[
我正在尝试使用我的felipeogutierrez/explore-flink:1.11.1-scala_2.12镜像可用here到kubernetes集群配置中,就像它说here一样。我用maven编译了我的项目https://github.com/felipegutierrez/explore-flink,并用这个Dockerfile扩展了默认的flink图像flink:1.11.1-scala_2.12 FROM maven:3.6-jdk-8-slim AS builder
# get explore-flink job and compile it
COPY ./java/expl
我正在尝试写一些输出到S3使用电子病历与Flink。我使用的是Scala 2.11.7、Flink 1.3.2和EMR 5.11。但是,我得到了以下错误:
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addResource(Lorg/apache/hadoop/conf/Configuration;)V
at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:93)
at org.apache.fl