2回答
在一些参与者中，我想从Flink实例化一个StreamExecutionEnvironment并处理传入的消息。因此，我编写了一个自定义源类来扩展RichSourceFunction类。一切正常，除了一件事:我不知道如何发送数据到我的Flink扩展。Override run = false;}
所以我想从外部调用FlinkExtension类中的sendData方法，以连续的方式
浏览 5提问于2017-07-31得票数 1
回答已采纳
我正在为一个大容量流用例(每秒数以千万计的事件)开发一个DataStream-based Flink应用程序。这些数据是从卡夫卡主题中消耗的，并且已经根据特定的键进行了切分。我的意图是在Flink端创建特定于键的状态，以运行自定义分析。我无法解决的主要问题是，如何创建键控状态，而不对keyBy()强加的传入数据进行重新配置。我可以保证Flink作业的最大并行性将小于或等于源Kafka主题中的分区数，因此逻辑上没有必要
浏览 4提问于2022-08-08得票数 2
回答已采纳
1回答
如何使用自定义数据源从关系数据库读取数据。我是新来的flink流媒体。在添加新的自定义数据源时，我面临着问题。因此，请帮助我添加自定义数据源和从源数据库中连续读取数据。
浏览 2提问于2018-01-09得票数 1
回答已采纳
对于某些上下文，CSV文件托管在HDFS服务器上，我正在将结果写入我的计算机上的本地TXT文件。Flink也在我的机器上本地运行。考虑到这一点，"Bytes server“似乎意味着"Bytes从HDFS服务器发送到我的机器”，而"Bytes接收“似乎意味着"Bytes从我的机器发送到HDFS服务器”。奇怪的是，连接在过滤前两个数据集完成之前就开始了。，这是预期的行为吗?如果是的话，为什么？下面是我关于正在发生的事情的一些上下文的执行计
浏览 1提问于2019-05-19得票数 1
回答已采纳
我正在使用Flink从postgresql数据库中读取数据，该数据库经常使用新的数据进行更新。目前，我可以使用Flink的从这个数据库进行一次查询.我想在这个数据库上运行一个连续查询，但是由于这个sql源不是一个无限制的输入，所以我的查询只运行一次并停止。据我所知，我可以：
以一种强力的方式重复运行这些查询，可能使用。使用，因为连续查询是在动
浏览 6提问于2020-11-24得票数 0
回答已采纳
我希望使用Flink SQL作为多个不同服务上的物化视图。例如，从MySQL & Redis & RPC服务读取数据，将它们连接在一起，然后更新存储在PostgreSQL中的结果表。如果“通知”包含源表中的所有信息，那么我可以只使用动态表。但是，源表中的数据太大，无法将它们全部存储在动态表中，这将是一种浪费。所以最好的方法是：
Flink读取输入中的通知，而不是从内存中更新和查询动态表，Flink查询外部服务以
浏览 5提问于2020-10-27得票数 1
我对Flink相当陌生，在技术用例方面需要一些帮助。我有一个在GKE上运行的flink应用程序，并使用自定义接收器将记录(从Kafka源)写入BigQuery。我可以将记录写入BigQuery，而不会出现任何问题。目前，记录被一个接一个地写入接收器中，因此每个kafka消息都会得到自己对BigQuery的插入api调用，这并不理想，因为我们需要执行批量插入，并且单独插入每个记录将非常昂
浏览 5提问于2022-10-18得票数 2
回答已采纳
2回答
如何在Flink转换中更新配置？
、、、、
给定一个Flink流作业，该作业将map()操作应用于流。将KafkaSourcewait挂起，直到管道耗尽(flush)trigger集群中的所有任务，以重新读取配置文件(c
浏览 13提问于2022-10-11得票数 0
我们使用的是Elasticsearch 6.8.4和Flink 1.0.18。我们在elasticsearch中有一个带有1个分片和1个副本的索引，我想创建自定义输入格式，以便使用apache Flink dataset API读取和写入elasticsearch中的数据，并具有超过1个输入拆分，以实现更好的性能。根据我的理解，no.of并行度应该等于数据源的分片/分区数量。然而，因为我们只存储少量的数据，所以我们将
浏览 19提问于2020-09-05得票数 0
回答已采纳
如果Flink应用程序在失败或更新后启动备份，那么类变量不是KeyedState或OperatorState的明显一部分吗？如果Flink应用程序被更新，会丢失currentMaxTimestamp中的值吗?还是在更新应用程序之前将其写入创建的保存点？真正的原因是我想要实现一个自定义水印生成器，如果源已经空闲太久，它将切换到生成水印时的处理时间。但是，我希望检测到，在基于类变量将类变量重置为原来的默认值(例如，我提供的链接中的示例中的Long.MIN_VALUE )更新或失败后，应用程序
浏览 6提问于2019-12-19得票数 1
回答已采纳
我想使用Kafka source作为Apache Flink 1.12的有界数据源，我尝试使用FlinkKafkaConsumer连接器，但它给了我以下原因
原因: java.lang.IllegalStateException:检测到未绑定的源，并将“Execution.runtime-mode”设置为“BATCH”。此组合是不允许的，请在org.apache.flink.util.Preconditions.checkState(Preconditions.java:198) ~flink</
浏览 0提问于2021-01-14得票数 1
我有flink应用程序，将在DC-1 (数据中心1)的节点上运行，我们计划使用HDFS或AMAZON-S3备份保存点和检查点状态。我的组织中对HDFS和S3的支持是，它不会将写入DC-1的数据复制到DC-2 (他们正在做这件事，但时间线很长)。考虑到这一点，有没有一种方法可以让flink本身以某种方式将flink检查点/保存点写入两个DC？谢谢
浏览 18提问于2021-11-22得票数 0
1回答
当我们试图使用writeAsCsv(path，writemode)方法将处理过的JSON数据从Flink写入文件时，我们需要在没有发生的每个JSON之后插入逗号。我们使用Apache作为Flink的数据源。Tuple5<String, String, String, String, String>> messageStream = env.addSource(new FlinkKafkaConsumer08<>(F
浏览 2提问于2017-04-27得票数 2
1回答
流在Hadoop中的应用
、、、、
在这个例子中，我确实看到他们创建了一个单独的应用程序(类似于流应用程序)，该应用程序生成和消费数据，并在数据上应用模式匹配。现在，我知道，如果我使用Kafka，那么我需要两个应用程序；一个用于将数据摄取到Kafka主题中，另一个用于消费Kafka主题的数据。参考Flink CEP的例子，我想知道流层(如Kafka/Kinesis)将如何发挥作用?？
如果像卡夫卡/动态)这样的流层出现在两者之间，会有什么好处/缺点？
浏览 2提问于2016-06-13得票数 0
有一个名为flink-jdbc的模块，它只支持基于非并行元组类型的JDBC InputFormat。为了将并行InputFormat用于JDBC，似乎需要通过实现接口org.apache.flink.core.io.InputSplit进行自定义。因此，在我的例子中，如何自定义实现JdbcInputSplit以从数据库并行查询数据？
浏览 0提问于2016-01-23得票数 3
回答已采纳
2回答
由于直接运行程序实现非常简单(它将整个输入集读入内存)，它将无法读取和输出这些大型文件(除非您为java vm进程分配了不太实际的大量内存)；因此，我的问题是：“像flink/spark/云数据流这样的生产运行程序如何处理这个-假设他们不只是尝试将整个文件/dataset放到内存中吗？”-。
我预计生产运行程序的实现需要“在部件或批中”工作(比如读取/处理/输出部件)，以避免在任何特定时间点将庞大的数据集放入内存中。一般化，请注意这也适用于其他输入/输出机制，例如
浏览 2提问于2021-07-01得票数 0
回答已采纳
我正在使用纱线集群中的Flink来使用各种源和接收器处理数据。在拓扑中的某个点，有一个操作不能并行化，而且需要访问大量内存。实际上，我在这个步骤中使用的API需要以数组形式输入。有没有一种直接的方式将这个任务整合到我的Flink管道中？
我在中读到collect()函数不应该用于大型数据集。我认为，将数据集收集到一个列表中，然后数组并不是并行的，这不是我目前最大的问题，但是您是否仍然愿意将上面我所称的input写入</em
浏览 4提问于2015-12-08得票数 1
回答已采纳
我有一个流收集和处理的Flink应用程序。该应用程序由Kafka作为事件源、协同映射函数和Kafka接收器组成，如下图所示：我想用CSV文件中的一些字段丰富Kafka输入的流。潜在的解决方案:广播丰富的数据，并连接来自卡夫卡的事件流，基于某种逻辑。
是否有更好的
浏览 1提问于2022-02-19得票数 0
我正在使用Scala API开发一个Apache Flink应用程序(我是一个使用这项技术的新手)。 我正在使用hashmap来存储来自数据库的一些值，并且我需要每隔一小时刷新这些值。
浏览 25提问于2019-03-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
