接收器可以成为Apache Flink中的下一个数据源吗
接收器（Sink）是Apache Flink中的一种数据输出组件，用于将数据流发送到外部系统或存储介质。它可以将数据流写入各种目标，如文件系统、数据库、消息队列等。
在Apache Flink中，接收器主要用于将处理后的数据流输出到外部系统，而不是作为数据源。数据源（Source）是用于从外部系统或存储介质读取数据流的组件。
因此，接收器不能成为Apache Flink中的下一个数据源。接收器的作用是将数据流输出到外部系统，而数据源的作用是从外部系统读取数据流。
如果您需要将数据流作为数据源输入到Apache Flink中，可以使用Flink提供的各种数据源组件，如Kafka数据源、Socket数据源、文件数据源等。这些数据源组件可以将外部系统的数据流作为输入，供Apache Flink进行处理和分析。
关于Apache Flink的更多信息和相关产品介绍，您可以参考腾讯云的官方文档：
- Apache Flink产品介绍：https://cloud.tencent.com/product/flink
- Apache Flink文档：https://ci.apache.org/projects/flink/flink-docs-release-1.14/
相关·内容
我正在使用Apache Flink处理流数据。 我说我有两个jar文件a.jar和b.jar。我的问题是，是否可以使用a.jar的接收器作为b.jar的数据源。如果可能的话，你能给我举个简单的例子吗？ 如果没有，我能做什么？我必须使用类似数据库的东西来存储a.jar接收器的输出，并使用数据库作为b.jar的数据源吗</e
浏览 13提问于2020-06-28得票数 2
回答已采纳
作为一个玩具示例，假设我希望构建一个web应用程序，该应用程序接收带有ID和$ payed的HTTP请求，并以ID在24小时窗口中支付的总额返回响应。使用Apache，如果输入和输出是Kafka流，当然可以创建该应用程序。
，但是否支持/可能创建一个Flink应用程序，其中输入是HTTP请求，输出是对HTTP请求的响应？如果Flink不支持这一点，是否还会有另一个数据流框架支持这一点？(对于上面的玩具示例，我想有比使用Flink更简单
浏览 4提问于2020-06-16得票数 0
回答已采纳
我集成了两个工具Apache NiFi和Apache Flink。NiFi获取事件并将它们发送到Flink，之后Flink将这些事件经过一些处理返回给相同的NiFi。我在Flink中构建了Nifi的源代码和接收器。整个过程可以工作，但是接收器的性能非常差(大约每秒10个事件)。
如果我移除接收器(仅打印输出)，处理速度会快得多。我想我可以
浏览 3提问于2018-07-24得票数 1
我想设置Flink，这样它就可以将数据流从Apache转换并重定向到MongoDB。出于测试目的，我构建在flink流-Connectors.kafka示例()之上。卡夫卡流是正确红色的链接，我可以映射他们等，但问题发生时，我想保存每一个接收和转换的信息到MongoDB。我发现的关于MongoDB集成的唯一例子是来自github的flink-mongodb测试。不幸的是，它使用<e
浏览 3提问于2016-02-02得票数 11
回答已采纳
我是Apache Flink的新手。我有一个特定的要求，因为我必须使用elasticsearch索引作为源。我试着找出flink是否有像elasticsearch这样的源码，但似乎没有。我可以看到我们可以使用elasticsearch作为接收器，但没有直接支持作为源。有人能指导我如何解决这个问题吗？我使用的是elasticsearch 5.5.0和flink 1.2。
浏览 6提问于2017-07-29得票数 2
1回答
我正在尝试使用Apache Flink ML包的StochasticOutlierSelection模型。我不知道如何使用它与Kafka作为数据源，我知道它需要一个DataSet而不是DataStream，但我似乎不能窗口我的Kafka DataStream成为一个DataSet。有没有一种方法可以把我的流当作一系列小的DataSets。例如，有没有一种方法可以说流中每10个匹配模式的</e
浏览 5提问于2018-03-12得票数 2
我想在hbase接收器表中写入数据，我有兼容flink版本1.14.4的Hbase版本2.2.0，我将接收器hbase表定义如下： CREATE TABLEtable_api_table但我错了: org.apache.
浏览 24提问于2022-10-24得票数 -1
回答已采纳
背景水流看上去像这样故事到目前为止异步行为的不确定如果使用CompletableFuture，则该行为将如何成为，每条消息将以Async的方式处理，但下一条消息是否会在第一次处理完成之前被获取以进行处理？换句话说，有一种方法可以在任务管理器
浏览 2提问于2021-07-27得票数 1
回答已采纳
我使用elasticsearch 6.2.2作为flink中的接收器，但在阅读apache flink文档时，我可以看到用于5.x版的连接器，但没有提到6.x版的连接器。flink是否支持elasticsearch 6.x的任何连接器？或者，我是否应该创建任何http客户端，并在每次创建或更新新文档时发出post请求？或者他们有其他的技术？
浏览 14提问于2018-02-28得票数 0
我试图理解Apache仪表板显示的"Bytes接收/发送“意味着什么。对于某些上下文，CSV文件托管在HDFS服务器上，我正在将结果写入我的计算机上的本地TXT文件。Flink也在我的机器上本地运行。考虑到这一点，"Bytes server“似乎意味着"Bytes从HDFS服务器发送到我的机器”，而"Bytes接收“似乎意味着"Bytes从我的机器发送到HDFS服务器”。，这是正确的<
浏览 1提问于2019-05-19得票数 1
回答已采纳
1回答
我正在使用一个名为Localstack的产品在本地模拟亚马逊S3，它是一个Flink作业的流文件接收器。 在运行日志中，我可以看到Flink忽略了本地堆栈，并试图联系亚马逊S3。Received error response: org.apache.flink.fs.s3base.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Service Unavailable
浏览 70提问于2020-08-11得票数 2
我们开始使用Apache进行数据流处理。它处理数据，然后更新接收器中的数据库。我们将数据库端点/凭据配置为Flink配置数据(因为我们有标准dev/test/prod设置)，但不幸的是，密码/api-键与所有其他配置数据一起以明文形式显示在Flink配置仪表板中。是否有一种配置flink的方法，以便java代码仍然可以通过 (或类似的)访问敏感密码信息，但敏感
浏览 0提问于2019-09-10得票数 2
我知道Apache完全有一次的能力，这依赖于检查点机制和可刷新的数据源。
据我理解，如果Flink的操作符出现了一些错误，它需要进行最后一次操作才能再次运行，所以它必须获得历史数据。说数据源是Apache，那么我能让Kafka存储历史数据吗？我能让Flink存储历史数据吗？或者我能让他们两个都这样做吗？如果他们能一起做这件事，这是否意味着我可以让卡夫卡存储一部分历
浏览 3提问于2020-05-11得票数 1
回答已采纳
1回答
我正在深入研究Flink内部，看看如何在项目中使用它，并向创作者/高级思想家提出了一个问题。为什么Flink使用Yarn作为默认的资源管理器？
库伯奈特斯被考虑了吗？或者这是我们从亚恩开始的事情之一，效果很好.我使用了一个非常大的计算集群2000左右的节点，我希望使用Flink的超级酷CEP特性，它依赖于Kafka基础设施(也部署在这个kubernetes环境中)。我正在寻找理解的原因，使用亚恩作为资源管理
浏览 2提问于2018-03-01得票数 2
回答已采纳
1回答
我是Flink的新手。据我理解，在Flink中，TaskManager可以被划分为多个槽，一个时隙可以分配多个任务，一个任务是一个线程。因此，每个线程都有自己的线程，这意味着在这个示例中我们需要三个线程。我们可以把这三个任务(三个线程)放在一个槽里。然而，现在我正在阅读它的官方文档：
Flink程序由多个任务(转换/运算符、数据源和接收器)组成。任务被
浏览 2提问于2020-05-15得票数 4
回答已采纳
我想使用Kafka source作为Apache Flink 1.12的有界数据源，我尝试使用FlinkKafkaConsumer连接器，但它给了我以下原因
原因: java.lang.IllegalStateException:检测到未绑定的源，并将“Execution.runtime-mode”设置为“BATCH”。此组合是不允许的，请在org.apache.flink.util.Preconditions.checkState(Precondit
浏览 0提问于2021-01-14得票数 1
1回答
我可以从IntelliJ运行我的Flink作业没有问题，但是当我尝试在flink standalone上运行它时……我正在使用maven shade插件(基于)来创建我的jar文件： <groupId>org.apache.maven.plugins<exclude>org.<
浏览 3提问于2018-01-24得票数 0
我阅读了使用RichSinkFunction比直接调用DB方法的优点。因此，我决定写我自己的RichSinkFunction。import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.sink我想在一个单独的类下调用这个方法，这个类应该传递代码中提到的3个参数。记录采用JSON格式。我可以通过解
浏览 4提问于2022-01-05得票数 1
我对Flink的表-api (1.13+)有一些问题.我有一个包含几个字段的POJO，其中之一是：我为这个字段使用以下声明来创建我的表： ...之后，当我试图使用DataStream方法将表转换为toRetractStreamMY_POJO时，我得到了以下错误：
未注册表的查询结果和接收器的线程“主”or
浏览 2提问于2022-01-19得票数 5
我试图创建一个简单的应用程序，应用程序将使用Kafka消息，做一些cql转换并发布到Kafka，下面是代码：import org.apache.flink.core.fs.FileSystem;import org.apache.<e
浏览 6提问于2021-05-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
