flink开源

您好！您提到的 Flink 是一个流行的开源大数据处理引擎，它是 Apache Flink 项目的简称。Apache Flink 是一个高性能、可扩展、分布式的大数据处理引擎，它可以处理无界和有界数据流，并且具有低延迟、高吞吐量和容错能力。

Flink 的核心组件包括数据源、数据转换、数据接收器和算子等。数据源可以从各种来源读取数据，例如 Kafka、RabbitMQ、文件系统等。数据转换是对数据进行处理、转换和清洗的过程，例如过滤、聚合、窗口计算等。数据接收器将处理后的数据写入目标存储，例如数据库、文件系统等。算子是对数据流进行操作的一组操作符，例如 map、reduce、join 等。

Flink 的优势在于它的强大的性能和灵活性。它可以在分布式环境中实现低延迟和高吞吐量，并且支持事件时间处理和状态管理，可以应对各种大数据处理场景。同时，Flink 还支持多种编程语言，例如 Java、Scala、Python 等，并且具有广泛的社区支持和文档资源。

在腾讯云中，您可以使用腾讯云大数据平台来部署和管理 Flink 集群。腾讯云大数据平台提供了一站式的大数据服务，包括数据收集、存储、处理、分析和应用等一系列的服务。您可以使用腾讯云大数据平台来部署 Flink 集群，并使用腾讯云的其他产品和服务来实现数据的收集、存储和分析等功能。腾讯云大数据平台提供了丰富的文档和教程，可以帮助您快速上手使用 Flink。

页面内容是否对你有帮助？

有帮助

没帮助

有没有一种使用SQL查询正在运行的Flink作业的方法

apache-flink、flink-streaming、flink-sql

我是新的Flink，并试图创建一个原型，可以做一个连续的查询以及按需的查询。第一部分已经起作用了(使用预定义的查询)，但与第二个部分斗争。有可以使用的SQL。我已经看到了Flink木星笔记本集成，这告诉我，这应该工作的方式从一个网页界面。但是，不知道如何做到这一点，每次都不提交一个完整的JAR。见和对我们还能探索什么有什么建议吗？

浏览 12提问于2022-01-15得票数 0

回答已采纳

3回答

是否有一些好的开源连接器可以实现从InfluxDB到Flink的数据传输？

apache-flink、influxdb、flink-streaming

在每一开始，我们都试图了解流入DB和Flink之间的数据传输过程。我们的基本思想是: Flink读取来自influxDB的数据，Flink利用这些数据进行一些基于Flink的ML库的建模。但是，我们只找到一些开源存储库，它们提供了一个接收器，可以将数据从Flink发送到InfluxDB (例如Flink InfluxDB连接器)。因此，如果你知道一些好的例子，如我所描述的，请告诉我。

浏览 0提问于2019-12-12得票数 1

回答已采纳

2回答

链接到NiFi连接器

scala、apache-flink、apache-nifi

在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。import org.apache.flink.streaming.connectors.nifi.NiFiSourceimport org.apache.flink.streaming.api.functions.sourc

浏览 0提问于2017-07-17得票数 0

回答已采纳

1回答

flink中的“外部状态”是什么？

apache-flink、flink-streaming

虽然Flink网站上的所有文档都没有提到“外部状态”，但我们在一篇论文中遇到了这个概念(http://www.vldb.org/pvldb/vol10/p1718-carbone.pdf 4.1节)。

浏览 26提问于2020-09-03得票数 0

回答已采纳

2回答

是否有像Nifi或流集数据收集器这样的可视化编程环境用于flink或beam？

apache-flink、apache-beam、visual-programming

我正在寻找一个可视化的编程工具，以抽象化的代码，当创建数据流流，以建立在Flink或束-Flink中的CEP应用程序。类似于Nifi或流设置数据收集器的图形设计器。有人知道这样的计划吗？

浏览 5提问于2017-04-30得票数 4

回答已采纳

1回答

Google Cloud Dataproc支持的OSS

google-cloud-platform、apache-flink、google-cloud-dataproc、dataproc

Dataproc是一种完全托管且高度可扩展的服务，用于运行Apache Spark、Apache Flink、Presto和30+开源工具和框架。

浏览 34提问于2021-10-01得票数 3

回答已采纳

2回答

工作流引擎和事件流框架是编排层的替代方案吗？

architecture、workflow、system-design、event-driven-design

要求该层具有灵活性，以便可以快速实现不同类型文档的不同流另一种思考方式是--工作流。

浏览 7提问于2019-10-23得票数 3

1回答

Flink savepoint与本地执行环境(如独立应用程序)

apache-flink、flink-streaming、flink-sql、flink-batch

如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？是否有任何方法或必须先使用flink群集，然后再使用CLI。感谢你的帮助。谢谢

浏览 0提问于2020-08-18得票数 0

1回答

K8S上的Flink :如何向集群提供Flink配置？

kubernetes、apache-flink

我遵循创建集群，但不清楚如何向集群提供？例如，我想指定jobmanager.heap.size=2048m。

浏览 0提问于2019-08-13得票数 2

回答已采纳

1回答

无法使用flink在scala中实例化用户函数

scala、docker、apache-flink

我正在尝试运行一个用Scala编写的大型开源项目。我正在使用3个docker图像运行它。 docker-compose文件是here。version: '2' streammachine: - "EXECUTION_TYPE=flink-cluster"- "FLINK_JOBMGR_HOST=jobmanager" - "FLINK_JOBMGR_PORT=8081&qu

浏览 12提问于2019-08-26得票数 3

回答已采纳

1回答

查询以缩小未发送数据的传感器

amazon-web-services、apache-flink、aws-iot、amazon-kinesis-analytics

上下文：我们使用动态分析来处理我们的传感器数据并发现传感器数据中的异常。以下方法已经在中尝试过，但没有成功：CREATE OR REPLACE PUMP "STREAM_PUMP_ALERT_DOSCONNECTION" AS INSERT INTO "INTERMEDIATE_SQL_STREAM" SELECT STREAM "deviceID" as "device_key", c

浏览 13提问于2022-03-14得票数 1

1回答

如何使用Flink在电子病历上使用s3a文件系统？

amazon-s3、apache-flink、amazon-emr

我试图使用Table在Flink应用程序中利用s3a文件系统。我在EMR6.1(预装有Flink 1.11.0)。org.apache.flink.core.fs.UnsupportedFileSystemSchemeException 指示s3://或s3a:// URI都不支持任何文件系统似乎flink run命令没有遵守EMR预先配置的hadoop类路径。

浏览 2提问于2021-09-01得票数 0

回答已采纳

2回答

实时流和回测应用程序的正确云服务是什么？

amazon-web-services、google-cloud-platform

我希望以非常高的频率记录时间序列数据。我想知道是否有一个优雅的无服务器解决方案，允许我存储并对实时数据做出反应。AWS Kinesis streams似乎符合要求-但是，我不确定它是否仅用于实时反应，或者是否还收集历史数据，以便我可以脱机使用这些数据来构建模型。

浏览 0提问于2017-08-11得票数 0

2回答

这是否是非侵入性的？

solr、hdfs、apache-flink

我想尝试apache flink、hadoop和solr来进行非侵入性的日志摄取，以便对它们进行处理和索引，并进行一些分析和查询。我在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放到hadoop上，然后使用solr对它们进行查询。问题是:这真的是非侵入性的吗？Flink的行为类似于flume，在我喜欢监视的服务器中安装和配置代理。

浏览 21提问于2019-04-11得票数 0

1回答

除了一个胖jar之外，所有东西都会在停靠的flink集群中失败。

apache-flink、flink-streaming

flink Dockerfile： ADD http://central.maven.org/maven2/org/apache/flink/flink-connector-kafkaorg/apache/flink/flink-avro-confluent-registry/1.7.2/flink-avro-con

浏览 0提问于2019-04-12得票数 1

回答已采纳

2回答

AbstractCassandraTupleSink的实现是不可序列化的。

java、cassandra、apache-flink

token, 1)); } } 运行这段代码后，我得到了以下错误：线程"main“org.apache.flink.api.common.InvalidProgramException

浏览 0提问于2018-12-24得票数 0

回答已采纳

2回答

Apache 1.14.0 -无法通过Java中的SQL使用python

apache-flink、user-defined-functions、flink-table-api

input_types=[DataTypes.INT()], result_type=DataTypes.INT()) return a + 1➜ flink-1.14.0 .ret1 = tEnv.executeSql("select add1(3)"); }然后通过Flink客户端运行作业： flink run &#x

浏览 6提问于2021-12-03得票数 3

1回答