开源大数据flink
开源大数据Flink是一种流行的开源数据处理引擎，它提供了一种高效、可扩展的方式来处理大规模数据流。Flink 的主要优势在于它的低延迟和高吞吐量，这使得它在实时数据处理和分析方面非常具有优势。
Flink 可以应用于许多不同的场景，包括实时数据处理、数据流处理、数据分析、ETL 和 ELT 等。它可以与许多不同的数据源和数据存储系统集成，例如 Apache Kafka、Apache Cassandra、Amazon S3 等。
推荐的腾讯云相关产品是云产品大数据平台，它提供了一种完整的大数据解决方案，包括数据收集、存储、处理、分析和可视化等。云产品大数据平台支持 Apache Flink，并且提供了一些预置的算法和模型，使得用户可以更加轻松地进行大数据处理和分析。云产品大数据平台的产品介绍链接地址是：https://cloud.tencent.com/product/tdsql-for-bigdata
相关·内容
3回答
是否有一些好的开源连接器可以实现从InfluxDB到Flink的数据传输？
apache-flink、influxdb、flink-streaming
当我们试图构建自己的时态数据库系统时，我的团队遇到了一些问题。在每一开始，我们都试图了解流入DB和Flink之间的数据传输过程。我们的基本思想是: Flink读取来自influxDB的数据，Flink利用这些数据进行一些基于Flink的ML库的建模。(如图中的红圈)。但是，我们只找到一些开源存储库，它们提供了一个接收器，可以将数据从Flink发送到InfluxDB (例如Flink
浏览 0提问于2019-12-12得票数 1
回答已采纳
1回答
flink中的“外部状态”是什么？
apache-flink、flink-streaming
虽然Flink网站上的所有文档都没有提到“外部状态”，但我们在一篇论文中遇到了这个概念(http://www.vldb.org/pvldb/vol10/p1718-carbone.pdf 4.1节)。
浏览 26提问于2020-09-03得票数 0
回答已采纳
2回答
有没有一种使用SQL查询正在运行的Flink作业的方法
apache-flink、flink-streaming、flink-sql
我是新的Flink，并试图创建一个原型，可以做一个连续的查询以及按需的查询。第一部分已经起作用了(使用预定义的查询)，但与第二个部分斗争。有可以使用的SQL。我已经看到了Flink木星笔记本集成，这告诉我，这应该工作的方式从一个网页界面。但是，不知道如何做到这一点，每次都不提交一个完整的JAR。见和
对我们还能探索什么有什么建议吗？
浏览 12提问于2022-01-15得票数 0
回答已采纳
1回答
是否可以配置Flink飞行前类型序列化扫描？
apache-flink、flink-streaming
Flink在Flink应用程序(https://ci.apache.org/projects/flink/flink-docs-stable/dev/types_serialization.html)创建源、运算符和接收器的行为会导致Flink扫描在给定流的拓扑中使用的对象的数据类型，因为很明显，Flink将尝试基于此信息优化作业。 这种扫描是可配置的吗？我可以关闭它，强制Flink
浏览 18提问于2019-06-04得票数 0
2回答
在同一数据上Flink多个Windows
streaming、apache-flink、flink-streaming
我的flink应用程序执行以下操作
> then dump data to flink</
浏览 3提问于2019-01-30得票数 2
1回答
查询以缩小未发送数据的传感器
amazon-web-services、apache-flink、aws-iot、amazon-kinesis-analytics
上下文：我们使用动态分析来处理我们的传感器数据并发现传感器数据中的异常。设备1在09:00设备2发送数据在09:02设备2在09:11再次发送数据，但是设备1没有发送任何数据。测试用例2的输出：测试
浏览 13提问于2022-03-14得票数 1
1回答
flink reduceGroup中的迭代行为
scala、hadoop、apache-flink
我正在创建一个应该处理大量数据的系统，并且我需要了解减少组操作符是如何工作的。是在请求数据时加载数据的懒惰迭代器，还是在创建数据时准备内存中所有数据的急切迭代器？
我在flink 0.9 milestone1中使用scala
浏览 4提问于2015-05-11得票数 6
回答已采纳
1回答
Apache Flink中大(5000万)键集的代理键映射
caching、apache-flink、surrogate-key
我有一个用例，其中apache flink进程必须集成来自多个源的近乎实时的数据流(事件)，但由于不同系统中缺乏统一的键，我需要使用现有数据库中的代理键(SK)查找。SK数据集非常大(50个Million+密钥)。缓存这样的数据集用于流中转换(映射)而不使用DB查找是否可能/可取？如果是，缓存的限制是什么？如果不是，Flink有哪些替代方案？
浏览 2提问于2019-12-10得票数 1
2回答
链接到NiFi连接器
scala、apache-flink、apache-nifi
在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。import org.apache.flink.streaming.connectors.nifi.NiFiSourceimport org.apache.flink.streaming.api.functi
浏览 0提问于2017-07-17得票数 0
回答已采纳
1回答
Apache Flink -如何对齐Flink和Kafka切分
apache-kafka、apache-flink、sharding
我正在为一个大容量流用例(每秒数以千万计的事件)开发一个DataStream-based Flink应用程序。这些数据是从卡夫卡主题中消耗的，并且已经根据特定的键进行了切分。我的意图是在Flink端创建特定于键的状态，以运行自定义分析。我无法解决的主要问题是，如何创建键控状态，而不对keyBy()强加的传入数据进行重新配置。我可以保证Flink作业的最大并行性将小于或等于源Kafka主题中的分区数，因此逻辑上没有必要进行洗牌。StackOverflow问题的答案表明，可能有可能以一种符合
浏览 4提问于2022-08-08得票数 2
回答已采纳
2回答
是否有像Nifi或流集数据收集器这样的可视化编程环境用于flink或beam？
apache-flink、apache-beam、visual-programming
我正在寻找一个可视化的编程工具，以抽象化的代码，当创建数据流流，以建立在Flink或束-Flink中的CEP应用程序。类似于Nifi或流设置数据收集器的图形设计器。
有人知道这样的计划吗？
浏览 5提问于2017-04-30得票数 4
回答已采纳
1回答
Flink流窗口容量边界
apache-flink、flink-streaming、flink-cep
我是Flink流媒体的初学者。我正在处理大约每秒5000个传入的事件，需要查找过去3天的事件窗口。我的问题是: Flink在哪里存储它的窗口数据？我会受到RAM大小的限制吗？在每秒5000字节和每个事件2000字节的情况下，我正在考虑三天窗口的非常大的存储需求。
浏览 1提问于2018-03-13得票数 0
1回答
Apache实现具有潜在非常大状态的流处理器
scala、apache-flink、flink-streaming
我希望从一系列事件中预测出一个潜在的非常大的状态。我将如何开始在Flink中表示这个处理结构？
如何处理每个BarState都可能变得非常大的事实？
浏览 4提问于2017-03-28得票数 0
回答已采纳
2回答
这是否是非侵入性的？
solr、hdfs、apache-flink
我想尝试apache flink、hadoop和solr来进行非侵入性的日志摄取，以便对它们进行处理和索引，并进行一些分析和查询。我在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放到hadoop上，然后使用solr对它们进行查询。问题是:这真的是非侵入性的吗？Flink的行为类似于flume，在我喜欢监视的服务器中安装和配置代理。hadoop和solr是不是一个很好的组合，可以索引大量日志，然后以sql方式查询这些日志，以便深入了解数据并做出一些在创建警报时有用的预测？ 谢谢。
浏览 21提问于2019-04-11得票数 0
1回答
apache flink中的处理是什么意思？
apache-flink
我在apache Flink中的处理概念上遇到了问题。当涉及到apache Flink中的处理时，这个过程涉及到什么？有没有这样的例子？
浏览 13提问于2019-09-18得票数 0
回答已采纳
2回答
实时流和回测应用程序的正确云服务是什么？
amazon-web-services、google-cloud-platform
我希望以非常高的频率记录时间序列数据。我想知道是否有一个优雅的无服务器解决方案，允许我存储并对实时数据做出反应。
我希望使用存储的数据创建统计模型，然后基于这些模型实时处理新数据。AWS Kinesis streams似乎符合要求-但是，我不确定它是否仅用于实时反应，或者是否还收集历史数据，以便我可以脱机使用这些数据来构建模型。
浏览 0提问于2017-08-11得票数 0
2回答
Flink作业.UnfulfillableSlotRequestException:无法满足插槽要求。Req资源配置文件(ResourceProfile{未知})无法实现
apache-flink、flink-streaming
Flink作业提交
----------------------------------: Could not fulfill slot request
浏览 25提问于2020-03-10得票数 2
回答已采纳
1回答
用gradle代替maven的利弊
java、maven、gradle、apache-flink
我正在做一个项目，在这个项目中我制作了一个flink数据流程序，并将代码的第一次运行转移到了另一个团队，以便他们可以查看它。他们都是大级别的用户，并问我是否有任何缺点或好处切换到使用gradle，而不是在未来的flink项目使用maven。有两个git集线器repos，我发现乍一看，它们看起来像是在flink项目上实现gradle，但仅此而已。( 1.)是否有“如果flink项目试图切换到gradle
浏览 1提问于2017-05-09得票数 2
回答已采纳
1回答
flink SourceFunction<>正在StreamExecutionEnvironment.addSource()中被替换？
java、apache-flink、flink-streaming、complex-event-processing、flink-cep
setQueue(Queue<String> q){ }
public void run(org.apache.flink.streaming.api.functions.source.SourceFunction.SourceContext
浏览 0提问于2018-08-14得票数 0
回答已采纳
2回答
Flink Scala缺失导入
scala、maven、apache-flink
在我的Flink项目中，我找不到连接器的某些库(具体来说，我需要吃一次CSV，在批处理或流模式下读取几个块数据的TBs )。\MyFlinkJob.scala:46: error: not found: type FileSource <dependency><groupId>org.apache.flink</groupId>
<artifactId>flink</e
浏览 26提问于2022-11-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
