开源flink公司 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

OLAP实时查询海量数据-选项

hadoop、cassandra、presto、druid、nosql

我们有一个包含1800亿行和100+列的OLAP表，在Hive中它的容量接近8TB。大多数列都是维度，而且我们也有很少的度量列。我们希望构建一个实时系统支持临时查询来运行仪表板应用程序，其中查询应该在10秒内执行。Presto，可用于直接查询hdfs，但我们不确定它是否会支持如此庞大的卷上的低延迟查询。Druid，构建预聚合视图，看起来很有趣，但似乎没有任何企业支持。在这里，我们实际上很难从这些组件中做出选择，而且我们也

浏览 3提问于2016-11-09得票数 1

2回答

有没有一种使用SQL查询正在运行的Flink作业的方法

apache-flink、flink-streaming、flink-sql

我是新的Flink，并试图创建一个原型，可以做一个连续的查询以及按需的查询。第一部分已经起作用了(使用预定义的查询)，但与第二个部分斗争。有可以使用的SQL。我已经看到了Flink木星笔记本集成，这告诉我，这应该工作的方式从一个网页界面。但是，不知道如何做到这一点，每次都不提交一个完整的JAR。见和对我们还能探索什么有什么建议吗？

浏览 12提问于2022-01-15得票数 0

回答已采纳

2回答

apache beam for python是否在商业上支持flink runner？

apache-beam

apache beam for python现在支持flink runner吗？或者甚至是便携式跑步器？beam for java是否得到了flink runner的商业支持？

浏览 1提问于2019-03-22得票数 1

2回答

工作流引擎和事件流框架是编排层的替代方案吗？

architecture、workflow、system-design、event-driven-design

要求该层具有灵活性，以便可以快速实现不同类型文档的不同流另一种思考方式是--工作流。

浏览 7提问于2019-10-23得票数 3

1回答

kafka-connect-elasticsearch:将消息存储为预定义索引的格式

elasticsearch、apache-kafka

示例：此消息结构在kafka主题中，但我希望在elasticsearch中对其进行索引，如下所示 {"id":"1","name"{"firstName":"abc","lastName":

浏览 0提问于2018-09-20得票数 0

3回答

是否有一些好的开源连接器可以实现从InfluxDB到Flink的数据传输？

apache-flink、influxdb、flink-streaming

在每一开始，我们都试图了解流入DB和Flink之间的数据传输过程。我们的基本思想是: Flink读取来自influxDB的数据，Flink利用这些数据进行一些基于Flink的ML库的建模。但是，我们只找到一些开源存储库，它们提供了一个接收器，可以将数据从Flink发送到InfluxDB (例如Flink InfluxDB连接器)。因此，如果你知道一些好的例子，如我所描述的，请告诉我。

浏览 0提问于2019-12-12得票数 1

回答已采纳

2回答

这是否是非侵入性的？

solr、hdfs、apache-flink

我想尝试apache flink、hadoop和solr来进行非侵入性的日志摄取，以便对它们进行处理和索引，并进行一些分析和查询。我在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放到hadoop上，然后使用solr对它们进行查询。问题是:这真的是非侵入性的吗？Flink的行为类似于flume，在我喜欢监视的服务器中安装和配置代理。

浏览 21提问于2019-04-11得票数 0

2回答

链接到NiFi连接器

scala、apache-flink、apache-nifi

在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。import org.apache.flink.streaming.connectors.nifi.NiFiSourceimport org.apache.flink.streaming.api.functions.sourc

浏览 0提问于2017-07-17得票数 0

回答已采纳

1回答

弗林克的内部运作与建筑知识来源

apache-flink

除了直接读取代码之外，了解Flink (物理和运行时)如何组织和理解其内部工作(分发、并行等)的最佳方法是什么？平流层的论文(Nephele，PACT等)有多可靠？必须考虑到当前的技术状况吗？

浏览 3提问于2016-01-22得票数 0

回答已采纳

1回答

flink中的“外部状态”是什么？

apache-flink、flink-streaming

虽然Flink网站上的所有文档都没有提到“外部状态”，但我们在一篇论文中遇到了这个概念(http://www.vldb.org/pvldb/vol10/p1718-carbone.pdf 4.1节)。

浏览 26提问于2020-09-03得票数 0

回答已采纳

2回答

如何使用Flink度量

java、apache-flink、metrics

我有一个带有独立模式的Apache Flink集群，我想配置Flink Metrics。flink-conf.yaml中的配置 metrics.reporters: my_jmx_reporter,my_other_reporter metrics.reporter.my_other_reporter.host: 10.0.0.203metr

浏览 31提问于2019-01-17得票数 1

回答已采纳

1回答

我想好好学精通一门技术，大家用的走过的路，帮我指点指点呗让我少走了弯路和坑的苦？

自学，自己摸索白白浪费大把时光二是，降低他人的学习成本。三是，别人对自己学习结果的审核。

浏览 356提问于2020-09-25

3回答

开源项目:版权注册公司

open-source、licensing、gpl

我正在发布一个开源项目。我想让任何可能接受它的社区都尽可能地包容它。具体来说，我不希望当整个社区都在用我的名义来保护代码的版权；这种方法似乎是以自我为中心和疏远的。我最想避免这个问题的办法是把版权转让给一家公司，而不是我自己。我该怎么做？我要注册公司吗？我能告诉你一个团体的名字然后叫它公司吗？有哪些法律障碍？我真的不知道这件事是怎么回事。

浏览 0提问于2012-07-24得票数 3

回答已采纳

2回答

是否有像Nifi或流集数据收集器这样的可视化编程环境用于flink或beam？

apache-flink、apache-beam、visual-programming

我正在寻找一个可视化的编程工具，以抽象化的代码，当创建数据流流，以建立在Flink或束-Flink中的CEP应用程序。类似于Nifi或流设置数据收集器的图形设计器。有人知道这样的计划吗？

浏览 5提问于2017-04-30得票数 4

回答已采纳

3回答

如何在Flink中引用外部Jar

apache-flink

我试图在Flink中引用我的公司jar，将其复制到所有任务管理器中的$FLINK/lib，但都失败了。我也不想装一个太重太浪费时间的胖罐子。

浏览 3提问于2015-08-03得票数 11

回答已采纳

5回答

有可能不发布开源的东西吗？

open-source、licensing、legal

当我被A公司“雇用”时，我一直在开发一些软件。我现在想在B公司工作的同时继续做同样的软件。B公司希望这个软件成为开源软件，以防止A公司和他们之间的任何未来的法律问题。我会咨询A公司的律师，以确保他们不会介意，但我怀疑A公司实际上是一所公立大学，在行业关系方面看上去很不错。然而，我担心的是，在我们公开其结果之前，潜在的竞争对手可以访问该代码。除了B公司(既不是二进制的，也不是源代码的形式)之外，是否有可能使软件开源，或者我必须在软件开

浏览 0提问于2011-08-22得票数 1

回答已采纳

1回答

Google Cloud Dataproc支持的OSS

google-cloud-platform、apache-flink、google-cloud-dataproc、dataproc

Dataproc是一种完全托管且高度可扩展的服务，用于运行Apache Spark、Apache Flink、Presto和30+开源工具和框架。

浏览 34提问于2021-10-01得票数 3

回答已采纳

1回答

Flink savepoint与本地执行环境(如独立应用程序)

apache-flink、flink-streaming、flink-sql、flink-batch

如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？是否有任何方法或必须先使用flink群集，然后再使用CLI。感谢你的帮助。谢谢

浏览 0提问于2020-08-18得票数 0

1回答