Apache Zeppelin 中 Flink 解释器
Apache Zeppelin 中 Flink 解释器
概述
Apache Flink是分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink还在流式引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。
如何启动本地Flink群集，来测试解释器
Zeppelin配有预配置的flink-local解释器，它在您的机器上以本地模式启动Flink，因此您不需要安装任何东西。
如何配置解释器来指向Flink集群
在“解释器”菜单中，您必须创建一个新的Flink解释器并提供下一个属性：
属性 | 值 | 描述 |
|---|---|---|
host | local | 运行JobManager的主机名。'local'在本地模式下运行flink（默认） |
port | 6123 | 运行JobManager的端口 |
有关Flink配置的更多信息，可以在这里找到。
如何测试它的工作
您可以在Zeppelin Tutorial文件夹中找到Flink使用的示例，或者尝试以下字数计数示例，方法是使用Till Rohrmann演示文稿中的Zeppelin笔记本 与Apache Flink for Apache Flink Meetup进行交互式数据分析。
%sh rm 10.txt.utf-8 wget http://www.gutenberg.org/ebooks/10.txt.utf-8 %flink case class WordCount(word: String, frequency: Int) val bible:DataSet[String] = benv.readTextFile("10.txt.utf-8") val partialCounts: DataSet[WordCount] = bible.flatMap{ line => """\b\w+\b""".r.findAllIn(line).map(word => WordCount(word, 1)) // line.split(" ").map(word => WordCount(word, 1)) } val wordCounts = partialCounts.groupBy("word").reduce{ (left, right) => WordCount(left.word, left.frequency + right.frequency) } val result10 = wordCounts.first(10).collect() |
|---|