Flink Introduction

Hadoop开源社区新技术层出不穷,大家可能对Map/Reduce(YARN)/Spark很熟悉,最近又新增了一个Flink,也是大有来头。

Apache Flink是一个高效、分布式、基于Java实现的通用大数据分析引擎,它具有分布式MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案,它支持批量和基于流的数据分析,且提供了基于Java和Scala的API。从Apache官方博客中得知,Flink已于近日升级成为Apache基金会的顶级项目。

 从Flink官网得知,其具有如下主要特征:

1. 快速

Flink利用基于内存的数据流并将迭代处理算法深度集成到了系统的运行时中,这就

使得系统能够以极快的速度来处理数据密集型和迭代任务。

2. 可靠性和扩展性

  当服务器内存被耗尽时,Flink也能够很好的运行,这是因为Flink包含自己的内存管

理组件、序列化框架和类型推理引擎。

3. 表现力

  利用Java或者Scala语言能够编写出漂亮、类型安全和可为核心的代码,并能够在

集群上运行所写程序。开发者可以在无需额外处理就使用Java和Scala数据类型

4. 易用性

  在无需进行任何配置的情况下,Flink内置的优化器就能够以最高效的方式在各种环

境中执行程序。此外,Flink只需要三个命令就可以运行在Hadoop的新MapReduce框

架Yarn上,

5. 完全兼容Hadoop

Flink支持所有的Hadoop所有的输入/输出格式和数据类型,这就使得开发者无需做

任何修改就能够利用Flink运行历史遗留的MapReduce操作。

接下来看下flink的架构:

Flink的主要特点是:

1、提供java/Scala支持批量和流式的API。

2、独有的优化器。

3、可以自定义的内存管理,不像SPARK/MR把内存管理丢给JVM。

今天简单介绍下flink的概要,下次研究下flink的内部优化器和内存管理机制,再分享下。更多的信息,大家可以登录官网看看http://flink.apache.org/。总的来说flink是 一个值得关注的框架。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2015-02-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏hbbliyong

WPF Trigger for IsSelected in a DataTemplate for ListBox items

<DataTemplate DataType="{x:Type vm:HeaderSlugViewModel}"> <vw:HeaderSlug...

4074
来自专栏跟着阿笨一起玩NET

c#实现打印功能

2872
来自专栏张善友的专栏

Silverlight + Model-View-ViewModel (MVVM)

     早在2005年,John Gossman写了一篇关于Model-View-ViewModel模式的博文,这种模式被他所在的微软的项目组用来创建Expr...

3008
来自专栏pangguoming

Spring Boot集成JasperReports生成PDF文档

由于工作需要,要实现后端根据模板动态填充数据生成PDF文档,通过技术选型,使用Ireport5.6来设计模板,结合JasperReports5.6工具库来调用渲...

1.2K7
来自专栏落花落雨不落叶

canvas画简单电路图

64411
来自专栏张善友的专栏

LINQ via C# 系列文章

LINQ via C# Recently I am giving a series of talk on LINQ. the name “LINQ via C...

2665
来自专栏陈仁松博客

ASP.NET Core 'Microsoft.Win32.Registry' 错误修复

今天在发布Asp.net Core应用到Azure的时候出现错误InvalidOperationException: Cannot find compilati...

4878
来自专栏我和未来有约会

Kit 3D 更新

Kit3D is a 3D graphics engine written for Microsoft Silverlight. Kit3D was inita...

2596
来自专栏张善友的专栏

Mix 10 上的asp.net mvc 2的相关Session

Beyond File | New Company: From Cheesy Sample to Social Platform Scott Hansel...

2617
来自专栏我和未来有约会

Silverlight第三方控件专题

这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

4055

扫码关注云+社区