阿里在投身云计算之初，王坚博士对马云说了一句话：如果阿里不投入精力研究技术，那历史长河中将不会有阿里巴巴的位置。随后阿里云的故事便家喻户晓。 对于企业来说，技术是护城河，是壁垒墙。对技术人来说，技术是敲门砖，是匠人手里的利器。IT技术不断发展，一个好的技术人除了熟练运用基本的技术以外，也要加强自身对新技术的学习和对技术的敏感度。 遇到技术瓶颈期还是手足无措，捶胸顿足？参加技术会议或许可以拓展技术视野。多看业界专家如何拆解技术，如何做技术架构设计，如何解决业务问题，这是一个拓展视野的绝佳机会，避免闭门造车。
Flink Forward是由Apache官方授权，用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日，Flink Forward首次来到中国举办。腾讯TEG数据平台部参加了会议并在会上介绍了腾讯内部基于Flink打造的一站式实时计算平台Oceanus。 一、背景介绍 TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长
Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Core的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，它的底层的组件，其实还是最核心的RDD。 只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream。其实，学过了Spark SQL之后，你理解这种封装就容易了。之前学习Spark SQL是不是也是发现，它针对数据查询这种应用，提供了一种基于RDD之上的全新概念，DataFrame，但是，其底层还是基于RDD的。所以，RDD是整个Spark技术生态中的核心。要学好Spark在交互式查询、实时计算上的应用技术和框架，首先必须学好Spark核心编程，也就是Spark Core。 这节课，作为Spark Streaming的第一节课，我们先，给大家讲解一下，什么是大数据实时计算？然后下节课，再来看看Spark Streaming针对实时计算的场景，它的基本工作原理是什么？？
对于技术人来说，最可怕的事在于：当技术每天都在更新，自己却没有学习的机会，于是轻易被抛弃……
接下来，我们是要讲解商品详情页缓存架构，缓存预热和解决方案，缓存预热可能导致整个系统崩溃的问题以及解决方案；
做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就是Spark 和 Flink两面大旗。
场主认为：Flink=风口趋势所在！而技术人就是追风的人，stay hungry，stay young！
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。本篇文章，我们将从四个方面了解 MES：
本文介绍了如何利用Apache Spark技术栈进行实时数据流分析，并通过可视化技术将分析结果实时展示。我们将使用Spark Streaming进行数据流处理，结合常见的数据处理和可视化库，实现实时的数据流分析和可视化展示。本文包括了数据流处理、实时计算、可视化展示三个主要步骤，并提供相应的代码示例和技术细节。
AI 前线导读：有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商品实时统计分析，日志平台，调用链，风控等多个业务场景，本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。
数据时代，从数据中获取业务需要的信息才能创造价值，这类工作就需要计算框架来完成。传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决。 基于此，一种新的数据计算结构---流计算方式出现了，它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送
互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文 GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Hadoop技术生态。经过十几年的发展，如今的大数据技术生态已相对成熟，围绕大数据应用搭建的平台架构和技术选型也逐渐趋向统一。
摘要：本文整理自中泰证券大数据中心实时计算平台架构师连序全，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分：
阅读目录: 实时计算 storm简介 流式计算 归纳总结 高容错性 实时计算 接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算，然后实时展示结果，一般是秒级。 举个例子来说，如果有个大型网站，要实时统计用户的搜索内容，这样就能计算出热点新闻及突发事件了。 按照以前离线计算的做法是不能满足的，需要使用到实时计算。 小明作为有理想、有追求的程序员开始设计其解决方案了，主要分三部分。 每当搜索内容的数据产生时，先把数据收集到消息队列，由
摘要：本文由网易 Java 技术专家吴良波分享，主要内容为 Apache Flink 在网易的实践，文章提纲如下：
流处理正变得像数据处理一样流行。流处理已经超出了其原来的实时数据处理的范畴，它正在成为一种提供数据处理（包括批处理），实时应用乃至分布式事务的新方法的技术。
摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。
接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算，然后实时展示结果，一般是秒级。 举个例子来说，如果有个大型网站，要实时统计用户的搜索内容，这样就能计算出热点新闻及突发事件了。 按照以前离线计算的做法是不能满足的，需要使用到实时计算。
目前京东实时计算平台已经发展到了一定规模，且在 Flink 的应用上也积累了很多经验与反思。本次我们专访了京东数据分析优化部的算法工程师张颖老师，期待能从京东落地 Flink 的过程中获得一些应用 Flink 的经验和启发。
在过去的这几年时间里，以 Storm、Spark、Flink 为代表的实时计算技术接踵而至。2019 年阿里巴巴内部 Flink 正式开源。整个实时计算领域风起云涌，一些普通的开发者因为业务需要或者个人兴趣开始接触Flink。
Lambda架构设计目的在于提供一个满足大数据系统关键特性的架构。整合离线计算和实时计算，融合不可变性、读写分离和复杂性隔离等原则。
Shiny是RStudio公司开发的新包，有了它，可以用R语言轻松开发交互式web应用。
目前，大数据的流行程度远超于我们的想象，无论是在云计算、物联网还是在人工智能领域都离不开大数据的支撑。那么大数据领域里有哪些基本概念或技术术语呢？ 今天我们就来聊聊那些避不开的大数据技术术语，梳理并补充我们对大数据的理解。
Apache Spark是Scala语言实现的一个计算框架。为了支持Python语言使用Spark，Apache Spark社区开发了一个工具PySpark。利用PySpark中的Py4j库，我们可以通过Python语言操作RDDs。
Apache Storm是一个开源的分布式实时计算系统，可以用于处理大规模的实时数据流。它可以在容错的、弹性的集群中进行分布式实时计算，并提供了丰富的库和工具来处理和分析数据流。本文将介绍如何入门使用Apache Storm。
在实时计算领域，Apache Storm、Samza、Spark Streaming、Kafka Stream、Flink 等开源流式计算引擎层出不穷，呈现百家争鸣之势，Google 也顺势推出了开源的 Beam 计算框架标准。
有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。 订单实时统计的演进 第一版：流程走通 在使用storm之前，显示实时统计数据一般有两种方案： 在数据库里执行count、sum等聚合查询，是简单快速的实现方案，但容易出现慢查询。 在业务代码里对统计指标做累加，可以满足指标的快速查
flume，版本1.7.0，主要用来从业务系统收集数据以及从jms收集数据。
本次演讲主要是和大家分享一下实时计算在滴滴的应用场景和一些实践。 滴滴大数据体系 滴滴大数据体系的主要特点在于数据都是实时的，数据采集可以采集到90%以上的数据。我们的数据来源一共有三类，一类是Bin
11月7日，腾讯Techo开发者大会的“腾讯大数据”分论坛上，围绕大数据的新技术进展及开源生态，腾讯大数据团队进行了详细解读，包括由集群规模化与异构化挑战所引发的漂移计算等新技术创新，越来越普遍的实时计算需求以及新架构的实践，能够无限弹性扩展的、面向未来的数据湖体系结构，大数据技术发展的新趋势与新挑战等。
Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序，是业界公认的性能优异的大数据实时计算引擎之一。事实证明，Flink 已经可以扩展到数千核心，其状态可以达到 TB 级别，且仍能保持高吞吐、低延迟的特性。在全球范围内，越来越多的公司开始使用 Flink，在国内比较知名的互联网公司如阿里巴巴、字节跳动、京东、美团等，都在大规模使用 Flink 作为企业的分布式大数据处理引擎。
一、什么是Hadoop 二、Hadoop各个组件的作用 三、Hadoop核心组件的架构 3.1、HDFS 3.2、MapReduce 3.3、YARN 四、实时计算和离线计算的过程
原始视频视频资源已经在优酷公开：2018.8.11 Flink China Meetup·北京站-Flink在美团的应用与实践
消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。
在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈检测、实时数仓与ETL类型、流数据分析类型、实时报表类型等实时业务场景，而Flink对于这些类型的场景都有着非常好的支持。
小刘，服务器这会好卡，是不是出了什么问题啊，你看能不能做个监控大屏实时查看机器的运行情况？
《Streaming Systems》作为去年的出版的关于实时计算的新书，主要探讨了Dataflow模型以及Streams和Tables之间的关系两块内容。趁着团队在集中精力建立实时计算框架以及应用到业务中，重新温习《Streaming Systems》，构建思维导图和导读笔记，以期对Spark 2.X和Flink有更好的理解。 《Streaming Systems》第一章分为三部分 首先澄清了流（Stream）的概念，区分了有界数据集和无界数据集，重新定义了Stream和Table的关系，并从一个更高的角
在介绍Lambda和Kappa架构之前，我们先回顾一下数据仓库的发展历程： 传送门-数据仓库发展历程
1. 摘要： TDW很好的解决了海量数据离线处理问题，但是在如下场景下：实时报表，实时监控，实时推荐，实时分析，TDW无法满足需求。而storm是应对这些场景的利器，但是storm开发的门槛较高，对于大多数使用TDW的同学来说，若是能有一套支持storm的SQL，想必那是极好的。故此本宫，不，本团队开发了EasyCount以飧大众。 EasyCount使用SQL描述业务的实时计算的需求，并将SQL转化为基于storm的topology。相对于传统SQL，实时SQL面临诸多挑战，EasyCount通过不同的方
目前有三类常见的流计算框架和平台：商业级的流计算平台、开源流计算框架、公司为支持自身业务开发的流计算框架
过去的十年是数据处理变革的十年， MapReduce, Hadoop以及一些相关的技术使得我们能处理的数据量比以前要大得多得多。但是这些数据处理技术都不是实时的系统 — 它们设计的目的也不是为了实时计算。没有什么办法可以简单地把hadoop变成一个实时计算系统。实时数据处理系统和批量数据处理系统在需求上有着本质的差别。
备注：Table & SQL API通过Apache Calcite进行SQL解析，并转换成Calcite执行计划，最终调用Flink DataStream/DataSet API。
2019年4月1-2日，Flink Forward 2019 San Francisco会议在旧金山召开。Flink Forward会议邀请了来自Google, Uber, Netflix和Alibaba等公司在实时计算领域的顶尖专家和一线实践者，深入讨论了Flink社区的最新进展和发展趋势，以及Flink在业界的应用实践。随着近年来对Flink技术的广泛应用以及对Flink社区的活跃贡献，腾讯也受邀参加了会议并以主题Developing and Operating Real-Time Applications at Tencent介绍了腾讯大数据在实时计算平台建设上的工作。
虽然实时计算在最近几年才火起来，但是在早期也有不少公司有实时计算的需求，但数据量不成规模，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
