皮皮鲁的AI星球-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

皮皮鲁的AI星球

专栏成员

82

文章

205139

阅读量

34

订阅数

斯坦福MacroBase：实时端到端的异常点检测和解释系统

机器学习神经网络深度学习人工智能数据库

本文和大家分享一个来自Stanford的开源大数据和机器学习系统：MacroBase。

2020-05-08

7630

端到端Exactly-Once是分布式系统最大挑战？Flink是如何解决的？

大数据数据库 sql unix 分布式

某条数据投递到某个流处理系统后，该系统对这条数据只处理一次，提供Exactly-Once的保障是一种理想的情况。如果系统不出任何故障，那简直堪称完美。然而现实世界中，系统经常受到各类意外因素的影响而发生故障，比如流量激增、网络抖动、云服务资源分配出现问题等。如果发生了故障，Flink重启作业，读取Checkpoint中的数据，恢复状态，重新执行计算。

2020-02-26

9800

万字长文深度解析WordCount，入门Flink，看这一篇就够了！

数据库 sql 大数据

要想熟练掌握一个大数据框架，仅仅是学习一些网络上的样例程序是远远不够的，我们必须系统地了解它背后的设计和运行原理。

2019-12-26

1.7K0

Flink核心概念：系统架构、时间处理、状态与检查点

unix api 数据处理数据库大数据

上图的Flink示例程序对一个数据流做简单处理，整个过程包括了输入（Source）、转换（Transformation）和输出（Sink）。程序由多个DataStream API组成，这些API，又被称为算子（Operator），共同组成了逻辑视角。在实际执行过程中，逻辑视角会被计算引擎翻译成可并行的物理视角。

2019-12-25

2.2K0

批处理衰落，流处理兴起，大数据处理平台从Lambda到Kappa的演进

数据处理数据库大数据大数据解决方案

流处理引擎经历了从Storm到Spark Streaming再到Flink的三代的技术迭代，大数据处理也随之经历了从Lambda架构到Kappa架构的演进。本节以电商平台的数据分析为例，来解释大数据处理平台如何支持企业在线服务。电商平台会将用户在APP或网页的搜索、点击和购买行为以日志的形式记录下来，用户的各类行为形成了一个实时数据流，我们称之为用户行为日志。

2019-12-25

1.2K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态