首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

滴滴梁李印:滴滴是如何从零构建中式实时计算平台的?

本文将介绍滴滴实时计算发展之路以及平台架构实践。 一、实时计算演进 随着滴滴业务的发展,滴滴的实时计算架构也在快速演变。...在流计算引擎基础上提供了StreamSQL IDE、监控报警、诊断体系、血缘关系、任务管控等能力。各自的作用如下: ? StreamSQL IDE。...下文会介绍,是一个Web化的SQL IDE; 监控报警。提供任务级的存活、延时、流量等监控以及基于监控的报警能力; 诊断体系。...因此我们也相应开发了StreamSQL IDE,实现Web上开发StreamSQL,同时提供了语法检测、DEBUG、诊断等能力。...未来将进一步拓展StreamSQL,并在批流统一、IoT、实时机器学习等领域探索和建设。

99430
您找到你想要的搜索结果了吗?
是的
没有找到

SQL 开发任务超 50% !滴滴实时计算的演进与优化

滴滴大数据体系在 Flink 的基础之上着力发展 StreamSQL,后面也会对此进行详细介绍。 滴滴流计算发展历程 如下图所示的是滴滴流计算的发展历程。...二、StreamSQL 实践 StreamSQL 的优势 StreamSQL 的实践也是滴滴最近一年以来比较重要的工作。...三、平台化建设 StreamSQL IDE 在平台化建设方面,滴滴目前已经构建了一站式 StreamSQL 开发平台。 首先,滴滴提供了 StreamSQL 的 IDE。...未来规划 最后为大家介绍滴滴在 Flink 应用和实践方面的未来规划。 首先,需要提供高可用的流计算服务,使得 Flink 能够具备支撑完整线上能力的机制。...作者介绍: 梁李印,2010 年至 2014 年,阿里云 Hadoop 集群(云梯 I)负责人之一;2014 年至 2016 年,阿里云分布式图计算框架 (MaxCompute Graph) 研发;2017

44320

SDCC 2017 深圳站应用架构及大数据双峰会

大会介绍 SDCC 2017·深圳站,拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会,秉承干货实料的内容原则,邀请业内顶尖的架构师和数据技术专家,共话高可用/高并发/高性能的系统架构设计、分布式缓存服务...本次分享主要分为三个部分,第一部分是介绍一下实时计算的背景及传统实时计算任务开发存在的问题。第二块介绍一下我们StreamSQL的平台这块是介绍我们的平台是做什么的及怎么做的。...第三块介绍一下StreamSQL的平台设计过程中遇到的几个挑战及我们的解决方案。 Ok,首先让我们先看一下实时计算的背景。...为了减少用户的烦恼,我们推出了StreamSQL实时计算平台。下面我来介绍一下我们的平台是做什么的,以及是怎么做的。...刚才介绍的各种表大家可能没有一个直观的感受,下面我就以一个春节期间微信红包热地图的实例向大家展现一下各种不同类型的表。微信红包热地图是实时展现春节期间各个省市的微信红包发放情况。

72350

Flink在滴滴的应用与实践进化版

本文整理自Flink Forward 全球在线会议 ,分享者薛康,滴滴实时平台负责人,主要是是从以下四个方面介绍,flink在滴滴的应用与实践: Flink服务概览 StreamSQL实践 实时计算平台建设...2018年 滴滴实时计算应用更加广泛,新用户不了解flink table api,但是sql开发就简单很多,所以为了节省使用成本,进行StreamSQL建设,目的是降低普通用户使用门槛。...2019年Flink成为唯一流计算引擎,只有少量残留业务未使用StreamSQLstreamSQL 占比到了80%。 2020年开始建设实时数仓(2019下半年已经开始建设)和实时机器学习内容。...2. streamsql实践 2.1 为何建设StreamSQL ? 声明式语言,用户只需要关系业务逻辑,尤其是数据导入导出,完全不care底层技术实现,完成功能即可,所以使用sql更加友好方便。...实时计算平台建设 3.1 StreamSQL IDE 滴滴内部提供了streamsql的IDE。 ?

82910

Flink在滴滴出行的应用与实践

现在流计算平台提供了第三种方式:StreamSQL IDE,流计算平台希望通过 StreamSQL 大大的降低用户开发使用流计算的门槛。 ? Flink 任务监控 ?...架构 在前面是介绍了我们这个系统的背景,然后现在来看看滴滴这个系统的架构设计。...StreamSQL 滴滴内部的 StreamSQL 正在开发中,以后会作为滴滴内部流计算主要的使用方式,滴滴内部的 StreamSQL 的核心功能如下: · 第一个就是支持 DDL。...在这里简单的介绍一下滴滴定义数据源的一种方式,比如说现在要从 Kafka 中加载数据,我们的元数据具有各种各样的格式,比如说是 JSON 的,需要用户去指定所定义的数据流的 Schema,同时定义 Schema...1、我们希望 StreamSQL 以后会承载滴滴内部至少90%的流计算任务,越来越多的任务都会慢慢的往 StreamSQL 上面迁移,比如说增加的新任务,以及历史遗留的一些任务。

3.3K20

touchesBegan 触摸事件一、概念介绍二、方法介绍三、参数介绍:touches四、参数介绍:event

一、概念介绍 在用户使用app过程中,会产生各种各样的事件,iOS中的事件可以分为3大类型: 事件类型.png 响应者对象UIResponder 在iOS中不是任何对象都能处理事件...如果这两根手指一前一后分开触摸同一个view,那么view会分别调用2次touchesBegan:withEvent:方法,并且每次调用时的touches参数中只包含一个UITouch对象 二、方法介绍...远程控制事件 - (void)remoteControlReceivedWithEvent:(nullable UIEvent *)event; 三、参数介绍:touches 存放在NSSet中,无序且不能重复...UIView *)view; (4)当前触摸对象的前置坐标 - (CGPoint)precisePreviousLocationInView:(nullable UIView *)view; 四、参数介绍

2.3K100

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券