专栏首页Flink实战应用指南Flink Forward 2019--实战相关(2)--网约车公司Lyft整合Beam和Flink

Flink Forward 2019--实战相关(2)--网约车公司Lyft整合Beam和Flink

Streaming your Lyft Ride Prices

At Lyft we dynamically price our rides with a combination of various data sources, machine learning models, and streaming infrastructure for low latency, reliability and scalability. Dynamic pricing allows us to quickly adapt to real world changes and be fair to drivers (by say raising rates when there's a lot of demand) and fair to passengers (by let’s say offering to return 10 mins later for a cheaper rate).

在Lyft,我们通过各种数据源、机器学习模型和流式基础设施的组合动态为我们的短途旅程定价,以实现低延迟、可靠性和可扩展性。动态定价使我们能够快速适应现实世界的变化,公平对待驾驶员(比如在需求量很大的时候提高利率),公平对待乘客(比如说提供10分钟后以更便宜的价格返回)。

To accomplish this, our system consumes a massive amount of events from different sources.The streaming platform powers pricing by bringing together the best of two worlds using Apache Beam; ML algorithms in Python/Tensorflow and Apache Flink as the streaming engine. Enablement of data science tools for machine learning and a process that allows for faster deployment is of growing importance for the business. Topics covered in this talk include:

为了实现这一点,我们的系统将消耗来自不同来源的大量事件。流媒体平台通过使用ApacheBeam、Python/TensorFlow中的ML算法和作为流媒体引擎的ApacheFlink将两个世界中最好的算法结合在一起,从而提高定价能力。支持用于机器学习的数据科学工具和允许更快部署的流程对业务越来越重要。本次讲座的主题包括:

* Examples for dynamic pricing based on real-time event streams, including location of driver, ride requests, user session event and based on machines learning models

* Comparison of legacy system and new streaming platform for dynamic pricing

* Processing live events in realtime to generate features for machine learning models

* Overview of streaming platform architecture and technology stack

* Apache Beam portability framework as bridge to distributed execution without code rewrite for JVM based streaming engine

* Lessons learned

*基于实时事件流的动态定价示例,包括驾驶员位置、乘坐请求、用户会话事件和基于机器学习模型

*传统系统与新型流媒体动态定价平台的比较

*实时处理实时事件以生成机器学习模型的功能

*流平台架构和技术堆栈概述

*Apache Beam可移植性框架是基于JVM的流引擎实现无需代码重写的分布式执行的桥梁

*经验教训

本文分享自微信公众号 - Flink实战应用指南(FlinkChina),作者:阿泽

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink Forward 2019--AI 相关(1)--在Flink部署ONNX模型

    Deploying ONNX models on Flink - Isaac Mckillen - Godfried(AI Stream)

    阿泽
  • Flink Forward 2019--实战相关4--流媒体公司COMCAST详解生产问题解决方案

    Adventures in Scaling from Zero to 5 Billion Data Points per Day -- Dave Torok(C...

    阿泽
  • Flink Forward 2019系列文章--实战相关(3)--Netflix

    Massive Scale Data Processing at Netflix using Flink--Snehal Nagmote & Pallavi P...

    阿泽
  • 程序中的异步和同步

    同步:   主机A发送数据的时候,主机B必须等待接收,处于阻塞状态,这就好比别人给你打电话,你必须当场听话,否则则【错失良机】。

    Wyc
  • Java同步和异步,阻塞和非阻塞

    同步是指: 发送方发出数据后, 等待接收方发回响应后才发下一个数据包的通讯方式. 就是在发出一个调用时, 在没有得到结果之前, 该调用就不返回, 但是一旦调用返...

    烟草的香味
  • 卡塔尔推出世界首个5G商用网络,覆盖数英里区域 | 热点

    镁客网
  • 总结io (nio、InputStream等)

    蓝色线和红色线的含义都是 "相当于",比如,在InputStream中,抽象构件指的是InputStream类,而装饰角色指的是FileInputStream角...

    平凡的学生族
  • 同步、异步、阻塞、非阻塞

    同步与异步是针对应用程序与内核的交互而言的。同步过程中进程触发IO操作并等待或者轮询的去查看IO操作是否完成。异步过程中进程触发IO操作以后,直接返回,做自己的...

    菲宇
  • Java开发中同步异步、阻塞非阻塞知识总结

    一般来说,同步是最简单的编程方式,而异步编程虽然需要一定的技术和工作量,但是却能提升系统性能。对于阻塞与非阻塞,阻塞方式的实时响应性更好,但是挂起与唤醒线程的性...

    用户1289394
  • 截断梯度

    强非线性函数往往倾向于非常大或非常小幅度的梯度。这导致的困难是,当参数梯度非常大时,梯度下降的参数更新可以将参数抛出很远,进入目标函数较大的区域,到达当前解所做...

    于小勇

扫码关注云+社区

领取腾讯云代金券