专栏首页Flink实战应用指南Flink Forward 2019--实战相关4--流媒体公司COMCAST详解生产问题解决方案

Flink Forward 2019--实战相关4--流媒体公司COMCAST详解生产问题解决方案

Adventures in Scaling from Zero to 5 Billion Data Points per Day -- Dave Torok(Comcast)

At Flink Forward San Francisco 2018 our team at Comcast presented the operationalized streaming ML framework which had just gone into production. This year in just a few short months we scaled a Customer Experience use case from an initial trickle of volume to processing over 5 Billion data points per day. This use case is used to help diagnose potential issues with High Speed Data service and provide recommendations to solving this issues as quickly and as cost-effectively as possible.

As with any solution that grows quickly, our platform faced challenges, bottlenecks, and technology limits; forcing us to quickly adapt and evolve our approach to enable handling 50,000+ data points per second.

We will introduce the problems, approaches, solutions, and lessons we learned along the way including: The Trigger and Diagnosis Problem, The REST problem, The “Feature Store” Problem, The “Customer State” Problem, The Savepoint Problem, The HA Problem, The Volume Problem, and of course The Really High Volume Feature Store Problem #2.

从零扩展到每天50亿个数据点的冒险 -- Dave Torok(Comcast)

在Flink Forward San Francisco 2018我们的团队在Comcast 提出了操作化的流媒体ML框架,刚刚投入生产。今年,在短短几个月内,我们将客户体验用例从最初的少量数量扩展到每天处理超过50亿个数据点。此用例用于帮助诊断高速数据服务的潜在问题,并为尽可能快速和经济高效地解决此问题提供建议。

与任何快速增长的解决方案一样,我们的平台也面临挑战、瓶颈和技术限制;迫使我们快速调整和改进我们的方法,使我们能够每秒处理50000多个数据点。

我们将介绍一路上我们学到的问题、方法、解决方案和经验教训,包括:触发和诊断问题、其余问题、功能存储问题、客户状态问题、保存点问题、HA问题、容量问题,当然还有高容量功能存储问题。

本文分享自微信公众号 - Flink实战应用指南(FlinkChina),作者:阿泽

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink Forward 2019--实战相关(10)--Tencent公司分享Oceanus搭建

    Developing and operating real-time applications with Oceanus--Xiaogang Shi(Tence...

    阿泽
  • Flink Forward 2019--AI 相关(1)--在Flink部署ONNX模型

    Deploying ONNX models on Flink - Isaac Mckillen - Godfried(AI Stream)

    阿泽
  • Flink Forward 2019--实战相关(8)--Intuit公司分享识别图片

    Building Financial Identity Platform using Apache Flink -- Vivek Thakre(Intuit.c...

    阿泽
  • 如何将SAP Cloud for Customer的扩展字段放置到Embedded Component中

    Create extension field , put it to a given embedded component and finally make i...

    Jerry Wang
  • 促进包容性获取丰富在线内容和服务的策略研究

    中文摘要:在线访问内容和服务对每个人,包括残疾人,都越来越重要。包括《美国残疾人法》在内的各国承诺,以及包括《联合国残疾人权利宣言》在内的国际决议,都要求努力确...

    用户7454122
  • ns3 introduce

        Now you can find this file to be written in English .The following are rea...

    py3study
  • 转: Oracle正在招Linux OS Architect,技术挑战和薪酬都相当的给力!

    (信息来源:https://oracle.taleo.net, JOB ID: 16000P1S, 160017NU)

    王录华
  • 悉尼科大徐亦达教授:1000+页机器学习讲义,32 份主题推介

    悉尼科大徐亦达教授近日在GitHub更新了他2019年以来的机器学习新材料,超过1000页的讲义,总共涵盖 32 个主题。

    新智元
  • GOF23种设计模式类型、描述和类图(上)

    描述:Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类,该类负责创建自己的对象,同...

    用户4143945
  • 上百种预训练中文词向量:Chinese-Word-Vectors

    昨天聊到腾讯 AI Lab 的词向量:相似词查询:玩转腾讯 AI Lab 中文词向量 ,今天趁热打铁,推荐Github上的一个中文词向量项目:Chinese-W...

    AINLP

扫码关注云+社区

领取腾讯云代金券