云+社区技术沙龙第26期回顾-大数据技术实践与应用(文末附PPT)

2019年8月24日,由云+社区主办的第26期云+社区技术沙龙——大数据技术实践与应用,在北京快手总部举行,本期沙龙云+社区联合快手邀请技术大咖为大家深度解读大数据的前沿技术,聚焦大数据技术实践与应用,同时带来了干货满满的大数据实践案例分享。现场技术热情高涨,座无虚席、交流氛围浓厚。

本次沙龙云+社区联合快手,为北京的开发者们带了一场关于大数据的技术盛宴,在开发者们的热情支持下,共同度过了一个愉快充实的下午,五位嘉宾分别就基于spark构建PB级别云数仓、ElasticSearch产品架构与实践、yarn系统在快手的应用实践、云端大数据产品架构、腾讯实时流计算技术等话题做了精彩分享,并与到会的开发者进行了精彩的互动,在满满的干货输出的同时也碰撞出了更多的技术火花。

下面就让我们一起来回顾当天下午的精彩活动瞬间吧。

活动当天,有不少小伙伴早早就来到了现场,热情满满。现场工作人员也为大家准备了精美的定制礼品,看得出这次沙龙的吸引力还是很强的。

当天活动现场人员爆满,说明大家对本次的沙龙内容也是充满了期待,后边来的开发者们都是站着在听分享的,大家对技术和知识的渴望很值得敬佩。

下午两点,本期沙龙活动正式开始。

第一位分享的嘉宾是丁晓坤,他带来的主题是《基于spark构建PB级别云数仓》,在分享中,丁老师从三个方面来讲解如何基于Spark来做PB的云架构:

  • AI与大数据的关系。
  • 大数据技术的发展趋势。
  • 基于spark落地计算平台的技术细节和优化细节。

在演讲的最后,丁老师也简单提到了Spark平台下一步的规划:在大家都推崇“六批一统”这个概念的情况下,平台会逐渐的支持Diflint这个层次去支持Update和delete。

接下来,第二位嘉宾邹建平带来了《不仅仅是搜索——腾讯云ElasticSearch产品架构与实践》的主题分享。主要是和大家介绍一下腾讯云ES产品在云原生架构设计、高可用、自动化运维等方面的思考,以及如何利用ES来实现企业智能化转型。

在演讲一开始,邹老师就抛出了本次分享内容的主题句:大家觉得ElasticSearch是在做搜索,但是ElasticSearch现在正在做更多的事情。接下来,邹老师分别从ElasticSearch是怎么样从搜索慢慢变成一个能支持分析的产品、腾讯云ElasticSearch架构和优化工作以及其展望这三个方面进行了系统化介绍。

最后,邹老师提到:整个云产品在未来发展的思路可以从水平层面、垂直方面以及整个产品矩阵方面这三个维度去探索。

第三位嘉宾,来自快手的数据架构工程师房孝敬,分享主题是《yarn在快手应用实践与技术演进之路》。主要介绍yarn系统在快手的应用实践,遇到的问题以及相应的技术演进过程。例如,如何保证核心作业SLA,如何保证大规模集群稳定性,自研调度器kwai scheduler,抢占系统改进,如何服务于不同的应用场景等。演讲内容分为一下三个方面:

  • yarn系统在快手的应用场景以及业务规模
  • yarn系统在快手的技术演进过程
  • yarn系统在快手的未来规划

房孝敬提到,yarn系统在未来的规划中会进行一个分级保障,解决其集群规模比较大,资源的使用较多但没有真正用到重要业务上的这样一个痛点。

上半场分享结束,中场休息时间,主办方云+社区还准备了活动横幅组织大家拍照留念,现场氛围热烈。

在大家简单休息一下,吃点水果补充体力之后,第四位嘉宾乔超带来了主题分享《云端大数据产品架构及最佳实践》。弹性MapReduce是腾讯云构架于云端海量存储、计算基础设施之上的云端Hadoop 框架,用户可在十分钟获得一个安全、低成本、高可靠、高弹性扩展、架构可持续演进的专属大数据集群。对于该产品,乔老师认为:该产品帮助企业在提升研发效率、运维效率、降低硬件成本的同时,轻松应对 TB、PB 级的海量数据的价值挖掘挑战。

紧接着,乔老师重点介绍了腾讯云大数据EMR产品及其价值,同时根据实际经验,分享大数据平台最佳实践。

最后一位嘉宾杨华的分享主题是《腾讯基于Flink构建实时流计算平台的技术实践》,腾讯实时计算团队对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus。在分享中,杨老师介绍了腾讯实时流计算技术的演进过程以及对Apache Flink所进行的优化与扩展。

杨老师的分享主要分为以下三个方面:

  • Flink在腾讯的发展历程。
  • 腾讯对Flink的扩展和优化。
  • 对Oceanus平台做一个简单的介绍。

现场参会人员抓住机会与分享嘉宾互动交流,大家很积极啊。

最后,主办方云+社区还在现场送出了丰厚的礼品。本次沙龙活动到此结束,非常感谢现场人员百忙之中抽空参加,也辛苦所有工作人员。

让我们一起期待下一期云+社区技术沙龙活动,9月7日在上海市长宁区Hello coffee举办的主题为《AI技术原理与实践》的技术沙龙,也欢迎大家报名参加。报名链接:https://cloud.tencent.com/developer/salon/salon-1139

嘉宾分享的PPT文件请看末尾的附件,欢迎下载分享!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券