首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >2017年,大数据工程师应该如何充实自己的专业工具箱

2017年,大数据工程师应该如何充实自己的专业工具箱

作者头像
IT阅读排行榜
发布2018-08-16 11:31:40
3760
发布2018-08-16 11:31:40
举报
文章被收录于专栏:华章科技华章科技
随着互联网应用的普及、智能硬件的发展,数据产生的速度呈现了持续爆炸式的增长,数据产生的价值也已不仅取决于空间维度,同时开始在时间维度进行延展,因此提高计算的时效性,更快的从数据中挖掘出信息和知识就意味着能够获取更大的价值。这在阿里双十一大促这样的场景中表现的尤为明显,用户行为和商品变化信息带来的价值都是短暂有效的,因此大数据后台系统需要在线收集用户行为和商品变化等信息,实时调整搜索和推荐策略,为用户和商家提供更精准的服务。

在实时计算领域,Apache Storm、Samza、Spark Streaming、Kafka Stream、Flink 等开源流式计算引擎层出不穷,呈现百家争鸣之势,Google 也顺势推出了开源的 Beam 计算框架标准。

在即将于 4 月 16~18 日举行的 QCon 北京 2017 上,我们专门邀请了两位资深的大数据专家和我们一起策划了两个大数据方面的专题,希望帮助大数据工程师充实他们的专业工具箱,提升他们的架构思维和编程技能。

王峰(莫问),阿里巴巴搜索事业部资深技术专家,数据基础设施团队负责人。2006 年毕业后即加入阿里巴巴集团,长期从事搜索和大数据基础技术研发工作,目前在阿里搜索事业部担任资深技术专家,负责数据基础设施团队。他将作为出品人带来《大数据实时计算与流处理》专题。

Apache Beam 是一款新的 Apache 项目,由 Google 捐献给开源社区,凝聚着 Google 研发大数据基础设施的多年经验。Beam 来源于 Batch(批处理)和 strEAM (流处理)这两个词,意在提供一个统一的编程模型,同时支持批处理和流处理。本次演讲中,Amit 将介绍 Beam 处理大规模乱序流数据的基础,以及 Beam 提供的强大工具。PayPal 架构师,Apache Beam 贡献者,PMC 成员 Amit Sela 将带领我们深入理解 Apache Beam。

阿里巴巴搜索技术团队从去年开始改进 Apache Flink,并创建了阿里的 Flink 分支,线上服务了阿里集团内部搜索、推荐、广告和蚂蚁等核心实时业务,内部称之为 Blink 计算引擎。目前阿里巴巴也已经在和 Flink 母公司 DataArtiscans 一起合作,将 Blink 的改进全部贡献回 Flink 社区,共同推进 Flink 社区的发展,阿里巴巴高级技术专家马国维将全面介绍阿里新一代实时计算引擎 Blink 对 Flink 的各项改进,并向大家分享 Blink 计算引擎在阿里内部的典型应用场景。

滴滴出行近年来飞速发展,系统日均消息量超过万亿规模,消息日均存储处理量达到 PB 级别。由于交通数据的特殊性,滴滴内部需要实时计算的场景日益丰富,面临着低延迟、高吞吐、高稳定性等一系列的挑战。来自滴滴出行的刘建辉将从数据实时采集、实时传输、实时计算、实时消费等整个流程来介绍实时平台在滴滴的实践情况,同时针对日志检索、监控、etl、olap 等具体场景展开介绍。会重点介绍 Spark Streaming 实践和海量日志的实时检索实践。

本次 QCon,我们也和硅谷的湾区同学技术沙龙 (TechM)(tech-meetup.com)合作,推出了硅谷大数据技术专题。出品人是 LinkedIn 高级工程师、湾区同学技术沙龙 Board Member 夏磊博士。

在该专题中,你将听到 Apache Kafka 在事实处理方面的最新进展,Airbnb 的通用数据产品平台,分布式海量二进制文件存储系统 Ambry 以及深度学习在电子商务中的应用等精彩内容。

END

投稿和反馈请发邮件至holly0801@163.com。转载大数据公众号文章,请向原文作者申请授权,否则产生的任何版权纠纷与大数据无关

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2017-03-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据DT 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
流计算 Oceanus
流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的企业级实时大数据分析平台,具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档