极客说--新一代大数据技术:构建PB级云端数仓实践

在现代社会中,随着4G和光纤网络的普及、智能终端更清晰的摄像头和更灵敏的传感器、物联网设备入网等等而产生的数据,导致了PB级储存的需求加大。

但数据保留下来并不代表它真的具有利用价值,曾经保存的几TB的日志,要么用来做做最简单的加减乘除统计,要么就在日后出现问题了,扒出日志堆找证据。你的影视库里面可以下载储存成千上万部影片,但不代表你真的能全部看完。

如何将手里现有的数据变得更具有价值?一些营销云已经可以做到毫秒级响应做到精准投放广告,使用户的日志更有价值;人工智能逐渐参与辅助医疗,医学影像数据值得保存几十年了。无论是监管政策还是客户需求,随着技术进步价格降低,都在推动着数据总量越来越大。

在这个大背景下,从公司战略到产业生态,从学术研究到生产实践,从城镇管理乃至国家治理,都将发生本质的变化。国家竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用数据的能力。通过以Hadoop, Spark为代表的大数据技术来构建新型数据仓库,已经成为越来越多的企业应对数据挑战的方式。

大数据最前沿的的技术与行业趋势如何?

传统企业级数仓将面临怎样的挑战?

而腾讯云大数据又是如何应对的?

本期极客说将为您一一解答。

本次云+社区极客说邀请了堵俊平(腾讯云大数据基础团队负责人,大数据技术专家)来为大家介绍大数据领域最近的技术趋势,包含介绍Hadoop与Spark技术的最新进展。并将通过一些实际的应用案例,来介绍腾讯大数据是如何在云上构建PB级的数据仓库,以及如何解决一些工程难题的。

演讲嘉宾

堵俊平

  • 腾讯云大数据基础团队负责人,大数据技术专家
  • 曾任EMC,VMware资深研发工程师
  • Hortonworks美国YARN团队负责人
  • 深耕云计算,大数据方向10余年
  • 在多个社区均享有极高知名度,包括Apache Hadoop社区Committer & PMC
  • 领导hadoop 2.6、2.8等应用非常广泛的社区release
  • 曾领导开发多个Hadoop在云平台上优化与拓展的项目与产品
  • 目前在腾讯致力于领导腾讯云大数据及人工智能产品研发

直播时间:

10月18日 19:00

内容简介:

大数据新时代:

  • 大数据的技术与行业趋势
  • Hadoop与Spark技术最近进展

数仓技术发展:

  • 传统企业级数仓的挑战
  • 腾讯云构建大数据云数仓的实践与技术分享
  • 新的趋势:数据湖

报名预约链接:https://cloud.tencent.com/developer/salon/live-1092

扫描二维码也可报名哦~

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大葡萄元元

(二)市场+运营+商务需要积累什么?

   上次说到渠道商务的局限性,权限有限可运作的范围也有限,但对于渠道不能光是坐等资源上门,对于有潜力的APP产品应该懂得挖掘......接触越来越多的开发者以...

841
来自专栏腾讯研究院的专栏

张小龙:微信公众平台的八大法则

12月11日消息,微信官方公开课年度收官之作——“微信公开课 Pro 版”今日在北京举行,本次活动的主题为“微信·思维·智慧”。腾讯公司高级执行副总裁张小龙在...

3827
来自专栏大数据挖掘DT机器学习

【解析】网站分析WA与互联网数据分析挖据的区别

一直以来有不少朋友来信或留言,询问网站分析WA(web analysis)与互联网数据分析挖掘的区别。这个问题看上去的确比较纠缠不清,不是因为字...

3163
来自专栏孟永辉

B站、秒拍被责令整改,短视频的世界里并非只有流量

有关以B站、秒拍为代表短视频平台被有关部门监管的消息引发热议,热议背后有关短视频未来如何发展的话题引发人们的反思。短视频的快速发展在为用户提供源源不断内容的同时...

641
来自专栏大咖说

樊伟伟:中华万年历的研发体系建设

文章原创首发于微信公众号「 TGO 鲲鹏会」,原文地址:樊伟伟:中华万年历的研发体系建设

960
来自专栏架构师之路

架构师到底该不该写代码

周末InfoQ-StuQ直播,主持和听众提问的简版实录,快消时代,精简到1分钟可以读完(原文有10000字)。 提问:沈老师是从什么时候开始写文章的? 我从大学...

3738
来自专栏腾讯大讲堂的专栏

张小龙首次提出八大观点,诠释微信公众平台发展

各位参加微信公开课的朋友们,大家好。 首先很遗憾这一次不能来现场跟大家交流,因为一些近期的事情。 但是我也非常荣幸地能有这个机会,通过视频来跟大家介绍一下,微信...

2138
来自专栏腾讯大讲堂的专栏

运维汪转向产品狗的幸(dan)福(teng)之路

写这篇文章的初衷是想总结下自己从业务运维岗转到产品经理岗后,大半年来如何从“零”开始的一路摸爬打过来的经历。

4878
来自专栏BestSDK

搜狗翻译API新增:日、韩、法、俄4语种,支持批量翻译

在全球信息加速产出与传播的当下,语言差异给各领域的开发者带来了诸多难题。如今,搜狗搜索已将前沿的人工智能技术应用于翻译领域,为身处全球各地的开发者提供高质量机器...

56210
来自专栏纯洁的微笑

突破技术管理,IT人中年危机变契机

作为一个老技术人,今天不聊技术,就聊点技术人员职业发展的事情:对技术管理岗位的认知,比如技术总监。

1052

扫码关注云+社区

领取腾讯云代金券