首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

建平:智能化大数据平台打造实践

12月15日,由腾讯云主办的首届“腾讯腾讯云开发者社区开发者大会”在北京举行。...大数据平台具有集群规模大、数据量大、组件多、模块间交互复杂等特点,而腾讯云需要面对不同的应用场景和业务需求。...我今天给大家分享的主题是,腾讯云大数据产品如何通过一些智能化的手段,给大家达成可靠和高效运维的一些思考和探索。 腾讯云大数据产品线 目前腾讯云在公有云、私有云都有着全方位的大数据产品矩阵。...其中大数据TBDS是从腾讯大数据平台孵化出来的,经历了腾讯内部业务数百PB数据规模的锤炼,具有从平台、应用到服务的一站式的大数据处理能力;数据仓库产品线包括两款各具特色的产品,一个是Sparkling,...建平 智能化大数据平台打造实践.pdf

2K50

推荐一个直播活动:未来大数据的发展趋势是什么样的?

本次云+社区极客说邀请了建平腾讯云大数据基础产品负责人,专家工程师)来为大家介绍实时计算领域的最前沿的现状,将通过一些应用案例,来介绍实时计算所面临的一些技术挑战,以及腾讯大数据产品是如何解决这些问题的...演讲嘉宾 建平 腾讯云基础产品负责人,专家工程师。09年入职腾讯,曾负责腾讯QQ后台资料与存储服务、SNG后台基础框架、腾讯云Redis产品研发。...目前负责腾讯云大数据基础产品线的研发工作,技术兴趣领域涉及分布式、微服务、高并发、大数据等后台架构和海量服务运营。...19:00 内容简介: Why 流计算 大数据发展趋势      流计算的应用场景与面临的技术挑战 What 流计算 业界流行的实时流计算平台对比      流计算使用案例和基本概念 How 流计算 腾讯云流计算产品的技术剖析...    流计算产品未来计划 现在报名并参与直播互动评论,我们将随机抽取10名观众赠送腾讯云周边小礼物哦!

59130
您找到你想要的搜索结果了吗?
是的
没有找到

方明:看腾讯云如何架构海量存储系统

回首腾讯云存储十年的历程,腾讯云存储业务中心总监方明将其划分为四个阶段:萌芽时代、图片时代、视频时代和云时代。 腾讯云存储面临的第一个大挑战正是在UGC图片时代兴起之初。...为了便于磁盘的自动回收,腾讯云存储将磁盘分成同等大小的空间并进行分片分头的整理,留存出10%到15%的冗余利用率,解决了当时的问题。...当腾讯云存储的数据储存增长量在四年时间内从100P到1000P,腾讯云存储接到的需求也不断增多。...同时,腾讯云存储通过设计纠删码的方式,为文件留出3—4份纠删冗余并分别存在多台设备里,最终使文件存储大小压缩到1.3—1.4份,极大的减少了原先存储的设备量。...点击下载演讲资料: 方明:看腾讯云如何架构海量存储系统.pdf 方明:看腾讯云如何架构海量存储系统.zip

3.9K146

犀牛鸟插上翅膀,让伟大的梦想变成现实的影响

2013年,中国计算机学会(CCF)联合腾讯发起“犀牛鸟基金”项目,引起青年学者的积极关注,80多所高校/科研机构的170多位老师提交申请,19项申请获得基金支持;2014年CCF与腾讯合作进一步拓展项目方向...腾讯公司副总裁王巨宏女士在颁奖致辞中说:“CCF-腾讯犀牛鸟基金特别注重创意、鼓励创新,我们将持续为青年学者搭建平台将其研究中良好的创意深入呈现,保护自有知识产权,在腾讯等产业平台应用场景下将创想变为现实...经过激烈的角逐,中科院自动化所刘康最终获得2013年度CCF-腾讯犀牛鸟最高奖——犀牛鸟卓越奖; 中国香港理工大学罗夏朴、杭州师范大学吕琳媛、深圳大学乐阳、华中师范大学周光有、北京大学磊(排名不分先后...)获得2013年度CCF-腾讯犀牛鸟基金优秀奖;刘康、吕琳媛和磊还获得了犀牛鸟专利奖金,用于鼓励其申请的优秀专利。...与此同时,本年度CCF共评选出四项自然科学奖和科技进步奖,犀牛鸟基金获得者磊、吕琳媛、电子科技大学周俊临和华北科技学院田立勤分获其中三项。

83040

3306π嘉宾专访-腾讯云Redis产品总负责人

腾讯云 Redis产品总负责人 多年数据库、网络安全研发经验,对云计算平台的网络、计算、存储、安全有深入的研究和产品化经验。...鹏:各位朋友大家好,我是腾讯云Redis产品负责人鹏,从13年开始触碰到云计算,到现在5年间,从安全跨度到了数据库,从研发转型到了产品,作为互联网的基础设施的建设者,经历了腾讯云从0到1的蜕变,从1...感谢大家对腾讯云的支持、对腾讯云数据库对支持。 2、3306π社区: Redis 5.0版本有什么值得期待的新特性吗?...3、3306π社区:腾讯云的Redis产品跟社区版本的有什么重大改进或提升呢? 鹏:腾讯云在Redis产品线上有两个子产品,一个是社区版Redis引擎,一个是源自腾讯内部自研的CKV版引擎。...鹏:Redis代码本身就是一个数据结构实战大全,代码整体简洁易懂,核心代码总共几万行,建议开发的同学可以读一读。

1.1K30

犀牛鸟插上翅膀,让伟大的梦想变成现实的影响

犀牛鸟插上翅膀,让伟大的梦想变成现实的影响 ——CCF-腾讯犀牛鸟基金迎新不辞旧 2013年,中国计算机学会(CCF)联合腾讯发起“犀牛鸟基金”项目,引起青年学者的积极关注,80多所高校/科研机构的...腾讯公司副总裁王巨宏女士在颁奖致辞中说:“CCF-腾讯犀牛鸟基金特别注重创意、鼓励创新,我们将持续为青年学者搭建平台将其研究中良好的创意深入呈现,保护自有知识产权,在腾讯等产业平台应用场景下将创想变为现实...经过激烈的角逐,中科院自动化所刘康最终获得2013年度CCF-腾讯犀牛鸟最高奖——犀牛鸟卓越奖; 中国香港理工大学罗夏朴、杭州师范大学吕琳媛、深圳大学乐阳、华中师范大学周光有、北京大学磊(排名不分先后...)获得2013年度CCF-腾讯犀牛鸟基金优秀奖;刘康、吕琳媛和磊还获得了犀牛鸟专利奖金,用于鼓励其申请的优秀专利。...与此同时,本年度CCF共评选出四项自然科学奖和科技进步奖,犀牛鸟基金获得者磊、吕琳媛、电子科技大学周俊临和华北科技学院田立勤分获其中三项。

66070

腾讯云开发者社区技术沙龙资料合集

2019 腾讯云开发者社区最新沙龙资料: BigData & Alluxio-腾讯云开发者社区技术沙龙成都站(20190427) AI计算机视觉技术及落地实战-晏栋.pdf 海量数据背后的大数据管控系统架构和最佳实践....pdf 基于Kebernetes 构建NET Core技术中台-张善友.pdf 企业微服务中台演进和落地实践-韩欣.pdf 如何架构海量存储系统-朱建平.pdf 无服务器云函数(SCF)架构精解-周维跃...-胡仁成.pdf 腾讯云直播PCDN加速方案-张鹏.pdf 移动直播连麦技术实践-蒋磊.pdf 音视频AI技术落地实践-孙祥学.pdf 2018 腾讯云开发者社区技术沙龙全集 “融而开放、合以创新”T-HIM...(20181027) Redis数据库云端最佳技术实践-鹏.pdf 如何利用MongoDB打造TOP榜小程序-李晓慧.pdf 如何设计和实现高可用的MySQL-王甲坤.pdf 性能与稳定并存 Elasticsearch...营销风控的创新实践与安全之道-周斌 云+ AI 技术在高端酒店行业的应用-王飞.pdf 云开发——小程序后台服务开发最佳实践-李成熙.pdf 智慧城市最后一公里 —— 数字化园区建设-谭东宇.pdf 智能化大数据平台打造实践-建平

12.9K72

腾讯云开发者社区技术沙龙第26期回顾-大数据技术实践与应用(文末附PPT)

2019年8月24日,由腾讯云开发者社区主办的第26期腾讯云开发者社区技术沙龙——大数据技术实践与应用,在北京快手总部举行,本期沙龙腾讯云开发者社区联合快手邀请技术大咖为大家深度解读大数据的前沿技术,聚焦大数据技术实践与应用...企业微信截图_15668102748739.png 接下来,第二位嘉宾建平带来了《不仅仅是搜索——腾讯云ElasticSearch产品架构与实践》的主题分享。...在演讲一开始,老师就抛出了本次分享内容的主题句:大家觉得ElasticSearch是在做搜索,但是ElasticSearch现在正在做更多的事情。...接下来,老师分别从ElasticSearch是怎么样从搜索慢慢变成一个能支持分析的产品、腾讯云ElasticSearch架构和优化工作以及其展望这三个方面进行了系统化介绍。...最后,老师提到:整个云产品在未来发展的思路可以从水平层面、垂直方面以及整个产品矩阵方面这三个维度去探索。

2.6K32

解构吞噬世界的云原生:概念、炒作背后的理念与技术

陈皓老师指出,云原生的落地形式有以下几种特质: 一定是建平台的; 一定要自动化; 一定要分层开放; 一定是以服务化的形式出现; 一定要高可用、高性能; 一定是追求DevOps理念的。...——辉 Kubernetes取得如此大的成功的原因是什么?腾讯云容器产品中心总经理辉指出,Kubernetes部署方便,具有可靠性高、可维护性强的优点,可以让开发和运维更加“简单”。...辉老师认为未来将有越来越多的企业往这个Serveless方向走。...辉以腾讯云边缘容器(TKE Edge)技术的实现方式,对以上问题提供了解决思路: 云端部署一套K8S Master,即可管理多个边缘site,且兼容K8S API标准用法 边缘设备可以位于云机房,也可是用户自有设备...同程艺龙机票事业群CTO王晓波给腾讯云容器产品中心总经理辉挖了个坑:现在很多云原生的落地都是在基于云在做,企业的云原生实现路径会被云厂家所绑架吗?这是不是又跟陈皓老师提的自主可控形成了一个悖论?

2.4K83

建平:如何架构海量存储系统

5月25日,腾讯云开发者社区技术沙龙-互联网架构成功举办。...本期沙龙特邀请腾讯的技术专家分享关于技术架构、落地实践案例、无服务器云函数架构、海量存储系统架构等话题,从技术角度看架构发展,为开发者们带来丰富的实践经验内容,深度揭秘技术架构。...下面是朱建平老师关于如何架构海量存储系统的分享。 朱建平_视频.jpg 讲师介绍:朱建平,毕业于武汉大学计算数学系。...现任腾讯云架构平台部技术总监,负责对象存储,NoSQL存储等相关平台的研发,在分布式存储平台建设,视频处理,异构计算,数据传输等方向拥有多年的实践经验。...我进腾讯的时候,机械硬盘一块盘是750G,随后这些年1T,2T,4T,8T,12T单盘容量逐步演变,但受限于它的机械原理,机械硬盘的性能在过往20年来基本上没有太多的变化,IO读带宽也就维持100MB/

3.7K20

腾讯云副总裁贤能:将陆续开源四大核心技术

导读:1月15日,首届OCP中国技术研讨会在深圳召开,本次会议是由腾讯云和OCP国际社区合办。在大会现场,腾讯云正式发布基础设施层面四大核心技术项目,分别涵盖数据中心、网络、服务器以及自动化平台领域。...同时,为全面拥抱开源,腾讯云宣布陆续将这四大技术项目全部贡献给开源OCP社区。腾讯云副总裁贤能在OCP技术研讨会上发表演讲,以下为演讲全文。 ?...▲腾讯云副总裁贤能在OCP技术研讨会上发表演讲 贤能:各位尊敬的OCP社区成员们、各位尊敬的来宾,我代表腾讯云非常欢迎整个OCP社区来到中国,我们也非常荣幸能够和OCP社区一同举办这个技术峰会,和他们一起分享我们最新的项目动态以及技术趋势...腾讯一直致力于创新硬件的导入以及合作创新,同时腾讯也是中国最早开源硬件的倡导者;以服务器为例,腾讯09年就开始大规模部署2U12存储服务器以及2U4计算节点,在11年在探索整机柜形态,并且作为牵头方和阿里百度一起发起...本次的开放技术会议,腾讯云也是首次对自身基础硬件架构进行全景展示,覆盖了机房、网络、服务器以及自动化平台这几个核心领域,希望以此加强与大家的互动和交流; 通过上面我们介绍的硬件架构我们构建了海量的腾讯云基础设施

19.8K70

腾讯云中标福建平潭全域智慧旅游工程 ​| 数字文旅周报43期

腾讯云中标福建平潭全域智慧旅游工程 近日,腾讯云以1亿元中标福建省平潭岛全域智慧旅游项目一期工程,双方将联手打造全国首个科技+文旅融合智慧国际旅游岛。...就在前不久,腾讯云刚中标海南全域旅游监管服务平台旅游公共服务系统。截至目前,中国三个国际旅游岛(海南、平潭、横琴)建设项目,腾讯云已中标两个。...基于平潭特殊的地理位置以及区域优势,此次合作在腾讯“一机游”全域智慧旅游模式的基础上,还衍生了滨海旅游管理、国有旅游资产管理、开放式景区管理、全岛一体化涉旅管理等基于“国际旅游岛”概念的产品服务应用,为平潭的产业发展...(界面) 超九成“90后”今年投资理财赚到钱 学历越高压力越大 12月30日,腾讯理财通联合企鹅智库发布了《“90后”理财与消费报告》。...——腾讯文旅总经理、腾讯文旅产业研究院院长舒展 新的消费时代有非常多的机遇,因为整个新的消费时代,可以看到新的客户群体、新的理念、新的体验、新的技术都会改变整个文旅产业。

1.3K10

【资料合集】2019 云+技术沙龙盘点回顾

周维跃 腾讯云函数计算技术负责人 下载 如何架构海量存储系统 朱建平 腾讯云资深技术专家 下载 基于Kubernetes 构建.NET Core 技术中台 张善友...下载 不仅仅是搜索--腾讯云ElasticSearch产品架构与实践 建平 腾讯云大数据技术总监 下载 yarn在快手应用实践与技术演进之路 房孝敬 快手数据架构工程师...腾讯云高级工程师 下载 腾讯云自然语言处理的技术架构与应用 许泽柯 腾讯云高级研究员 下载 智能钛机器学习平台在工业和金融行业的落地 尹迪 腾讯云高级研究员...TVP 下载 2019-10-19 腾讯云开发者社区开发者大会(北京站) 腾讯5G探索与实践 俞一帆 腾讯专家工程师 腾讯5G未来网络技术专家 下载 同程艺龙响应式架构实践...腾讯云Kubernetes集群提升资源利用率的实践 庄鹏锐 腾讯云高级工程师 下载 2019-11-24 腾讯云开发者社区开发者大会(苏州站) 腾讯云物联网平台应用实践

2.6K72

鹏:Redis数据库云端最佳技术实践

鹏,腾讯高级工程师,腾讯云数据库Redis负责人,多年数据库、网络安全研发经验。在网络、计算、存储、安全等领域有深入的研究和丰富的产品化经验。...大概会有三个点,第一个点是说Redis的使命,我们看Redis是什么产品,为什么这么火,第二块就是腾讯云Redis4.0集群设计经历了哪些思考,最终做成什么样子,最后是2018年年初,登录到腾讯云的自研兼容...鹏:你们现在数据在哪里? 听众:放在自己的本地,我们有意向购买腾讯云的Redis。...Q&A: 主持人:好的,谢谢先生。大家有问题可以提。 听众:你好,我问一下Redis跟Mysql的占比分别是多少? 鹏:我很好奇,你问这个问题的背景是啥?...鹏:Redis数据库云端最佳技术实践-ilovepdf-compressed.pdf

1.4K70
领券