腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

324

文章

455477

阅读量

124

订阅数

大数据云原生能力成熟度模型，重磅发布！

大数据编程算法运维文件存储存储

为了分享过去一年云原生产业联盟（CNIA）在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态，云原生产业联盟于2023年1月9日举办了2022年度线上年会，发布了“大数据云原生能力成熟度模型”，并进行了标准解读。云原生时代，数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合，可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级，已

腾讯大数据

2023-01-30

1.6K0

首届腾讯云大数据峰会开幕在即，现场将发布全新一代产品矩阵

大数据安全治理运维

大数据技术最新发展趋势将走向何方？大数据云原生化将面临哪些挑战？又有怎样的解决之道？腾讯、英特尔、bilibili、作业帮、Alluxio等厂商正在战略加码哪些前沿技术领域？所有这些问题，您将在8月19日举办的腾讯云大数据峰会上找到答案。届时，腾讯云还将重磅发布全新一代大数据产品矩阵和品牌愿景，并全面分享腾讯云在云原生、数据治理、国产化等方面的最佳实践。国内大数据领域权威专家包括中国信通院大数据与区块链部副主任、腾讯云TVP姜春宇、英特尔大数据技术全球CTO、腾讯云TVP戴金权、bilibili OL

腾讯大数据

2022-08-26

4600

腾讯大数据平台自治能力探索

运维编程算法 java 大数据数据库

标题图来源：pexels 自治理念一、趋势在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问

腾讯大数据

2021-12-31

1.4K0

腾讯云战略赞助加盟 Elastic 中国开发者大会 2021

Elasticsearch Service https 运维网络安全

Elastic 中国开发者大会将于2022年1月8号在深圳举行，腾讯云作为战略赞助商加盟大会。举办开发者大会的目的是为中国广大的 Elasticsearch 开发者提供一个技术交流和学习切磋的地方，汇集业界众多的成功案例，集思广益，发散思维，促进社区和行业的进步。关于腾讯云 Elasticsearch Service 腾讯云 Elasticsearch Service（ES）是基于开源引擎打造的云端全托管 ELK 服务，集成 X-Pack 特性、独有高性能自研内核、QQ 分词、集群巡检、一键升级等优

腾讯大数据

2021-12-31

9320

腾讯云副总裁刘煜宏：腾讯云原生产品每日调用次数已超百亿

运维容器 kubernetes 云计算 serverless

前言 7月31日，腾讯云副总裁刘煜宏在2020云原生技术大会上表示：“腾讯云原生产品API每日调用量已经超过100亿次，拥有超过100万的开发者，同时服务超过50万的客户，腾讯云实际上已经成为国内服务开发者最多的云原生平台。” 因为能够极大的帮助企业降低云计算方面的部署成本和运维难度，云原生代表了云计算的下一重要方向。作为本次大会钻石供应商，腾讯云在云原生领域有着系统的布局和广泛的实践，并且基于对用户需求的把握，提供了目前国内最为完备的产品矩阵。公有云方面，腾讯云围绕着Kubernetes、容器和

腾讯大数据

2020-08-06

1.4K0

《你问我答》第四期 | 进一步讲解SuperSQL、Oceanus以及Tbase

flink hive 大数据云数据库 SQL Server 运维

各位小伙伴们大家好，我们又见面啦~ 这里是《你问我答》栏目第四期上周推送了一篇关于腾讯SuperSQL的文章《「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘》很多同学对这个项目产生了浓厚的兴趣本期，我们的专家老师将现身说法进一步为大家介绍腾讯大数据SQL引擎天穹SuperSQL的性能表现同时，也会解答小伙伴们关于腾讯一站式实时计算平台Oceanus 以及分布式 HTAP 数据库管理系统Tbase 的部分疑问对这些话题感兴趣的同学就快来看看吧！ 01 @旧故里草木深：

腾讯大数据

2020-06-22

1.2K0

Oceanus:基于Apache Flink的一站式实时计算平台

云数据库 SQL Server sql 数据库运维

Flink Forward是由Apache官方授权，用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日，Flink Forward首次来到中国举办。腾讯TEG数据平台部参加了会议并在会上介绍了腾讯内部基于Flink打造的一站式实时计算平台Oceanus。一、背景介绍 TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长

腾讯大数据

2019-01-30

2K1

zookeeper 运营经验分享

Zookeeper作为TDBank系统的一个重要模块，我们运营它已经两年多。在使用过程中，我们也遇到了一些问题及走过很多弯路，本文主要对zookeeper运营经验进分享。 Zookeeper在TDBank中的使用场景 ‍ TDBank主要利用zookeeper实现配置管理、配置更新通知、节点主备容灾、节点心跳管理等。使用到的模块包括消息中间件Tube、流式处理平台storm、分拣中心TDSort及配置管理中心TDManager，各模块利用zookeeper的功能如下 Tube 我们利用zookeep

腾讯大数据

2018-01-26

1K0

Hermes-大数据利器中的白富美

大数据运维

1Why：Hermes为什么会诞生？传统的关系型数据库，在大数据面前显得势单力薄，无论数据处理、数据分析上都力不从心。TDW（腾讯数据仓库，Tencent Data Warehouse）很好的解决了海量数据的离线处理分析。然而，很多应用场景往往要求在数秒内完成对几亿、几十亿甚至几百上千亿的数据分检索与分析，如营销人员需要对亿级需要对用户画像特征快速分析，确定营销目标群，实现快速精准营销分析，从而抢占市场先机；数据分析挖掘人员的多数数据分析行为是验证性的、是探索性的，需要在不断的调整验证假设、猜想的过程中，

腾讯大数据

2018-01-26

1.2K0

腾讯推荐——让您的系统瞬间个性化

腾讯推荐 “腾讯推荐”是腾讯大数据近期大力打造的开放服务平台，旨在集业务接入、数据上报、算法计算、实时推荐和效果监控于一体，对外提供全自动实时精准推荐服务。腾讯推荐官网: tuijian.qq.com 推荐是什么？文章中提到的推荐均是指在海量的物品中自动为用户选取到感兴趣或合适的信息。就腾讯新闻应用而言，全国各地每天产生的信息总数堪称海量，但屏幕尺寸有限，能给用户展示的新闻也不多，这就涉及到帮助用户在新闻海洋中万里挑一，找到吻合用户兴趣的信息。类似的场景不胜枚举，淘宝天猫，腾讯视频，图片社区，应用宝

腾讯大数据

2018-01-26

2.3K0

主流大数据系统在后台的层次角色及数据流向

大数据 spark 云数据库 Redis 微信小程序音视频运维

最近有不少质疑大数据的声音，这些质疑有一定的道理，但结论有些以偏概全，应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解，需要真正了解之后才能得出比较客观的结论。大数据是一个比较宽泛的概念，它包含大数据存储和大数据计算，其中大数据计算可大致分为计算逻辑相对简单的大数据统计，以及计算逻辑相对复杂的大数据预测。下面分别就以上三个领域简要分析一下：第一，大数据存储解决了大数据技术中的首要问题，即海量数据首先要能保存下来，才能有后续的处理。因此大数据存储的重要性是毫无疑问的。第二，大数据统计是对海量

腾讯大数据

2018-01-26

6420

拿什么保护你---TDW数据安全

运维大数据

互联网时代，大数据扮演着极为重要的角色；腾讯作为中国最大社交平台，具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台，集中了公司90%以上产品（近400款）的核心数据，覆盖全部BG，积累约4000个开发者，如何保障如此之多的用户安全合理地使用这么丰富珍贵的数据？本文将从数据生命周期（传输—>存储—>使用）角度揭密数平的数据安全体系如何为腾讯大数据保驾护航。 1 传输安全所有数据通过tdbank自动采集接入，只要告诉TDBank数据在哪里，数据是什么，数据要怎么用，TDB

腾讯大数据

2018-01-26

1.7K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态