300+参评项目，100+入围项目，10000+开发者公开票选，20+专家评审，10+主编团打分，历经数月打磨，由 InfoQ 发起组织的【 2020 中国技术力量年度榜单评选】结果揭晓： 腾讯云大数据云原生技术脱颖而出，荣获 2020年度十大云原生创新技术 早前，在2020年7月可信云大会上 腾讯云大数据云原生已荣获评年度技术最佳实践 那么腾讯云大数据云原生究竟凭什么能连续拿走两座大奖呢？ 大数据云原生作为当前行业内热门的钻研话题，未来发展前景及趋势均不可小觑。各大云厂商、大型互联网企业都在尝试
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 没想到，就在大家争相发大模型的时候，鹅厂另辟蹊径在算力上下手了。 刚刚，腾讯云最新一代HCC（High-Performance Computing Cluster）高性能计算集群，来了！ 面向大模型训练，采用最新一代腾讯云星星海自研服务器，搭载了NVIDIA H800 Tensor Core GPU，可提供业界目前最高的3.2T超高互联带宽。 实测结果显示，腾讯云新一代集群的算力性能较前代提升高达3倍。 以训练自家大模型效果为例——万亿参数的混元NLP大
GDCC 分 布 式 云 云智相生 GDCC 2023 4月20日，2023全球分布式云大会·北京站正式召开。作为本次AIGC数智中国科技周的重要组成部分之一，大会以“云智相生”为主题，着眼于分布式云和人工智能，以分布式云促进人工智能发展，以人工智能降低分布式云上云和用云门槛，为构建数智中国夯实基础设施和技术底座。 本次大会，全球分布式云联盟携手腾讯云等海内外云计算领军企业和运营商，共同开启分布式云智能化新纪元。 腾讯云 王登宇 在上午举办的分布式领袖论坛上，腾讯云存储专家架构师 王登宇发表了题为《
自建开源大数据平台会随着企业数据的增长遇到：性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
大模型要成功，算力是关键。 这是腾讯云面向大模型训练场景，发布的全新一代的HCC高性能计算集群性能参数： “算力性能和上一代相比提升3倍，服务器接入带宽从1.6T提升到3.2T。” 采用最新一代腾讯云星星海自研服务器，并搭载NVIDIA H800 Tensor Core GPU的这代HCC高性能集群，单GPU卡支持输出最高1979 TFlops的算力。 具体强在哪里？ 去年10月，腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下，将训练时间由50天缩短到11天。如果基于新一代集群，训
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它于2016年以apache 2.0协议开源，以优秀的查询性能，深受广大大数据工程师欢迎。为了服务客户业务，腾讯云于2020年4月正式上线ClickHouse服务。
6月28日，在“2022大数据产业峰会”上，腾讯云大数据平台TBDS以单集群1万节点的超大规模，成功通过信通院第14批产品能力测评，成为本批次唯一通过大规模能力认证的厂商，树立行业新标杆。同时，腾讯云参与制定的多项标准在本次大会也正式发布。 据悉，腾讯大数据处理套件（Tencent Big Data Suite，TBDS）是腾讯基于多年海量数据处理经验，对企业客户提供的可靠、安全、易用的大数据处理平台，在数据存算、治理分析和应用方面，提供了完善的解决方案场景，应用场景覆盖了政务、金融、工业等多个行业
Elastic MapReduce（EMR）是腾讯云提供的云上 Hadoop 托管服务，提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性伸缩等功能，EMR部署在腾讯云平台（CVM）上，配合消息中间件、CDB等产品为企业提供了一套较为完善的大数据处理方案。如下图所示为EMR系统架构图：
王玉君，腾讯云后台工程师，拥有多年大规模Kubernetes集群的开发运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 谭春强，腾讯云后台工程师，拥有两年大数据EMR集群管控运维经验，目前负责腾讯云大数据EMR组件的容器化方向。 1.引言 随着云原生概念的兴起，越来越多的企业投身于云原生转型的浪潮，以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术（如容器，不可变基础设施和声明式API等)，使得企业在公有云、私有云和混合云等云环境构建和运
日前，腾讯云高级工程师程力老师在 ArchSummit 全球架构师峰会上分享了存算分离架构下的数据湖架构。
导语 | Serverless 拥有运维和成本优势，但通常需要业务改造。腾讯云弹性容器服务可使容器化用户无需关心节点运维且无需业务改造的情况下，灵活地在 Serverful 与 Serverless 架构间迁移。本议题介绍了相关技术与实现。本文由腾讯云容器产品技术总监 于广游在Techo TVP 开发者峰会 ServerlessDays China 2021上的演讲《腾讯云弹性容器服务EKS：Serverless与Serverful的优雅平衡点》整理而成，向大家分享。 点击可观看精彩演讲视频 一
导语 | 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今，但其并没有标准的、严格的定义，比较公认的四要素是：DevOps、微服务、持续交付、以及容器，更多的则是偏向应用系统的一种体系架构和方法论。那么在云上如何改进大数据基础架构让其符合云原生标准，同时给企业客户带来真真切切的数据分析成本降低和性能保障是一个开放性的话题。本文由腾讯专家工程师、腾讯云EMR技术负责人陈龙在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《云原生环境下大数据基础技术演进》演讲分享整理而成，与大家分享和探讨在云上如何实现存储计算云原生，以及未来下一代云原生大数据基础架构。
9月5日，浪潮信息新产品“互联网+AIGC”行业巡展在深圳举行。本次巡展以“智算 开新局·创新机”为主题，腾讯云存储受邀分享数据湖存储在大模型中的应用，并在展区对腾讯云存储解决方案进行了全面的展示，引来众多参会者围观。
如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。”腾讯云大数据产品架构师李少波说。 少波说的这个正是一个月前他和另外3位同事，一起经历的一场云端迁移战事。 把时针拨到一个月之前，搜狐畅游技术有限公司(简称搜狐畅游)计划在8月初正式上线小浣熊百将传的新游戏，这款有着经典水浒卡授权的国风放置卡牌手游，预计在上线后将迅速风靡全球，这给搜狐畅游当时的大数据集群带来了严峻的挑战。 搜狐畅
背景介绍 4月23日09:00-12:45，在DataFunSummit2022：大数据计算架构峰会上，由腾讯云大数据资深高级工程师熊训德出品的大数据计算加速论坛，将邀请来自腾讯、阿里巴巴、矩阵起源、喜马拉雅的5位技术专家，就相关主题进行深度分享，欢迎大家一起探讨交流。 具体日程 详细介绍 出品人：熊训德 腾讯云 大数据资深高级工程师 个人介绍：四川大学硕士毕业后加入腾讯，在腾讯云大数据从事 hadoop 生态相关的云存储和计算等后台开发，专注于研究大数据、虚拟化和人工智能等相关技术。 嘉宾介绍：
腾讯云中间件 - 微服务团队产品2021年1月简报： 发布新品腾讯云微服务引擎 TSE。 腾讯微服务平台 TSF 新增功能：健康检查与注册中心联动；新增资源时可支持关联数据集；支持 Spring Cloud H 版本；全链路灰度发布支持跨命名空间；TSF 服务告警优化，容器集群导入云主机、安全组配置优化。 腾讯微服务观测台 TSW 广州地域发布；支持服务、接口、组件调用监控能力；支持具体接口调用多维度查询；支持系统内调用拓扑图动态发现。 消息队列 TDMQ 新增集群管理功能；环境更名为命名空间。
这次迁移算是TBDS集群的第一次完整迁移案例，包括用户的业务数据，平台应用，从项目启动到最后完成迁移差不多耗费了1个月的时间。
作者：陈龙 腾讯专家工程师、腾讯云EMR技术负责人 |导语 在金融行业IT系统国产化的大背景下，国内金融行业开始推动IT基础设施国产化，逐渐摆脱对于传统IOE架构的依赖。微众银行自成立之初，就放弃了传统IOE架构路红，结合腾讯金融级分布式数据库TDSQL，建立了基于DCN单元化架构模式的分布式基础平台。如今这套架构承载了微众银行数亿级别的用户规模，数百套银行核心系统，和每天数亿次的金融交易。 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今，但其并没有标准的、严格的定义，比较公认的四要
在当今快速发展的人工智能领域，数据作为AI模型训练的基石，其处理和存储方式对模型的性能有着决定性影响。特别是在AIGC和自动驾驶技术的研发中，对数据处理的要求更是严苛。
本月初，腾讯云大数据联合团队以98.8秒的成绩完成100TB数据排序，摘得2016 Sort Benchmark全球排序竞赛冠军。在这次竞赛中，腾讯云数智分布式计算平台分别夺得Sort Benchmark大赛GraySort和Minutesort的冠军，创造了四项世界纪录。（了解详情请点击《全球计算奥运冠军花落腾讯，腾讯云数智打破4项世界纪录》） 此次参赛的腾讯云大数据联合团队，是由腾讯云存储产品中心、腾讯数据平台部组成，团队成员在大数据技术和应用管理上都有着非常丰富的实践经验，尤其是腾讯数据平台部一直在管
导读：腾讯云大数据联合团队以98.8秒的成绩完成100TB数据排序，摘得2016 Sort Benchmark全球排序竞赛冠军。在这次竞赛中，腾讯云数智分布式计算平台分别夺得Sort Benchmark大赛GraySort和Minutesort的冠军，创造了四项世界纪录。 此次参赛的腾讯云大数据联合团队，是由腾讯云存储产品中心、腾讯数据平台部组成，团队成员在大数据技术和应用管理上都有着非常丰富的实践经验，尤其是腾讯数据平台部一直在管理的腾讯大数据集群，是世界上最大的大数据集群之一。 这样一支颇具实力的团队是
上周，腾讯云大数据联合团队以98.8秒的成绩完成100TB数据排序，摘得2016 Sort Benchmark全球排序竞赛冠军。在这次竞赛中，腾讯云数智分布式计算平台分别夺得Sort Benchmark大赛GraySort和Minutesort的冠军，创造了四项世界纪录。（了解详情请点击《腾讯打破2016 Sort Benchmark 4项记录，98.8秒完成100TB数据排序》） 此次参赛的腾讯云大数据联合团队，是由腾讯云存储产品中心、腾讯数据平台部组成，团队成员在大数据技术和应用管理上都有着非常丰富的实
吕亚霖，2019年加入作业帮，作业帮基础架构-架构研发团队负责人，在作业帮期间主导了云原生架构演进、推动实施容器化改造、服务治理、GO微服务框架、DevOps的落地实践。
近期，AIGC 相关产品如同雨后春笋一般不断涌现。但在技术层面，大家普遍的关注点更多集中在性能方面，却经常忽略了存储对推理和训练效率的影响，以及 AIGC 内容可能带来的合规风险。我们特邀腾讯云存储的产品负责人 崔剑老师和益企研究院创始人、腾讯云 TVP 张广彬老师（狒哥）围绕以上话题展开讨论。
背景 11月10日，具有计算奥运会之称的 Sort Benchmark 全球排序竞赛公布了2016年最终成绩，腾讯云大数据联合团队用时不到99秒（98.8秒）就完成 100TB 的数据排序，打破了阿里云去年创造的329秒的记录。在更早前，百度创造的纪录是716秒，Hadoop 的记录是4222秒。 在这次竞赛中，腾讯云数智分布式计算平台，夺得 Sort Benchmark 大赛 GraySort 和 MinuteSort 的冠军，这也体现了腾讯云数智分布式计算平台在数据处理上的优越性能。在竞赛结果公布之后，
11月4日，在2021腾讯数字生态大会上，腾讯宣布开源自主研发的分布式远程Shuffle服务Firestorm。该服务的开源不但可以助推分布式计算的云原生部署，还能解决大数据分布式计算过程中的痛点，提升计算资源的利用率。 图片来源：pixabay 在分布式计算领域，Shuffle过程由于存在着磁盘IO随机读写问题，一直是分布式计算任务的性能瓶颈，除了降低计算任务的运行效率，还降低硬件资源的利用率。同时，由于Shuffle过程对于本地磁盘有容量需求(如Spark计算引擎)，对于计算引擎的云原生化也制造了
导语 | 云原生数据湖致力于扩大公有云市场总量：一方面以低成本优势推动客户上云，另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命，本文将为大家洞悉云原生数据湖的神秘面纱，并且首次推出腾讯云的云原生数据湖产品。文章作者：于华丽，腾讯TEG数据平台部研发工程师。 一、云上架构大数据平台的挑战和机遇 选择 Cloud 还是 Local 的诸多讨论和实践中，成本一直是绕不开的话题。“公有云太贵了，一年机器就够托管三五年了”，这基本上是刚开始接触公有云的企业，在进行了详细价格
11月4日，在2021腾讯数字生态大会上，腾讯宣布开源自主研发的分布式远程Shuffle服务Firestorm。该服务的开源不但可以助推分布式计算的云原生部署，还能解决大数据分布式计算过程中的痛点，提升计算资源的利用率。 图片来源：pixabay 在分布式计算领域，Shuffle过程由于存在着磁盘IO随机读写问题，一直是分布式计算任务的性能瓶颈，除了降低计算任务的运行效率，还降低硬件资源的利用率。同时，由于Shuffle过程对于本地磁盘有容量需求(如Spark计算引擎)，对于计算引擎的云原生化也制
数据是企业的核心资产，随着数据规模的快速增长，企业对存储功能和性能的要求也在不断增加。对云厂商和企业用户来说，如何在提升业务性能的同时降低成本是一巨大挑战。11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 下面，让我们一起回顾下两位老师的精彩演讲内容👇 数据湖是一种可拓展的技术架构，将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案，从数据中挖掘价值；支持
8月，一场盛夏的技术盛宴将要来啦！这就是ApacheCon Asia。作为开源界备受关注的会议之一，今年大会将持续3天，开设14+分论坛，内容覆盖从大数据到搜索再到消息队列等数十个不同类别。 作为多个Apache项目的活跃贡献者，以及国内首家Apache白金会员，腾讯与Apache社区进行了深入的合作，并推动Apache基金会在开源领域的创新。目前，除了在Hadoop、Spark等众多项目中担任Committer外，腾讯的内部团队还基于Apache中的如InLong、Ozone、Pulsar等项目实
云数据仓库套件 Sparkling（Tencent Sparkling Data Warehouse Suite）基于业界领先的 Apache Spark 框架为您提供一套全托管、简单易用的、高性能的 PB 级云端数据仓库解决方案。支持创建数千节点的企业级云端分布式数据仓库，并高效的弹性扩缩容，支持数据可视化，通过智能分析帮助企业挖掘数据的价值。
Fluid是CNCF基金会旗下云原生环境中数据密集型应用的高效支撑平台，项目自开源发布以来吸引了众多相关方向领域专家和工程师的关注，在大家的积极反馈下社区不断演进。近期 Fluid 0.6 版本正式发布，在该版本中，Fluid 主要新增改善以下三个方面内容：
云原生在近几年的发展越来越火热，作为云上最佳实践而生的设计理念，也有了越来越多的实践案例，而一个个云原生案例的背后，是无声的巨大变革。 腾讯云主办首个云原生百科知识直播节目——《云原生正发声》。直播内容围绕云原生领域，覆盖实时的云原生技术、实践、性能优化、前沿趋势、云原生案例分享、企业云开发者成长路径、就业等等内容。 《云原生正发声》，2021年国内首个云原生百科知识直播节目，将在每周二晚19:30 准时开播。通过本直播节目帮助云原生技术使用者和爱好者加深云原生技术的理解，同时推动云原生与企业IT的融
目前随着技术架构不断演进，特别是微服务分布式技术兴起，很多大型网站逐步采用分布式的消息队列，用于面对流量高峰和异步处理，基于云上的消息队列逐步成为主流，接下来给大家一起介绍下腾讯云消息队列Ckafka及新推出的TDMQ相关产品特性、使用场景，以及系统对接，帮助大家更好做好技术选型。
9 月 7 日，腾讯在数字生态大会上正式推出混元大模型。据介绍，腾讯混元大模型是由腾讯全链路自研的通用大语言模型，拥有超千亿参数规模，预训练语料超 2 万亿 tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。
在Elasticsearch的多个使用场景中都可能会涉及到跨可用区，甚至是跨地域的数据搬移。比如说，用于生产业务的数据库加速/全文检索/多维检索场景，需要做同城，或者是两地三中心的容灾，需要在跨机房，甚至是跨地域的做主备同步。又或者是大型企业的全观测性解决方案、安全SOC解决方案等，在多个地域均有IT基础设施或者企业IT资产，不仅需要将汇总数据集中在统一的运营中心进行监控与分析，并且需要将分散于各地的日志，指标，追踪，遥测，拨测等多个维度的数据集中一起，做统一的数据管理，加快故障地位和根因分析的过程，也需要跨地域的数据集成。
数据爆炸时代已经来临，数据作为企业的核心资产，如何利用好数据对企业来说至关重要，数据湖存储应运而生。腾讯云存储团队技术大牛程力，围绕数据湖加速器GooseFS展开演讲，下面让我们一起回顾下程力老师的精彩演讲内容。今天的主题是数据湖存储方面的内容。整个内容分四个部分：
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将您详细介绍如何将数据写入 MongoDB。 前置准备 创建流计算 Oceanus 集群 进入 Oceanus 控制台 [1]，点击左侧【集群管理】，点击
去年6月，MiniMax自研文本大模型MiniMax-ABAB（“阿巴阿巴”）快速迭代到第二个版本，随着参数规模增长、海量数据涌入，彼时的计算资源捉襟见肘。
点击上方“腾讯云TStack”，关注我们，获取最in云端资讯和海量技术干货~ 备受瞩目的OpenInfra Days China 2020大会将于两天后正式开始！本次大会将在CSDN线上平台进行，点击文末“阅读原文”访问大会官网可详细了解主会场及分会场相关议程。 大会名称：OpenInfra Days China 2020 大会时间：8月16日-17日 大会官网：http://openinfradays.csdn.net 会议形式：线上直播 观看直播入口：https://t.csdnimg.cn/xw
GooseFS是由腾讯云推出的一款分布式缓存方案，主要针对包括需要缓存加速的数据湖业务场景，提供基于对象存储COS服务的近计算端数据加速层。
今天我给大家带来的分享是《海量资源的技术运营》，这里有几个关键字，一个是“海量资源”，这个海量资源，不仅仅是指腾讯业务涉及很多海量资源，实际上它还与大家的脑海里的概念是不一样的，等下我会介绍。“技术运营”这个关键词则是我们今天都可以感受到的重要性，今天我还会给它加上一个新的定语，将它称之为“精细化的技术运营”，并且会用一系列案例带给解析。
本文描述问题及解决方法同样适用于 腾讯云 Elasticsearch Service（ES）。
很多平台一旦做大了，平台的流量就会陡增，同时并发访问的流量也会暴增，原本规划的硬件配置就无法满足当下的流量问题。
“智变加速，产业焕新”，2023腾讯全球数字生态大会已于9月7-8日完美落幕，40+专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。
从 2022 年开始，大模型就成为了最热门的技术关键词，这种热度显然辐射到了多个相关领域。比如，在近日召开的 2023 世界机器人大会上，「大模型 + 机器人」就成为现场讨论最多的话题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
