腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

450302

阅读量

124

订阅数

腾讯天穹 StarRocks 一站式湖仓融合平台架构揭秘

架构数据腾讯优化数据湖

腾讯天穹是协同腾讯内各 BG 大数据能力而生的 Oteam，作为腾讯大数据领域的代名词，旨在拉通大数据各个技术组件，打造一个具有统一技术栈的公司级大数据平台体系。从底层数据接入、数据存储、资源管理、计算引擎、作业调度，到上层数据治理及数据应用等多个环节，支持腾讯内部近 EB 级数据的存储和计算，为业务提供海量、高效、稳定的大数据平台支撑和决策支持。

腾讯大数据

2024-03-07

2440

我们正在热招@腾讯TEG数据平台部

腾讯大数据

2023-10-25

2270

四届赛事，拿下18冠！

模型视频数据腾讯网络

在全球文字识别（OCR）领域顶级盛会ICDAR 2023上，腾讯OCR团队基于自研算法，斩获四项冠军，这是继2017年、2019年、2021年以来，连续四届参会同时创造佳绩，共获得18项官方认证冠军，展示了腾讯OCR技术在全球的一流水平。

腾讯大数据

2023-10-25

2450

【活动回顾】腾讯大数据 x StarRocks｜构建新一代实时湖仓

大数据架构视频数据腾讯

2023 年 9 月 26 日，腾讯大数据团队与 StarRocks 社区携手举办了一场名为“构建新一代实时湖仓”的盛大活动。活动聚集了来自腾讯大数据、腾讯视频、腾讯游戏、同程旅行以及StarRocks 社区的技术专家，共同深入探讨了湖仓一体技术以及其应用实践等多个备受瞩目的话题，观看人数过万。

腾讯大数据

2023-10-23

3900

直播预约中！9.26腾讯大数据XStarRocks技术专题探讨

游戏大数据视频数据腾讯

随着数据爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse）架构崭露头角，成为大数据领域势不可挡的趋势。

腾讯大数据

2023-09-17

1970

腾讯大数据平台大脑AI探索与实践

大数据实践数据腾讯优化

导读近年来大数据业务规模迅速增长，为大数据平台运营治理带来了新的挑战：海量大数据任务的治理，缺乏统一、标准的数据与评估模型和治理工具，难以支持对大数据任务执行效率、稳定性等进行持续优化。腾讯大数据平台摸索出数据+算法驱动的“平台自治”方案，对于万亿级大数据分析逐步实现“自动化运营”，以一站式的自诊断、自优化、自管理能力，大大降低大数据产品使用门槛。

腾讯大数据

2023-07-25

4400

直播｜分析型湖仓论坛

大数据数据湖架构腾讯优化

随着湖仓技术的持续演进，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化，湖上建仓、仓中数据降冷到湖、物化视图、冷热融合查询等方案也越来越多的成为各个公司的标配，各大厂商也陆续提出了自己的湖仓融合方案，通过湖仓融合技术来提升业务使用体验的同时也降低了业务的使用成本。

腾讯大数据

2023-07-12

2580

腾讯捐赠编译器基础软件，为中国开发者“添了双筷子”

编译器基础开发者软件腾讯

6月11日，在2023开放原子全球开源峰会上，腾讯正式宣布将打磨多年的Java应用操作系统“OpenKona”捐赠给开放原子开源基金会，联合基金会以及数以百万计开发者，共建国产编译器基础软件，推动数字基础设施加速突破。

腾讯大数据

2023-07-12

3220

内存省一半、CPU降三成，腾讯大数据团队论文入选数据库顶会 VLDB！

数据库大数据论文内存腾讯

2023 年 8 月 28 日至 9 月 1 日，第49届VLDB国际会议将在加拿大温哥华举行。腾讯大数据平台大脑团队在Spark自动调优领域的研究成果入选了VLDB 2023，并受邀在大会上进行现场报告。 VLDB国际会议 (全称为International Conference on Very Large Data Bases）于1975年在美国的弗雷明汉马成立，与另外两大数据库会议 SIGMOD、ICDE 构成了数据库领域的三大顶级会议，已成为数据库研究人员，供应商，参与者，应用开发者，以及用户一

腾讯大数据

2023-05-24

5040

8大技术论坛，21场主题分享，大牛齐聚邀你看直播！

机器学习大数据产品实践腾讯

随着《腾讯大数据构建之道》著作的出版，腾讯大数据首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。为了将腾讯大数据十余年发展的经验沉淀和最新的前沿技术实践回馈给行业和用户，腾讯大数据准备搞大事啦！ 4月17日，腾讯大数据联合机械工业出版社举办的十年一剑·数擎未来《腾讯大数据构建之道》专题技术沙龙就要正式开始直播啦！本次专题技术沙龙将由腾讯28位业务专家围绕《腾讯大数据构建之道》带来云原生大数据、大数据采集、大数据计算引擎、实时湖仓一体化、大数据与机器学习、大数据治理、大数据平台产品、大数据平

腾讯大数据

2023-04-19

2790

Tencent Kona JDK参与开放原子“校源行”活动

开源 jdk 安全腾讯优化

4月2日，以"聚缘于校，开源共行"为主题的开放原子校源行（北京站）活动在北京航空航天大学举行。该活动由开放原子开源基金会、央视网联合主办，北京航空航天大学承办。工业和信息化部信息技术发展司、人事教育司的相关负责领导，教育部高等教育司的相关负责领导，全国数十所高校代表，数百名北京航空航天大学学生及相关企业、开源项目的负责人等共同参加了此次活动。在此次开放原子校源行活动中，腾讯公司的多个开源项目积极参与，其中就有来自于腾讯大数据团队的开源项目Tencent Kona JDK（以下简称为Kona JDK）。该

腾讯大数据

2023-04-06

3360

直播｜大数据平台开发论坛预约报名中

大数据开发数据腾讯优化

现代商业竞争已经从渠道、资源向系统整体效率倾斜，而效率的竞争很大程度上来自于数据能力的支撑。当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战，比如： 1. 数据领域的生态非常庞大，针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件，以及随之带来的团队碎片化，设备资源的重复投入，数据一致性的焦虑，技术选型的困难和迁移的潜在风险； 2. 在伴随业务扩张的过程中，如何平滑而透明地解决伸缩性，用好自建以及混合多云资源；如何建设一站式多租户的数据工具链，在开发生产以及租户之间做好共享和隔离的

腾讯大数据

2023-04-04

1.4K0

版本发布 | Apache InLong 持续优化提升系统稳定性

apache 集群数据系统优化

关于 Apache InLong 作为业界首个一站式开源海量数据集成框架，Apache InLong（应龙）提供了自动、安全、可靠和高性能的数据传输能力，方便业务快速构建基于流式的数据分析、建模和应用。目前 InLong 正广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域，服务上千个业务，其中高性能场景数据规模超百万亿条/天，高可靠场景数据规模超十万亿条/天。 InLong 项目定位的核心关键词是“一站式”和“海量数据”。对于“一站式”，我们希望屏蔽技术细节、提供完整数据集成及配套服务，实现开箱即

腾讯大数据

2023-04-04

6180

“数智话”技术沙龙第四期 | 商业智能分析BI专场，报名中！

企业腾讯云 bi 报表数据

4月4日晚19：00，腾讯云大数据“数智话”技术沙龙第五期《商业智能分析BI—企业数字化转型必备利器》准时开启线上直播。在数字化驱动的时代浪潮大背景下，如何沉淀并使用好数据，帮助经营者快速获取业务决策依据、实现增效降本，是每一个企业和单位所共同面临的问题。腾讯云BI提供从数据源接入、数据建模、数据可视化分析、数据门户搭建、权限管理等全流程的BI能力，充分利用和发挥腾讯云云原生平台的弹性计算和分布式优势。系统采用敏捷自助式设计，使用者仅需通过简单拖拽即可完成原本复杂的报表开发过程，并支持报表的分享、推送

腾讯大数据

2023-04-04

1950

回顾｜“十年一剑·数擎未来”腾讯大数据技术分享会成功举办

数据安全开源大数据数据腾讯

2023年3月21日，腾讯大数据与机械工业出版社联合举办的“十年一剑·数擎未来”腾讯大数据技术分享会在北京举办，会上隆重发布《腾讯大数据构建之道》一书，本次会议由机械工业出版社九州云播平台直播，全网近30家媒体平台转播，累计观看超14万人次。腾讯公司副总裁蒋杰和机械工业出版社副社长范兴国发来了视频致辞。腾讯云副总裁刘煜宏，中国信息研究通信院大数据与区块链部副主任（主持工作）姜春宇，中国开源推进联盟副秘书长谭中意，腾讯公司数据平台部数据中心总监罗韩梅，机械工业出版社华章分社计算机图书事业部经理杨福川出席了

腾讯大数据

2023-04-04

7690

我在腾讯造“炮弹”

开源大数据数据腾讯系统

我在腾讯造“炮弹” 文 | 史中（一）真的狠人，可以写自己的“命运剧本” 我们现在回忆起来，腾讯好像是“嗖——”地一下就成了今天这么大。但事实显然不是这样，我们的记忆最爱骗人。在腾讯的“历史相册”里，每时每刻，身边都站着至少一个强大到随时能把自己“掐死”的对手。比如2005年，这个对手就是微软。确切地说，是微软的 MSN。一边是世界首富比尔·盖茨商业帝国下银盔亮甲的正规军，一边是名不见经传的深圳寻呼系统开发程序员马化腾的“中学生聊天神器”。这一边倒的局面，连看热闹的都捂住眼镜，生怕腾讯挨打的时

腾讯大数据

2023-04-04

7020

腾讯，大数据是一碗白饭

企业开源大数据数据腾讯

导语：两千多年前，毕达哥拉斯学派提出来一个概念，即“万物皆数”，虽然从今天看当时的发现过程，不免有其偏颇之处。但是它揭示了，万物之间的关系，都可以归结为数与数之间的关系。几乎在同时代，老子也有类似观点，如《道德经》所云：道生一，一生二，二生三，三生万物。内中的含义是，事物的变迁规律，是一个数据从少到多，从简单到复杂，再从复杂归于简单的一个完整过程。这说明，人类很早就有了朴素的数据驱动思维。只不过，在电子计算机和互联网发展起来之前，人类从来都没有办法拥有足够的数据，去发现和掌握这个世界的运作规律。

腾讯大数据

2023-04-04

3080

直播｜2023腾讯大数据技术分享会重磅来袭！

企业大数据互联网数据腾讯

随着《数字中国建设整体布局规划》政策落地，数字中国建设将迎来新一轮的推进，大数据产业也将迎来全新的发展。数据之所以能够成为国家战略层面重要的生产要素，其内在原因和前提是数据价值能够被发现、挖掘、释放，使得政府、企业的工作效率或经济效益显著提升，进一步惠及民生。腾讯作为一家以互联网为基础的科技与文化公司，其互联网业务与亿万网民的日常生活息息相关。腾讯大数据在内外多元场景的实践以及海量数据的考验下历久弥新，打造了全球范围领先的大数据平台。目前，大数据算力规模已经突破千万核，日实时计算量达百万亿级、日计算数据

腾讯大数据

2023-04-04

5470

深耕基础软件3年，他们为中国开发者“添了双筷子”

开源基础开发者软件腾讯

2019年下半年，一支“精英小队”在腾讯大数据团队内部开始集结。成员除了各处抽调的精兵强将，还有两名来到腾讯不久的资深工程师——杨晓峰和傅杰，集结他们，只为了一个艰苦而又重要的任务——自研 JDK 。有成员这样评价这个任务——“脏活、累活”，还有委婉点的说法——“非主流的技术方向”，至少在当时，这个任务并不是会让大家争抢的那种。但总有孤勇者，愿意去直面困难的挑战。三年之后，这支小分队不仅研发出了国产化的Kona JDK，还培养出了OpenJDK社区为数不多的中国Committer和Reviewer，在

腾讯大数据

2023-04-04

4580

农村电商用户报告：约半数用户已是高频使用人群

电商在三线以上城市的人口红利正在逐渐消失，市场格局也已逐渐成型。于是，渠道下沉、拓展新的市场成了很多电商近一年以来的战略方向。在这其中，农村市场尤其成为了阿里、京东等电商巨头们眼中的战略级市场，它们都在积极布局县级服务中心，希望以此来撬动这个冻土层。而深入田间地头“刷墙”的电商公司更是比比皆是。 2015年会是农村电商的一个繁荣之年吗？或许我们应该先来看看农村用户目前的电商使用行为是怎样的。数千名网民参与了《企鹅智酷》发起的“农村电商用户行为调查”，对于他们网购的频率、最爱用的电商网站、网购中最不爽的体验

腾讯大数据

2023-03-04

4320

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态