腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
腾讯大数据的专栏
专栏作者
举报
324
文章
455145
阅读量
124
订阅数
订阅专栏
申请加入专栏
全部文章（324）
大数据（170）
机器学习（41）
数据库（37）
编程算法（33）
spark（26）
深度学习（25）
sql（24）
神经网络（24）
开源（24）
angel（24）
腾讯（22）
数据处理（20）
人工智能（18）
分布式（17）
hadoop（17）
jdk（16）
https（16）
数据分析（15）
apache（14）
网络安全（14）
数据（14）
存储（13）
微信（13）
游戏（12）
运维（12）
java（11）
云数据库 SQL Server（10）
腾讯云开发者社区（10）
联邦学习（10）
数据结构（9）
云直播（8）
hive（8）
隐私计算（7）
数据湖（7）
优化（7）
postgresql（6）
api（6）
腾讯移动推送（6）
容器（6）
安全（6）
其他（5）
ios（5）
node.js（5）
linux（5）
容器镜像服务（5）
短视频（5）
TDSQL MySQL 版（5）
kubernetes（5）
小程序（5）
系统架构（5）
腾讯移动分析（4）
数据安全（4）
jvm（4）
推荐系统（4）
云计算（4）
flink（4）
数据挖掘（3）
android（3）
打包（3）
github（3）
文件存储（3）
文字识别（3）
mongodb（3）
网站（3）
企业（3）
serverless（3）
缓存（3）
数据可视化（3）
微服务（3）
数据集成（3）
基础（3）
架构（3）
开发者（3）
视频（3）
NLP 服务（2）
自动驾驶（2）
python（2）
ide（2）
git（2）
微信小程序音视频（2）
数据迁移（2）
html5（2）
pytorch（2）
模式识别（2）
任务调度（2）
特征工程（2）
性能测试（2）
Elasticsearch Service（2）
智能客服机器人（2）
大数据存储（2）
腾讯云（2）
软件（2）
实践（2）
系统（2）
费用中心（1）
私有网络（1）
对象存储（1）
语音识别（1）
人脸识别（1）
创业扶持（1）
iphone（1）
php（1）
javascript（1）
jquery（1）
单片机（1）
oracle（1）
云数据库 Redis（1）
mvc（1）
svn（1）
spring（1）
mapreduce（1）
容器服务（1）
消息队列 CMQ 版（1）
SSL 证书（1）
知识图谱（1）
腾讯计费（1）
腾讯云测试服务（1）
图像处理（1）
高性能计算（1）
日志数据（1）
电商（1）
金融（1）
o2o（1）
出行（1）
http（1）
yarn（1）
云+未来（1）
devops（1）
压力测试（1）
无人驾驶（1）
图像识别（1）
强化学习（1）
sql server（1）
jdbc（1）
决策树（1）
zookeeper（1）
自动化测试（1）
tcp/ip（1）
gcc（1）
迁移学习（1）
机器人（1）
架构设计（1）
图片加速（1）
kafka（1）
虚拟化（1）
安全治理（1）
sdk（1）
迁移（1）
raft（1）
腾讯广告算法大赛（1）
数据接入平台（1）
数据库管理（1）
流计算 Oceanus（1）
移动推送（1）
可信计算（1）
教育（1）
app（1）
bi（1）
im（1）
wifi（1）
报表（1）
编译器（1）
并发（1）
产品（1）
行业（1）
互联网（1）
集群（1）
开发（1）
论文（1）
模型（1）
内存（1）
搜索（1）
统计（1）
网络（1）
研发（1）
智慧城市（1）
搜索文章
搜索
搜索
关闭
腾讯天穹 StarRocks 一站式湖仓融合平台架构揭秘
架构
数据
腾讯
优化
数据湖
腾讯天穹是协同腾讯内各 BG 大数据能力而生的 Oteam，作为腾讯大数据领域的代名词，旨在拉通大数据各个技术组件，打造一个具有统一技术栈的公司级大数据平台体系。从底层数据接入、数据存储、资源管理、计算引擎、作业调度，到上层数据治理及数据应用等多个环节，支持腾讯内部近 EB 级数据的存储和计算，为业务提供海量、高效、稳定的大数据平台支撑和决策支持。
腾讯大数据
2024-03-07
349
0
直播｜分析型湖仓论坛
大数据
数据湖
架构
腾讯
优化
随着湖仓技术的持续演进，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化，湖上建仓、仓中数据降冷到湖、物化视图、冷热融合查询等方案也越来越多的成为各个公司的标配，各大厂商也陆续提出了自己的湖仓融合方案，通过湖仓融合技术来提升业务使用体验的同时也降低了业务的使用成本。
腾讯大数据
2023-07-12
265
0
实时湖仓一体规模化实践：腾讯广告日志平台
spark
日志数据
存储
数据湖
文件存储
1. 背景 1.1 整体架构 腾讯广告系统中的日志数据流，按照时效性可划分为实时和离线，实时日志通过消息队列供下游消费使用，离线日志需要保存下来，供下游准实时（分钟级）计算任务，离线（小时级/天级/Adhoc）分析处理和问题排查等基于日志的业务场景。因此，我们开发了一系列的日志落地处理模块，包括消息队列订阅 Subscriber，日志合并，自研 dragon 格式日志等，如下图所示： Subscriber：Spark Streaming 任务，消费实时数据，落地到 HDFS，每分钟一个目录，供下游准实时
腾讯大数据
2022-09-20
1K
0
星火计划 | 腾讯大数据云原生数据湖技术沙龙火热报名中
腾讯云开发者社区
大数据
数据湖
导语：在云计算时代，云原生将成为一种新的常态。IDC曾预测，到2023年，将有超5亿的应用和服务以云原生的方式进行开发和部署，这一数字与过去40年以来人们开发的应用总数相当。 而数据湖作为数据存储与治理的新范式，也势必将在云原生趋势下迎来又一轮应用热潮，成为企业在云上开展数据治理的重要抓手。 基于腾讯多年海量数据处理经验，腾讯大数据团队打造了领先的云原生数据湖解决方案——以对象存储COS为数据湖统一存储，以容器服务为云原生资源调度，以DLF元数据管理为统一元数据纽带，整合多个大数据产品，为腾讯云用户提供专
腾讯大数据
2021-07-14
1K
0
大数据架构前沿实践分享
大数据
apache
数据湖
开源
出行
12月19日，9：00-12：40，由来自腾讯数据湖研发负责人邵赛赛老师出品的DataFunTalk年终大会——大数据架构论坛，将邀请来自腾讯、Tubi、车好多、T3出行、滴滴出行等公司的6位嘉宾，就大数据架构相关主题进行分享。本次会议全程直播，详细信息如下： 01 专题论坛及日程 论坛名称 大数据架构论坛论坛时间 12月19日，09:00-12:40论坛出品邵赛赛 腾讯 数据湖研发负责人分享时间 分享内容09:00-09:40如何让Ozone成为HDFS的下一代分布式存储系统 腾讯高级工程师 毛宝龙09
腾讯大数据
2020-12-14
1.3K
0
【直播】星火计划|新一代数据湖技术沙龙火热报名中
腾讯云开发者社区
数据湖
大数据
导语：数据湖的出现，为企业存储海量数据提供了一个高度可行的解决方案。关于数据湖，常见的定义是：数据湖是一个以原始格式存储数据的大型数据仓库或系统。 在大数据时代，数据湖技术已经获得了广泛认可与实践，它能够帮助企业更加轻松地收集、管理和使用数据，从规模庞大的数据中获取能够有效推动业务增长的信息洞察。 而随着行业的发展，数据湖技术本身，也在持续进行着自我演进，涌现出了许多新的技术手段与方法论。作为“后浪”的新一代数据湖技术，逐渐走上舞台。 9月8日19:00-21:00，腾讯大数据技术沙龙《新一代数据湖技术》
腾讯大数据
2020-09-03
564
0
Hadoop Ozone如何巧妙利用Multi-Raft机制优化数据节点吞吐量
raft
数据湖
大数据
hadoop
背景 作为近期Hadoop社区的明星项目，Hadoop Ozone吸引了社区广泛的关注。它脱胎于HDFS，不仅同时支持文件系统和对象语义，能原生对接HDFS和S3两种访问模式，也将集群的读写性能和吞吐量视为重中之重。2019年年中，腾讯大数据团队开始上线Ozone集群承接大数据存储业务，数据湖小组也全力投入了Hadoop Ozone的开源项目中。在与Hadoop Ozone社区和Cloudera深度合作后，数据湖小组凭借在开源界多年的深耕和数据平台的业务对接实战经验，逐渐发现Ozone写入性能显现出了一定
腾讯大数据
2020-07-14
1.1K
0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档