腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据技术架构
纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构
专栏作者
举报
149
文章
321025
阅读量
95
订阅数
订阅专栏
申请加入专栏
全部文章（149）
sql（32）
hbase（32）
spark（29）
大数据（29）
kafka（29）
数据库（28）
TDSQL MySQL 版（21）
存储（21）
hive（14）
apache（12）
缓存（12）
https（11）
api（10）
编程算法（10）
分布式（10）
Elasticsearch Service（10）
hadoop（9）
云数据库 SQL Server（8）
文件存储（8）
消息队列 CMQ 版（8）
网络安全（8）
flink（8）
mapreduce（7）
jvm（7）
数据湖（7）
python（6）
zookeeper（6）
数据处理（6）
node.js（5）
云数据库 Redis（5）
http（5）
数据分析（5）
linux（4）
mongodb（4）
开源（4）
windows（4）
云计算（4）
java（3）
搜索引擎（3）
lucene/solr（3）
网站（3）
日志数据（3）
jdk（3）
数据结构（3）
实时数仓（3）
javascript（2）
bash（2）
scala（2）
html（2）
打包（2）
ide（2）
unix（2）
bash 指令（2）
云数据库 MongoDB（2）
企业（2）
数据迁移（2）
socket编程（2）
数据可视化（2）
系统架构（2）
es（2）
负载均衡（1）
区块链（1）
数字货币（1）
机器学习（1）
tensorflow（1）
ios（1）
swift（1）
c++（1）
react（1）
ecmascript（1）
android（1）
oracle（1）
nosql（1）
tomcat（1）
全文检索（1）
负载均衡缓存（1）
nginx（1）
容器镜像服务（1）
神经网络（1）
深度学习（1）
专用宿主机（1）
批量计算（1）
数据备份（1）
容器（1）
devops（1）
运维（1）
压力测试（1）
爬虫（1）
jdbc（1）
hashmap（1）
tcp/ip（1）
scrapy（1）
rpc（1）
rabbitmq（1）
微服务（1）
特征工程（1）
性能测试（1）
数据集成（1）
搜索文章
搜索
搜索
关闭
Lakehouse 特性对比 | Apache Hudi vs Delta Lake vs Apache Iceberg
数据湖
数据库
sql
apache
存储
随着 Lakehouse 的日益普及，人们对分析和比较作为该数据架构核心的开源项目的兴趣日益浓厚：Apache Hudi、Delta Lake 和 Apache Iceberg。
大数据技术架构
2022-12-01
1.5K
0
分布式数据同步工具之DataX-Web部署使用
网站
数据库
云数据库 SQL Server
sql
背景介绍，因为需求是外部数据和内部生产数据之间需要通步，因此dataworks的数据同步模块的源端和目标是不支持多网络环境，要么公网，要么内网，因此这种需求我们的dataworks是不能使用的，我们调研了两个工具，一个是dataxweb ,一个是dolphinscheduler ，今天的篇幅主要讲解一下搭建的dataxweb的流程。
大数据技术架构
2022-12-01
6.3K
0
数据血缘分析-Python代码的智能解析
sql
编程算法
打包
python
如果你的工作是从事数据挖掘、数据仓库建设或者信息系统开发/维护，有没有曾经遇到过如下的烦恼？
大数据技术架构
2022-12-01
1.6K
0
Airflow 实践笔记-从入门到精通二
数据库
sql
python
linux
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。
大数据技术架构
2022-06-14
2.4K
0
Airflow 实践笔记-从入门到精通一
容器
数据库
sql
容器镜像服务
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。
大数据技术架构
2022-06-14
4.4K
0
Hive调优 | HiveServer2 性能优化与GC优化
jdbc
sql
压力测试
开发者利用jdbc连接hiveserver2（或者利用jdbc连接 spark HiveThriftServer2，由于两者都是提供jdbc连接到hive，因此，后面都统一称为利用jdbc连接hiveserver2），执行简单查询、复杂分析、超复杂分析等不同的sql任务，session并发量还很高（五六百甚至上千的并发），本质上要求大数据平台同时具备oltp的高并发与olap的高分析能力。对于hiveserver2这一类基于hadoop平台的jdbc server而言，非常不适合这种高并发的应用。
大数据技术架构
2021-12-02
1.5K
0
Spark性能调优指北：性能优化和故障处理
spark
mapreduce
数据库
sql
文件存储
Spark 官方推荐，Task 数量应该设置为 Spark 作业总 CPU core 数量的 2~3 倍。
大数据技术架构
2021-08-25
867
0
数据湖｜Flink + Iceberg 全场景实时数仓的建设实践
flink
大数据
数据处理
sql
数据库
摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。
大数据技术架构
2021-08-25
3.3K
0
ClickHouse原理 | ClickHouse特性及底层存储原理
数据备份
存储
分布式
数据库
sql
ClickHouse是一款MPP架构的列式存储数据库，但MPP和列式存储并不是什么"稀罕"的设计。拥有类似架构的其他数据库产品也有很多，但是为什么偏偏只有ClickHouse的性能如此出众呢？ClickHouse发展至今的演进过程一共经历了四个阶段，每一次阶段演进，相比之前都进一步取其精华去其糟粕。可以说ClickHouse汲取了各家技术的精髓，将每一个细节都做到了极致。接下来将介绍ClickHouse的一些核心特性，正是这些特性形成的合力使得ClickHouse如此优秀。
大数据技术架构
2021-07-05
4.8K
0
元数据管理 | Hive 元数据迁移与合并
hive
数据迁移
数据库
sql
在网易集团内部有大大小小几百套 hive 集群，为了满足网易猛犸大数据平台的元数据统一管理的需求，我们需要将多个分别独立的 hive 集群的元数据信息进行合并，但是不需要移动 HDFS 中的数据文件，比如可以将 hive2、hive3、hive4 的元数据全部合并到 hive1 的元数据 Mysql 中，然后就可以在 hive1 中处理 hive2、hive3、hive4 中的数据。
大数据技术架构
2021-04-29
1.9K
0
Spark原理 | 关于 mapPartitions 的误区
java
数据库
sql
今天 Review 了一下同事的代码，发现其代码中有非常多的 mapPartitions，问其原因，他说性能比 map 更好。我说为什么性能好呢？于是就有了这篇文章。
大数据技术架构
2021-03-23
3.6K
0
Iceberg 实践 | B 站通过数据组织加速大规模数据分析
网络安全
大数据
数据分析
spark
sql
交互式分析是大数据分析的一个重要方向，基于TB甚至PB量级的数据数据为用户提供秒级甚至亚秒级的交互式分析体验，能够大大提升数据分析人员的工作效率和使用体验。限于机器的物理资源限制，对于超大规模的数据的全表扫描以及全表计算自然无法实现交互式的响应，但是在大数据分析的典型场景中，多维分析一般都会带有过滤条件，对于这种类型的查询，尤其是在高基数字段上的过滤查询，理论上可以在读取数据的时候跳过所有不相关的数据，只读取极少部分需要的数据，这种技术一般称为Data Clustering以及Data Skipping。Data Clustering是指数据按照读取时的IO粒度紧密聚集，而Data Skipping则根据过滤条件在读取时跳过不相干的数据，Data Clustering的方式以及查询中的过滤条件共同决定了Data Skipping的效果，从而影响查询的响应时间，对于TB甚至PB级别的数据，如何通过Data Clustering以及Data Skipping技术高效的跳过所有逻辑上不需要的数据，是能否实现交互式分析的体验的关键因素之一。
大数据技术架构
2021-03-23
2.1K
0
Delta实践 | Delta Lake在Soul的应用实践
spark
hive
数据库
sql
数据湖
（一）业务场景 传统离线数仓模式下，日志入库前首要阶段便是ETL，Soul的埋点日志数据量庞大且需动态分区入库，在按day分区的基础上，每天的动态分区1200+，分区数据量大小不均，数万条到数十亿条不等。下图为我们之前的ETL过程，埋点日志输入Kafka，由Flume采集到HDFS，再经由天级Spark ETL任务，落表入Hive。任务凌晨开始运行，数据处理阶段约1h，Load阶段1h+，整体执行时间为2-3h。
大数据技术架构
2021-03-05
1.4K
0
专治数仓疑难杂症！美团点评 Flink 实时数仓应用经验分享
数据库
flink
大数据
sql
实时数仓
摘要：本文根据 Apache Flink 系列直播整理而成，由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下：
大数据技术架构
2020-07-03
771
0
关于OLAP数仓，这大概是史上最全面的总结！（万字干货）
云数据库 SQL Server
sql
数据库
数据分析
系统架构
关于数据仓库，早期分享过不少基础类文章，偶然间看到知乎上这篇关于OLAP的深度解读，从技术发展，产品选型，执行优化等方面做了详细的剖析，分享来给大家看看！
大数据技术架构
2020-07-02
5.2K
0
使用Apache Hudi构建大规模、事务性数据湖
数据处理
数据库
sql
数据湖
spark
一个近期由Hudi PMC & Uber Senior Engineering Manager Nishith Agarwal分享的Talk
大数据技术架构
2020-07-02
2K
0
实时数仓 | 你想要的数仓分层设计与技术选型
大数据
flink
kafka
数据可视化
sql
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着Storm/Spark（Streaming）/Flink等实时处理框架的更新迭代乃至相互取代，各厂都在着力构建自己的实时数仓，特别是近两年，随着Flink声名鹊起，实时数仓更是名声在外并且还在不断快速发展。
大数据技术架构
2020-04-21
9.9K
0
贝壳找房基于 Flink 的实时平台建设
sql
flink
实时数仓
云计算
数据处理
摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为 Apache Flink 在贝壳找房业务中的应用，分为以下三方面：
大数据技术架构
2020-03-11
1.1K
0
你说的 Flink 和搜索引擎有什么关系
云数据库 SQL Server
数据库
sql
云计算
搜索引擎
搜索引擎的出现大大降低了人们寻找信息的难度，已经深入到生活与工作的方方面面，简单列举几个应用如下：
大数据技术架构
2019-10-28
1.3K
0
Apache Kylin 入门介绍与学习资源
sql
hadoop
hbase
http
TDSQL MySQL 版
近日 Kylin v2.6.4 版本发布，包含很多问题修复与各种改进。翻阅三年前写的Kylin测试文档，当时版本还是1.5.3。近两年 Kylin 版本迅速迭代，社区不断发展，已经成为 Hadoop 生态中不可或缺的 OLAP 引擎。
大数据技术架构
2019-10-15
851
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档