腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据技术架构
纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构
专栏作者
举报
149
文章
318159
阅读量
95
订阅数
订阅专栏
申请加入专栏
全部文章（149）
sql（32）
hbase（32）
spark（29）
大数据（29）
kafka（29）
数据库（28）
TDSQL MySQL 版（21）
存储（21）
hive（14）
apache（12）
缓存（12）
https（11）
api（10）
编程算法（10）
分布式（10）
Elasticsearch Service（10）
hadoop（9）
云数据库 SQL Server（8）
文件存储（8）
消息队列 CMQ 版（8）
网络安全（8）
flink（8）
mapreduce（7）
jvm（7）
数据湖（7）
python（6）
zookeeper（6）
数据处理（6）
node.js（5）
云数据库 Redis（5）
http（5）
数据分析（5）
linux（4）
mongodb（4）
开源（4）
windows（4）
云计算（4）
java（3）
搜索引擎（3）
lucene/solr（3）
网站（3）
日志数据（3）
jdk（3）
数据结构（3）
实时数仓（3）
javascript（2）
bash（2）
scala（2）
html（2）
打包（2）
ide（2）
unix（2）
bash 指令（2）
云数据库 MongoDB（2）
企业（2）
数据迁移（2）
socket编程（2）
数据可视化（2）
系统架构（2）
es（2）
负载均衡（1）
区块链（1）
数字货币（1）
机器学习（1）
tensorflow（1）
ios（1）
swift（1）
c++（1）
react（1）
ecmascript（1）
android（1）
oracle（1）
nosql（1）
tomcat（1）
全文检索（1）
负载均衡缓存（1）
nginx（1）
容器镜像服务（1）
神经网络（1）
深度学习（1）
专用宿主机（1）
批量计算（1）
数据备份（1）
容器（1）
devops（1）
运维（1）
压力测试（1）
爬虫（1）
jdbc（1）
hashmap（1）
tcp/ip（1）
scrapy（1）
rpc（1）
rabbitmq（1）
微服务（1）
特征工程（1）
性能测试（1）
数据集成（1）
搜索文章
搜索
搜索
关闭
盘点Hadoop生态中 6 个核心的大数据组件
分布式
kafka
hadoop
es
存储
大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等。有些组件主要存储日志数据或者只允许追加记录，有些组件可更好的支持CDC或者upsert数据。有些组件是为离线分析或批处理而生，有些则更擅长实时计算或流处理。本文整理了几个笔者认为非常重要且仍然主流的核心组件，供参考。
大数据技术架构
2021-07-29
2.2K
0
ClickHouse原理 | ClickHouse特性及底层存储原理
数据备份
存储
分布式
数据库
sql
ClickHouse是一款MPP架构的列式存储数据库，但MPP和列式存储并不是什么"稀罕"的设计。拥有类似架构的其他数据库产品也有很多，但是为什么偏偏只有ClickHouse的性能如此出众呢？ClickHouse发展至今的演进过程一共经历了四个阶段，每一次阶段演进，相比之前都进一步取其精华去其糟粕。可以说ClickHouse汲取了各家技术的精髓，将每一个细节都做到了极致。接下来将介绍ClickHouse的一些核心特性，正是这些特性形成的合力使得ClickHouse如此优秀。
大数据技术架构
2021-07-05
4.7K
0
关于消息队列的优缺点，看这篇就行
apache
kafka
消息队列 CMQ 版
分布式
rabbitmq
如上图所示，可能存在某一个系统产生关键数据，所有系统都需要其进行提供数据，导致A系统与要提供数据系统产生耦合，系统拓展，其他系统的需求修改都会导致A系统产生修改。
大数据技术架构
2019-09-04
998
0
这一次彻底搞懂：分布式系统原理
数据库
sql
分布式
编程算法
在具体的工程项目中，一个节点往往是一个操作系统上的进程。在本文的模型中，认为节点是一个完整的、不可分的整体，如果某个程序进程实际上由若干相对独立部分构成，则在模型中可以将一个进程划分为多个节点。
大数据技术架构
2019-08-16
2K
0
分布式系统如何保证一致性
编程算法
分布式
随着各种高并发访问、海量数据处理等应用场景越来越多，为了应对这些使用场景，分布式系统应运而生。分布式系统得以发展，得益于诸多优点，比如：可以避免单点故障，容易横向扩展等。所谓单点故障指的是：单个组件发生故障会导致整个系统的瘫痪，而容易横向扩展的意思是我们可以通过增加机器来提高整个系统的性能。分布式系统在带来诸多优点的同时，也带来了一些挑战，我们下面来重点描述清楚其中的一个核心挑战：在分布式系统中如何保证数据的一致性。关于分布式系统的基本概念，可以参考相关的理论书籍。
大数据技术架构
2019-08-16
764
0
从 Elasticsearch 来看分布式系统架构设计
node.js
Elasticsearch Service
系统架构
分布式
存储
分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常大。这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。
大数据技术架构
2019-08-16
708
0
揭开 ClickHouse 快的面纱
存储
分布式
其实早在去年我们就已经开始接触并研究clickhouse了，因为当时进行多表关联测试性能并不是特别优秀，所以并没有在线上大范围使用，当时研究的是分布式部署 （感觉分布式会比单机好一些）最后发现性能并不怎么样 而且分布式的sql也有很多限制，不支持单条删除和更新操作、不支持in和join（当时的版本，18.12.14之前），直到前几天看了携程一篇关于clickhouse的文章，将clickhouse的性能描述的神乎其神，再次勾起了我研究的欲望，附携程公众号文章 干货 | 每天十亿级数据更新，秒出查询结果，ClickHouse在携程酒店的应用
大数据技术架构
2019-08-16
7.5K
0
关于NoSQL，看这篇就够了
存储
hbase
TDSQL MySQL 版
分布式
mongodb
NoSQL（Not only SQL）数据库，可以理解为区别于关系型数据库如mysql、oracle等的非关系型数据库。
大数据技术架构
2019-08-16
879
0
Raft 协议学习笔记
编程算法
分布式
云数据库 Redis
zookeeper
常见的一致性协议主要有：PaxOS、Raft、ZAB、PacificA等。同PaxOS，Raft也不考虑拜占庭将军问题（Byzantine failures，注：比特币采用工作量证明PoW和股权证明PoS解决了拜占庭将军问题）。
大数据技术架构
2019-08-16
739
0
聊一聊分布式对象存储解决方案
swift
ios
hbase
TDSQL MySQL 版
分布式
OSS（Object Storage Service）俗称对象存储，主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外，一般私有云比较关心一些开源的分布式对象存储解决方案，本文列举了一些常见的技术方案供参考。
大数据技术架构
2019-08-16
6.6K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档