腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
暴走大数据
专栏成员
举报
298
文章
584881
阅读量
100
订阅数
订阅专栏
申请加入专栏
全部文章（298）
大数据（118）
sql（66）
spark（66）
数据库（47）
编程算法（45）
存储（39）
kafka（39）
flink（39）
java（30）
node.js（29）
文件存储（24）
hive（23）
缓存（22）
hadoop（21）
api（16）
hbase（16）
mapreduce（15）
TDSQL MySQL 版（15）
数据处理（15）
linux（14）
apache（14）
数据结构（14）
云数据库 Redis（13）
分布式（13）
rpc（13）
javascript（12）
云数据库 SQL Server（12）
网络安全（12）
https（12）
数据分析（11）
unix（10）
zookeeper（10）
http（9）
jvm（9）
bash（8）
yarn（8）
html（7）
bash 指令（7）
消息队列 CMQ 版（7）
vr 视频解决方案（6）
Elasticsearch Service（6）
搜索引擎（5）
开源（5）
面向对象编程（5）
es（5）
python（4）
scala（4）
打包（4）
lucene/solr（4）
批量计算（4）
网站（4）
数据安全（4）
hashmap（4）
tcp/ip（4）
数据湖（4）
负载均衡（3）
xml（3）
jquery（3）
电商（3）
企业（3）
kubernetes（3）
运维（3）
rabbitmq（3）
uml（3）
云计算（3）
任务调度（3）
raft（3）
php（2）
ide（2）
github（2）
负载均衡缓存（2）
nginx（2）
腾讯云测试服务（2）
日志数据（2）
数据迁移（2）
socket编程（2）
windows（2）
架构设计（2）
微服务（2）
processing（2）
费用中心（1）
其他（1）
官方文档（1）
机器学习（1）
ios（1）
iphone（1）
c 语言（1）
c++（1）
servlet（1）
bootstrap（1）
json（1）
ajax（1）
android（1）
oracle（1）
jar（1）
全文检索（1）
analyzer（1）
容器镜像服务（1）
云数据迁移（1）
短视频（1）
命令行工具（1）
腾讯计费（1）
数据备份（1）
express（1）
容器（1）
parcel（1）
压力测试（1）
shell（1）
jdk（1）
sql server（1）
jdbc（1）
grep（1）
markdown（1）
kerberos（1）
微信（1）
数据可视化（1）
mqtt（1）
ipv6（1）
数据湖分析（1）
clickhouse（1）
count（1）
flush（1）
init（1）
invoke（1）
io（1）
ip（1）
map（1）
merge（1）
olap（1）
parquet（1）
partition（1）
queue（1）
record（1）
session（1）
sign（1）
state（1）
task（1）
tdd（1）
view（1）
zk（1）
实践（1）
数据（1）
统计（1）
异步（1）
搜索文章
搜索
搜索
关闭
HBase BulkLoad 原理及批量写入数据实战
大数据
存储
hbase
TDSQL MySQL 版
jar
之前我们介绍了HBASE的存储机制，HBASE存储数据其底层使用的是HDFS来作为存储介质，HBASE的每一张表对应的HDFS目录上的一个文件夹，文件夹名是以HBASE表的名字来命名（如果没有使用命名空间，那么默认是在default目录下）。在表文件夹下存放着若干个region命名的文件夹，而region文件夹中的每个列族也是用文件夹进行存储的，每个列族中存储的就是实际的数据，以HFile的形式存在。
大数据真好玩
2022-12-05
1.7K
0
腾讯广告业务基于Apache Flink + Hudi的批流一体实践
数据分析
数据处理
编程算法
javascript
存储
广告主和代理商通过广告投放平台来进行广告投放，由多个媒介进行广告展示 ，从而触达到潜在用户。整个过程中会产生各种各样的数据，比如展现数据、点击数据。其中非常重要的数据是计费数据，以计费日志为依据向上可统计如行业维度、客户维度的消耗数据，分析不同维度的计费数据有助于业务及时进行商业决策，但目前部门内消耗统计以离线为主，这种T+1延迟的结果已经无法满足商业分析同学的日常分析需求，所以我们的目标为：建设口径统一的实时消耗数据，结合BI工具的自动化配置和展现能力，满足业务实时多维消耗分析，提高数据运营的效率和数据准确性。
大数据真好玩
2022-06-17
1.3K
0
Apache Doris，MPP架构数据库王者学习总结
存储
数据库
sql
大数据
云数据库 SQL Server
doris是一个基于mpp（massively parallel processing，即大规模并行处理）的交互式sql数据仓库,是一个面向多种数据分析场景的，兼容mysql协议的，高性能的，分布式关系型列式数据库，用于报告和分析。
大数据真好玩
2022-04-27
3K
0
「ClickHouse系列」ClickHouse中的物化视图详解
数据库
sql
存储
视图是由若干个字段以及若干条记录构成(也常称为虚标)，它与表有很多相似的地方，视图中的数据源来自于原表,视图本身不存储数据,视图它保存的仅仅是一条select语句，并没有保存真正的数据。
大数据真好玩
2022-04-27
11.8K
0
六大方法彻底解决Flink Table & SQL维表Join
flink
大数据
sql
缓存
存储
随着 Flink Table & SQL的发展，Flink SQL中用于进行维表Join也成为了很多场景的选择。
大数据真好玩
2021-11-16
3.6K
0
Apache Iceberg源码分析：数据存储格式
html
javascript
分布式
存储
Apache Iceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、ORC、AVRO。相较于Hudi、Delta与Spark的强耦合，Iceberg可以与多种计算引擎对接，目前社区已经支持Spark读写Iceberg、Impala/Hive查询Iceberg。本文基于Apache Iceberg 0.10.0，介绍Iceberg文件的组织方式以及不同文件的存储格式。
大数据真好玩
2021-11-16
2.1K
0
Hive重点难点：Hive原理&优化&面试(下)
spark
sql
数据库
存储
文件存储
Map在读取数据时，先将数据拆分成若干数据，并读取到Map方法中被处理。数据在输出的时候，被分成若干分区并写入内存缓存（buffer）中，内存缓存被数据填充到一定程度会溢出到磁盘并排序，当Map执行完后会将一个机器上输出的临时文件进行归并存入到HDFS中。
大数据真好玩
2021-10-25
1.5K
0
数据湖YYDS！ Flink+IceBerg实时数据湖实践
flink
数据湖
数据库
sql
存储
互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要的技术组成部分。大数据领域经过近十年的高速发展，无论是实时计算还是离线计算、无论是数据仓库还是数据中台，都已经深入各大公司的各个业务。
大数据真好玩
2021-10-25
1.8K
0
昨天的一个问题及答案(关键字Gzip、MapReduce、Spark)
javascript
vr 视频解决方案
spark
大数据
存储
OK，我们知道gzip不可分割了。那么一个10G的gzip文件在HDFS是怎么存储的呢？
大数据真好玩
2021-10-12
494
0
Hadoop重点难点：Hadoop IO/压缩/序列化
node.js
hadoop
文件存储
存储
数据处理
序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化是指将字节流转回结构化对象的逆过程。
大数据真好玩
2021-10-12
961
0
Apache Spark 内存管理(堆内/堆外)详解
文件存储
存储
jvm
缓存
spark
本文旨在梳理出Spark内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。
大数据真好玩
2021-09-18
1.2K
0
Hive文件存储格式和Hive数据压缩小总结
存储
hadoop
文件存储
hive
mapreduce
HiveQL语句最终都将转换成为hadoop中的MapReduce job,而MapReduce job可以有对处理的数据进行压缩。
大数据真好玩
2021-09-18
1.2K
0
分布式文件系统HDFS原理一网打尽
缓存
api
大数据
存储
HDFS是一个分布式文件系统，具有良好的扩展性、容错性以及易用的API。核心思想是将文件切分成等大的数据块，以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构，其中主服务被称为NameNode，管理文件系统的元信息，而从服务被称为DataNode，存储实际的数据块，DataNode与NameNode维护了周期性的心跳，为了防止NameNode出现单点故障，HDFS允许一个集群中存在主NameNode，并通过ZooKeeper完成Active NameNode的选举工作。HDFS提供了丰富的访问方式，用户可以通过HDFS shell，HDFS API，数据收集组件以及计算框架等存取HDFS上的文件。
大数据真好玩
2021-07-30
1.1K
0
我们在学习Spark的时候，到底在学习什么？
编程算法
数据处理
大数据
存储
spark
Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，基本可以吊打其他的大数据处理框架。
大数据真好玩
2021-07-08
450
0
数据仓库基础小知识集锦
数据湖
大数据
数据处理
数据结构
存储
权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
大数据真好玩
2021-07-07
563
0
企业级一站式大数据开发平台理论及实践
大数据
数据安全
运维
存储
本文是个人在从零搭建部门数据及运营平台的过程中的笔记。随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处理。
大数据真好玩
2021-05-28
1.6K
0
实时数仓ClickHouse学习小指南
数据备份
数据分析
分布式
存储
数据库
ClickHouse 是Yandex开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快100-1000 倍。 ClickHouse的性能超过了目前市场上可比的面向列的 DBMS，每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。
大数据真好玩
2021-05-28
1.7K
0
【大数据哔哔集20210122】面试官问我HDFS丢不丢数据？我啪就把这个文章甩到他脸上
大数据
node.js
vr 视频解决方案
存储
HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的。
大数据真好玩
2021-01-27
988
0
打工人必备：详解MySQL索引类型和索引优点
编程算法
存储
数据库
sql
全文检索
索引是存储引擎用于快速查找记录的一种数据结构。因此良好的性能非常关键。尤其是当表中的数据量越来越大时，索引对性能的影响愈发重要。在数据量较小且负载较低时，不恰当的索引对性能的影响可能不明显，但当数据量逐渐增大时，性能则会急剧下降。索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查询性能提高几个数量级，“最优”的索引有时比一个“好的”索引性能要好两个数量级。
大数据真好玩
2021-01-26
1K
0
【大数据哔哔集20210120】SparkSQL优化策略小盘点
存储
spark
编程算法
大部分做Spark开发的同学或多或少都做过很多的优化，事实上优化的策略是很多的，还有很多的默认策略做了其实是无感知，当时当某些场景数据规模比较庞大的时候就需要用户自己去控制优化策略了，我们希望对优化策略有个整体认识，然后我们做优化的时候才能够从多方面去切入。
大数据真好玩
2021-01-21
496
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
