腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据成神之路
专注大数据领域的一切技术~
专栏成员
举报
638
文章
1402352
阅读量
321
订阅数
订阅专栏
申请加入专栏
全部文章（638）
大数据（273）
sql（163）
数据库（129）
kafka（105）
spark（100）
flink（91）
编程算法（83）
apache（72）
存储（60）
hive（59）
java（52）
node.js（52）
api（52）
数据（46）
hadoop（41）
文件存储（39）
缓存（39）
hbase（36）
云数据库 SQL Server（35）
TDSQL MySQL 版（33）
数据处理（31）
分布式（29）
数据结构（28）
scala（25）
云数据库 Redis（24）
mapreduce（24）
数据分析（21）
javascript（19）
linux（19）
yarn（18）
https（18）
python（17）
网络安全（17）
unix（16）
jvm（16）
windows（16）
zookeeper（14）
开发（14）
打包（13）
消息队列 CMQ 版（13）
批量计算（12）
http（12）
数据湖（12）
bash（11）
面试（11）
数据迁移（10）
云计算（10）
xml（9）
企业（9）
数据安全（9）
Elasticsearch Service（9）
框架（9）
bash 指令（8）
腾讯云测试服务（8）
面向对象编程（8）
架构（8）
优化（8）
jar（7）
运维（7）
processing（7）
机器学习（6）
json（6）
日志数据（6）
开源（6）
hashmap（6）
tcp/ip（6）
rabbitmq（6）
数据可视化（6）
微服务（6）
html（5）
神经网络（5）
深度学习（5）
压力测试（5）
jdbc（5）
rpc（5）
nosql（4）
spring（4）
网站（4）
express（4）
sql server（4）
nest（4）
任务调度（4）
es（4）
数据集成（4）
工具（4）
配置（4）
设计（4）
数据管理（4）
系统（4）
性能（4）
oracle（3）
github（3）
maven（3）
人工智能（3）
vr 视频解决方案（3）
electron（3）
容器（3）
shell（3）
socket编程（3）
kerberos（3）
性能测试（3）
实时数仓（3）
测试（3）
工作（3）
行业（3）
集群（3）
模型（3）
内存（3）
实践（3）
索引（3）
原理（3）
对象存储（2）
官方文档（2）
数据挖掘（2）
css（2）
ajax（2）
android（2）
ide（2）
lucene/solr（2）
nginx（2）
容器镜像服务（2）
海外加速（2）
mongodb（2）
rollup.js（2）
kubernetes（2）
uml（2）
架构设计（2）
5g（2）
迁移（2）
clickhouse（2）
报表（2）
产品（2）
磁盘（2）
函数（2）
后端（2）
基础（2）
监控（2）
解决方案（2）
排序（2）
事件（2）
异常（2）
最佳实践（2）
负载均衡（1）
自动驾驶（1）
ios（1）
iphone（1）
php（1）
go（1）
lua（1）
erlang（1）
regex（1）
react（1）
typescript（1）
postgresql（1）
flask（1）
sqlalchemy（1）
git（1）
搜索引擎（1）
负载均衡缓存（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
腾讯云可观测平台（1）
命令行工具（1）
云数据库 MongoDB（1）
es 2（1）
图像处理（1）
数据备份（1）
电商（1）
出行（1）
serverless（1）
游戏（1）
无人驾驶（1）
jdk（1）
推荐系统（1）
markdown（1）
zabbix（1）
微信（1）
机器人（1）
物联网（1）
系统架构（1）
腾讯云开发者社区（1）
安全治理（1）
raft（1）
实时监控（1）
数据库管理（1）
流计算 Oceanus（1）
大数据存储（1）
汽车（1）
腾讯云（1）
bi（1）
bigdata（1）
block（1）
class（1）
code（1）
combine（1）
configuration（1）
csv（1）
data（1）
dp（1）
export（1）
fifo（1）
hash（1）
import（1）
ip（1）
key（1）
memory（1）
mysql（1）
netty（1）
populate（1）
properties（1）
pulsar（1）
queue（1）
rank（1）
root（1）
scheduler（1）
select（1）
state（1）
sum（1）
table（1）
task（1）
time（1）
vi（1）
window（1）
报表工具（1）
登录（1）
队列（1）
服务（1）
高性能（1）
管理（1）
规范化（1）
架构师（1）
接口（1）
连接（1）
日志（1）
入门（1）
实时计算（1）
数据采集（1）
数据同步（1）
算法（1）
微信公众号（1）
线程（1）
效率（1）
协议（1）
研发（1）
语法（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
Doris在生产环境中的一些最佳实践
数据结构
排序
数据
索引
最佳实践
不同于传统的数据库设计，Doris 不支持在任意列上创建索引。Doris 这类 MPP 架构的 OLAP 数据库，通常都是通过提高并发，来处理大量数据的。
王知无-import_bigdata
2023-12-04
519
0
【Spark重点难点】你的数据存在哪了?
spark
vr 视频解决方案
hashmap
文件存储
数据结构
在之前的课中我们讲了Spark的RDD以及整个Spark系统中的一些关键角色：《【Spark重点难点】你从未深入理解的RDD和关键角色》。
王知无-import_bigdata
2021-12-07
1.4K
0
【Spark重点难点】你以为的Shuffle和真正的Shuffle
bash
bash 指令
大数据
spark
数据结构
上节课我们讲了DAGScheduler划分Stage的原理: DAGScheduler调度时会根据是否需要经过Shuffle过程将Job划分为多个Stage。
王知无-import_bigdata
2021-12-07
3.1K
0
四万字硬刚Kudu | Kudu基础原理实践小总结
TDSQL MySQL 版
hbase
数据库
数据分析
数据结构
Hadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？
王知无-import_bigdata
2021-09-22
2.9K
0
悄悄学习Doris，偷偷惊艳所有人 | Apache Doris四万字小总结
大数据
数据分析
数据处理
数据结构
编程算法
DorisDB是由Apache Doris核心研发团队打造的新一代企业级MPP数据库。它继承了Apache Doris项目十多年研发成果，累积了线上数千台服务器稳定运行经验，并在此基础上，对传统MPP数据库进行了开创性的革新。
王知无-import_bigdata
2021-09-22
5.8K
1
一篇并不起眼的数据仓库面试题
数据湖
数据安全
数据处理
数据结构
首先，用于支持决策，面向分析型数据处理；其次，对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。
王知无-import_bigdata
2021-07-12
1.9K
0
所谓数据治理
数据库
数据安全
数据结构
sql
大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用，不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。
王知无-import_bigdata
2021-06-01
877
0
Klin、Druid、ClickHouse核心技术对比
hbase
TDSQL MySQL 版
http
node.js
数据结构
KYLIN、DRUID、CLICKHOUSE是目前主流的OLAP引擎，本文尝试从数据模型和索引结构两个角度，分析这几个引擎的核心技术，并做简单对比。在阅读本文之前希望能对KYLIN、DRUID、CLICKHOUSE有所理解。
王知无-import_bigdata
2021-01-06
1.4K
0
大话 Druid 存储结构
存储
编程算法
文件存储
数据结构
Apache Druid是一款优秀的OLAP引擎，众所周知数据存储格式对一款存储系统来说是最核心的组件，Druid的数据格式是自定义的，以此保证了在海量数据下的亚秒级查询。本文深入分析Druid V1版本数据存储格式，包括索引结构和数据在磁盘中的存储方式。在阅读本文之前希望您对Druid和数据存储有简单了解。
王知无-import_bigdata
2021-01-06
603
0
Parquet文件存储格式详细解析
存储
文件存储
数据库
大数据
数据结构
Parquet仅仅是一种存储格式，它是语言、平台无关的，并且不需要和任何一种数据处理框架绑定，目前能够和Parquet适配的组件包括下面这些，可以看出基本上通常使用的查询引擎和计算框架都已适配，并且可以很方便的将其它序列化工具生成的数据转换成Parquet格式。
王知无-import_bigdata
2020-12-08
5.3K
0
Hive - ORC 文件存储格式详细解析
大数据
数据结构
hive
文件存储
编程算法
ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据使用Protocol Buffers序列化，并且文件中的数据尽可能的压缩以降低存储空间的消耗，目前也被Spark SQL、Presto等查询引擎支持，但是Impala对于ORC目前没有支持，仍然使用Parquet作为主要的列式存储格式。2015年ORC项目被Apache项目基金会提升为Apache顶级项目。ORC具有以下一些优势:
王知无-import_bigdata
2020-12-08
12.3K
0
深入解析 Flink 的算子链机制
数据结构
flink
大数据
编程算法
“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”
王知无-import_bigdata
2020-11-24
2K
0
以银行业为例谈数据治理
数据处理
大数据
存储
数据结构
数据安全
股份制改革对我国银行业来说只是一个开始，企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产，这是数据治理的外部推动因素。此外，随着第三次工业革命的到来，银行业也需要进入定制化时代，以更低的成本，生产多样化的金融产品，从而满足不同顾客的不同需求。对数据本身而言，业务发展加快了数据膨胀的速度，也带来了数据不一致等问题，业务部门的频繁增加和剥离同样会对数据治理提出挑战。这些日益复杂的内外因决定了我国银行业对数据治理的超高标准要求，而目前对应的经验能力却稍显薄弱。
王知无-import_bigdata
2020-05-29
1K
0
关于技术面试的一点点体会
编程算法
数据结构
一年一度的绩效季来了，这阵子都是各种总结和复盘，对自己未来一年的总结，也有对未来的规划。所以断更了两天。后台消息和微信消息都爆炸了，我实在没精力一个个看，十分重要的麻烦再留言一次，看到留言翻到首页来的会回复的。
王知无-import_bigdata
2020-03-05
479
0
环形缓冲区-Hadoop Shuffle过程中的利器
html
数据结构
这篇文章来自一个读者在面试过程中的一个问题，Hadoop在shuffle过程中使用了一个数据结构-环形缓冲区。
王知无-import_bigdata
2020-02-10
2K
1
三万字长文 | Spark性能优化实战手册
spark
数据库
大数据
数据分析
数据结构
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
王知无-import_bigdata
2020-02-10
1.1K
0
HyperLogLog函数在Spark中的高级应用
spark
sqlalchemy
大数据
数据结构
数据库
预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计，这样就能降低1000倍的数据处理量，从而在查询时大幅减少计算量，提升响应速度。更高层的聚合可以带来进一步的性能提升，例如，在时间维按天聚合，或者通过站点而不是URL聚合。
王知无-import_bigdata
2020-01-14
2.6K
0
Flink面试通关手册
api
sql
分布式
数据结构
数据处理
2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
王知无-import_bigdata
2019-12-09
1.4K
0
Cassandra原理 | Apache Cassandra简介
nosql
apache
分布式
数据结构
数据库
Apache Cassandra 是一个开源的、分布式、无中心、弹性可扩展、高可用、容错、一致性可调、面向行的数据库，它基于 Amazon Dynamo 的分布式设计和 Google Bigtable 的数据模型，由 Facebook 创建，在一些最流行的网站中得到应用。
王知无-import_bigdata
2019-09-26
4K
0
Apache Kylin VS Apache Doris全方位对比
hbase
TDSQL MySQL 版
apache
数据结构
javascript
本文作者：康凯森，来源于：https://blog.bcmeng.com，文章写的非常详细，从各个方面对Kylin和Doris进行了对比。
王知无-import_bigdata
2019-07-31
12.9K
1
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
