腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
浪浪山下那个村
应无所住，而生其心。 --《金刚经》 吾生也有涯，而知也无涯。 --《庄子》
专栏作者
举报
136
文章
91213
阅读量
21
订阅数
订阅专栏
申请加入专栏
全部文章（136）
云数据库 Redis（29）
编程算法（29）
flink（20）
linux（12）
大数据（12）
sql（11）
机器学习（9）
神经网络（9）
存储（9）
缓存（9）
java（8）
深度学习（7）
数据库（6）
打包（6）
git（6）
人工智能（6）
网站（6）
https（6）
kafka（6）
http（5）
内存（5）
配置（5）
数据（5）
javascript（4）
node.js（4）
网络安全（4）
jvm（4）
ide（3）
github（3）
unix（3）
容器镜像服务（3）
yarn（3）
apache-flink（3）
编译（3）
操作系统（3）
服务（3）
集群（3）
日志（3）
事件（3）
源码（3）
c++（2）
jquery ui（2）
html（2）
android（2）
api（2）
jar（2）
ubuntu（2）
nginx（2）
文件存储（2）
访问管理（2）
SSL 证书（2）
腾讯云测试服务（2）
开源（2）
jdk（2）
监督学习（2）
cdn（2）
单元测试（2）
gcc（2）
socket编程（2）
kerberos（2）
windows（2）
迁移（2）
博客（2）
插件（2）
磁盘（2）
对象（2）
管理（2）
函数（2）
接口（2）
客户端（2）
权限（2）
文件系统（2）
优化（2）
源码分析（2）
状态机（2）
云服务器（1）
NLP 服务（1）
c 语言（1）
python（1）
lua（1）
bash（1）
scala（1）
bootstrap（1）
xml（1）
jquery（1）
云数据库 SQL Server（1）
oracle（1）
nosql（1）
搜索引擎（1）
centos（1）
mapreduce（1）
腾讯云可观测平台（1）
消息队列 CMQ 版（1）
云推荐引擎（1）
容器（1）
分布式（1）
黑客（1）
图像识别（1）
卷积神经网络（1）
正则表达式（1）
决策树（1）
线性回归（1）
unity（1）
rpc（1）
jenkins（1）
gradle（1）
scikit-learn（1）
安全（1）
数据分析（1）
数据处理（1）
数据结构（1）
聚类算法（1）
Elasticsearch Service（1）
apt（1）
awt（1）
case（1）
data（1）
db（1）
debian（1）
dfs（1）
exists（1）
extends（1）
hdfs（1）
key（1）
layer（1）
load（1）
mnist（1）
model（1）
neovim（1）
project（1）
public（1）
return（1）
reverse（1）
server（1）
string（1）
tar（1）
编程（1）
登录（1）
递归（1）
二进制（1）
工具（1）
工作（1）
后端（1）
华为（1）
架构（1）
兼容性（1）
解决方案（1）
开发（1）
连接（1）
面试（1）
软件（1）
生命周期（1）
算法（1）
索引（1）
效率（1）
协议（1）
性能（1）
压缩（1）
异步（1）
异常（1）
原理（1）
搜索文章
搜索
搜索
关闭
NameNode客户端协议详解
extends
public
对象
客户端
协议
根据交互对象的不同，将协议进行了不同的归类。要想了解协议内容，需要将其单独分开分析。
zeekling
2024-04-26
20
0
FSDirectory详解
权限
日志
文件系统
dfs
管理
Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory类来管理的。 FSNamesystem也提供了管理目录树结构的方法。 FSNamesystem中的方法多是调用FSDirectory类的实现。FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。
zeekling
2024-04-01
53
0
Yarn 作业启动源码解读
yarn
对象
函数
事件
源码
作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。
zeekling
2023-12-08
144
0
Yarn 状态机以及事件机制
yarn
接口
生命周期
事件
状态机
AsyncDispatcher 实现了接口Dispatcher，Dispatcher中定义了事件Dispatcher的接口。主要提供两个功能：
zeekling
2023-11-29
182
0
ResourceManager简介
服务
管理
权限
事件
状态机
ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成：
zeekling
2023-11-26
341
0
nameNode启动过程源码分析
插件
服务
函数
接口
源码分析
nameNode的启动主要是有NameNode.java主导的，由main函数开始了解。
zeekling
2023-11-06
136
0
HDFS 详解
存储
hdfs
集群
数据
文件系统
HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。 HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。 从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。 Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。 Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。
zeekling
2023-10-23
292
0
Yarn 详解
yarn
算法
原理
zeekling
2023-10-23
161
0
Linux 安装常见编译工具安装
linux
gcc
tar
编译
工具
zeekling
2023-10-17
176
0
Flink 常见问题总结
flink
内存
日志
异步
异常
如果您看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的IllegalConfigurationException，通常表明 存在无效的配置值（例如负内存大小、大于 1 的 分数等）或配置冲突。请重新配置内存参数。
zeekling
2023-10-17
624
0
linux idea 启动慢、运行慢
linux
http
awt
内存
配置
或者在 /home/zeekling/.config/JetBrains/IdeaIC2023.1下面找到 idea64.vmoptions文件。写入下面内容：
zeekling
2023-10-17
237
0
Idea 运行Test报错：scala: No scalac found to compile scala sources
scala
操作系统
插件
但是在操作系统上面安装了scala，在idea当中也安装了scala插件,依然会报错。
zeekling
2023-10-17
246
0
【Flink】【更新中】状态后端和checkpoint
存储
flink
后端
配置
数据
有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能：
zeekling
2023-10-17
323
0
Flink Checkpoint/Savepoint对比
存储
flink
集群
兼容性
效率
Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制（Savepoints）是检查点机制一种特殊的实现，它允许你通过手工方式来触发Checkpoint，并将结果持久化存储到指定路径中，主要用于避免Flink集群在重启或升级时导致状态丢失。
zeekling
2023-10-17
165
0
java 17运行jar报错：java.lang.UnsatisfiedLinkError: Can't load library:
java
jar
jdk
load
日志
zeekling
2023-10-17
400
0
Flink基本架构
flink
服务
集群
架构
连接
Flink 的 Master 节点包含了三个组件: Dispatcher、ResourceManager 和 JobManager。
zeekling
2023-10-17
124
0
RocksDB 详解
存储
磁盘
内存
数据
性能
RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识：
zeekling
2023-10-17
416
0
Hudi 基础知识详解
存储
数据
索引
压缩
优化
Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以开源文件格式保留。
zeekling
2023-10-17
547
0
Hudi 基础知识详解
flink
apache-flink
Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以开源文件格式保留。
zeekling
2023-10-06
798
0
RocksDB 详解
数据库
RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识：
zeekling
2023-09-23
431
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档