腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
浪浪山下那个村
应无所住,而生其心。 --《金刚经》 吾生也有涯,而知也无涯。 --《庄子》
专栏成员
举报
144
文章
107924
阅读量
21
订阅数
订阅专栏
申请加入专栏
全部文章(144)
云数据库 Redis(29)
编程算法(29)
flink(20)
linux(12)
大数据(12)
sql(11)
机器学习(9)
神经网络(9)
存储(9)
缓存(9)
java(8)
深度学习(7)
数据库(6)
打包(6)
git(6)
人工智能(6)
网站(6)
hadoop(6)
https(6)
kafka(6)
配置(6)
http(5)
内存(5)
数据(5)
javascript(4)
node.js(4)
网络安全(4)
jvm(4)
ide(3)
github(3)
unix(3)
容器镜像服务(3)
yarn(3)
kerberos(3)
apache-flink(3)
编译(3)
操作系统(3)
插件(3)
服务(3)
函数(3)
集群(3)
接口(3)
日志(3)
事件(3)
优化(3)
源码(3)
c++(2)
jquery ui(2)
html(2)
android(2)
api(2)
jar(2)
ubuntu(2)
nginx(2)
文件存储(2)
访问管理(2)
SSL 证书(2)
腾讯云测试服务(2)
开源(2)
jdk(2)
监督学习(2)
cdn(2)
单元测试(2)
gcc(2)
socket编程(2)
windows(2)
迁移(2)
hdfs(2)
neovim(2)
博客(2)
磁盘(2)
管理(2)
连接(2)
权限(2)
文件系统(2)
源码分析(2)
状态机(2)
云服务器(1)
NLP 服务(1)
c 语言(1)
python(1)
lua(1)
bash(1)
scala(1)
bootstrap(1)
xml(1)
jquery(1)
云数据库 SQL Server(1)
oracle(1)
nosql(1)
搜索引擎(1)
centos(1)
mapreduce(1)
腾讯云可观测平台(1)
消息队列 CMQ 版(1)
云推荐引擎(1)
容器(1)
分布式(1)
黑客(1)
图像识别(1)
卷积神经网络(1)
正则表达式(1)
决策树(1)
线性回归(1)
unity(1)
rpc(1)
jenkins(1)
gradle(1)
scikit-learn(1)
安全(1)
数据分析(1)
数据处理(1)
数据结构(1)
聚类算法(1)
Elasticsearch Service(1)
apt(1)
awt(1)
case(1)
container(1)
data(1)
db(1)
debian(1)
dfs(1)
event(1)
exists(1)
exit(1)
hadoop-yarn(1)
key(1)
kill(1)
layer(1)
load(1)
mnist(1)
model(1)
nodes(1)
project(1)
return(1)
reverse(1)
server(1)
string(1)
tar(1)
编程(1)
登录(1)
递归(1)
对象(1)
二进制(1)
工具(1)
工作(1)
后端(1)
华为(1)
架构(1)
兼容性(1)
解决方案(1)
进程(1)
开发(1)
客户端(1)
快捷键(1)
面试(1)
软件(1)
生命周期(1)
算法(1)
索引(1)
线程(1)
效率(1)
协议(1)
性能(1)
压缩(1)
异步(1)
异常(1)
原理(1)
搜索文章
搜索
搜索
关闭
hadoop 主备倒换控制器:ZKFailoverController详解
hadoop
HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为:ZKFailoverController.java,
zeekling
2024-09-22
23
0
Hadoop 认证模块详解
hadoop
kerberos
客户端的入口函数为 KerberosAuthenticator.authenticate函数
zeekling
2024-09-01
150
0
ContainerManager详解
hadoop
hadoop-yarn
ContainerManager主要负责NM中管理所有Container生命周期,其主要包含启动Container、恢复Container、停止Container等功能。
zeekling
2024-08-07
152
0
BPServiceActor详解
线程
nodes
函数
接口
连接
BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下:
zeekling
2024-07-22
87
0
BPServiceActor详解
hadoop
BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下:
zeekling
2024-07-21
85
0
neovim 从0开始配置优化
快捷键
配置
优化
neovim
插件
neovim是从vim的一个分支fork出来的,从性能等方面来讲都比vim强很多,所以从vim转到neovim了。
zeekling
2024-06-09
221
0
docker stop container 报错:tried to kill container, but did not receive an exit event
container
event
exit
kill
进程
zeekling
2024-06-03
760
0
jobhistory 作业缓存源码详解
hadoop
jobhistory 一般会保存一部分作业信息到内存中,查询作业信息的时候一般会从内存查询,如果内存查询不到就会从磁盘上扫描。
zeekling
2024-05-26
62
0
NameNode客户端协议详解
协议
hadoop
hdfs
根据交互对象的不同,将协议进行了不同的归类。要想了解协议内容,需要将其单独分开分析。
zeekling
2024-04-26
143
0
FSDirectory详解
权限
日志
文件系统
dfs
管理
Namenode最重要的两个功能之一就是维护整个文件系统的目录树(即命名空间namesystem) 。 HDFS文件系统的命名空间(namespace) , 也就是以“/”为根的整个目录树, 是通过FSDirectory类来管理的。 FSNamesystem也提供了管理目录树结构的方法。 FSNamesystem中的方法多是调用FSDirectory类的实现。FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。
zeekling
2024-04-01
97
0
Yarn 作业启动源码解读
yarn
对象
函数
事件
源码
作业提交的客户端比较核心的类是Job.java,看作业启动的源码需要从这个类开始看。
zeekling
2023-12-08
187
0
Yarn 状态机以及事件机制
yarn
接口
生命周期
事件
状态机
AsyncDispatcher 实现了接口Dispatcher,Dispatcher中定义了事件Dispatcher的接口。主要提供两个功能:
zeekling
2023-11-29
277
0
ResourceManager简介
服务
管理
权限
事件
状态机
ResourceManager(RM),RM是全局的资源管理器,负责整个系统的资源管理和分配。主要由以下两部分组成:
zeekling
2023-11-26
621
0
nameNode启动过程源码分析
插件
服务
函数
接口
源码分析
nameNode的启动主要是有NameNode.java主导的,由main函数开始了解。
zeekling
2023-11-06
183
0
HDFS 详解
存储
hdfs
集群
数据
文件系统
HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。 HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。 从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组Datanode上。 Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。 Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。
zeekling
2023-10-23
480
0
Yarn 详解
yarn
算法
原理
zeekling
2023-10-23
181
0
Linux 安装常见编译工具安装
linux
gcc
tar
编译
工具
zeekling
2023-10-17
348
0
Flink 常见问题总结
flink
内存
日志
异步
异常
如果您看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的IllegalConfigurationException,通常表明 存在无效的配置值(例如负内存大小、大于 1 的 分数等)或配置冲突。请重新配置内存参数。
zeekling
2023-10-17
746
0
linux idea 启动慢、运行慢
linux
http
awt
内存
配置
或者在 /home/zeekling/.config/JetBrains/IdeaIC2023.1下面找到 idea64.vmoptions文件。写入下面内容:
zeekling
2023-10-17
365
0
Idea 运行Test报错:scala: No scalac found to compile scala sources
scala
操作系统
插件
但是在操作系统上面安装了scala,在idea当中也安装了scala插件,依然会报错。
zeekling
2023-10-17
387
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档