腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
5
回答
名称节点在哪里
存储
fsImage
和
编辑
日志
?
hadoop
、
hdfs
我看到
HDFS
中
的
名称节点将其信息
存储
在两个文件中,即
fsImage
& editLog。在启动时,它从磁盘读取这些数据并执行检查点操作。但在许多地方,我也读到了名称节点( Name Node ),它将数据
存储
在RAM中&这就是为什么apache推荐一台具有高RAM
的
机器作为名称节点服务器。 请告诉我这件事。它在内存中
存储
哪些数据&它在哪里
存储
fsImage
和
编辑
日志
浏览 1
提问于2014-04-20
得票数 5
回答已采纳
3
回答
fsimage
和
edit
日志
文件实际上
存储
在哪个文件夹中,以便namenode在启动期间读取和合并?
hadoop
、
hdfs
当namenode启动时,它从映像文件
fsimage
中读取
HDFS
状态,然后应用
编辑
日志
文件中
的
编辑
。 如果我没记错的话,Name节点是在我们写start-all.sh时启动
的
。因此,在这个启动时间,我认为它读取图像,
编辑
日志
,并合并它们。但是它实际上是从哪个文件夹或哪个
位置
读取这两个内容呢?
浏览 1
提问于2014-03-26
得票数 7
1
回答
hadoop簇中
的
Namenode与
fsimage
和
Edit_logs consept
hadoop
、
hdfs
、
namenode
我想简要介绍一下namenodes
和
fsimage
/edit_logs,以及namenode是如何在hadoop集群中工作
的
,然后,它将新
的
HDFS<
浏览 7
提问于2020-01-31
得票数 4
1
回答
HDFS
:
存储
FSImage
和
编辑
日志
的
位置
hdfs
、
hadoop2
我有一个问题DOes
FSImage
和
编辑
日志
存储
在一些共享
的
NFS for Hadoop2.0或两者
的
主动
和
被动名称节点有副本
的
fsimage
和
编辑
日志
在本地?
浏览 17
提问于2017-07-19
得票数 1
3
回答
Hadoop Namenode元数据-文件管理
和
编辑
日志
memory
、
hadoop
、
metadata
我知道
fsimage
在启动时被加载到内存中,并且出于性能原因,任何进一步
的
事务都被添加到
编辑
日志
中,而不是添加到
fsimage
中。但我不能理解
的
一点是,假设一个文件已经存在,关于这个文件
的
信息在内存
的
fsimage
中。现在,我将此文件移动到另一个
位置
浏览 2
提问于2014-06-18
得票数 5
1
回答
HDFS
中所用术语
的
清晰度?
hadoop
、
hdfs
、
metadata
、
hadoop2
、
namenode
在熟悉
HDFS
的
同时,我遇到了几个术语。很少有这样
的
术语:namespace,metadata,transaction logs,
fsimage
,editlogs。有时候,所有这些术语似乎都描述了同样
的
事情,即“有一些信息”,但我对此不太清楚。一般来说,metadata是指有关数据
的
数据,所以metadata会引用所有这些术语还是所有这些术语在Hadoop
的
上下文中都有不同
的
用途?
浏览 1
提问于2017-04-14
得票数 1
回答已采纳
1
回答
叫Node商店什么?
hadoop
、
mapreduce
、
hdfs
、
bigdata
在“名称节点”
的
情况下,什么
存储
在主内存中,哪些
存储
在次要内存(硬盘)中。 什么是
fsimage
和
编辑
日志
?
浏览 4
提问于2013-12-20
得票数 7
回答已采纳
2
回答
在
HDFS
中检查点是如何工作
的
?我想弄清楚fs.checkpoint.period
和
fs.checkpoint.size
hadoop
、
mapreduce
、
hdfs
当它这样说时,辅助namenode检查点每小时一次(以秒为单位),或者在
编辑
日志
达到64 MB (以字节为单位
的
fs.checkpoint.size)之前?到底是什么意思?根据我
的
理解,
编辑
日志
存储
在本地文件磁盘中。
浏览 2
提问于2014-03-22
得票数 1
回答已采纳
1
回答
namenode查询如何从datanode中阻止信息?
hadoop
、
hdfs
我可以通过
hdfs
fsck / -files -blocks查询关于我
的
文件(
存储
在
HDFS
中)如何
存储
在块中
的
信息。据我所知,namenode不
存储
有关每个文件块
位置
的
信息,而是从datanodes加载该信息。参考- 因此,如果namenode正在查询来自datanodes
的
信息,namenode应该知道datanodes元数据
的
位置
。bl*.meta,但我认为它们
浏览 3
提问于2022-02-08
得票数 0
1
回答
名称节点在RAM或硬盘中
的
位置
?
hadoop
名称节点驻留在RAM中还是硬盘中-Hadoop1.2.1?
浏览 4
提问于2015-08-25
得票数 0
回答已采纳
2
回答
Hadoop2.0名称节点、次级节点
和
检查点节点,以实现高可用性
hadoop
、
hdfs
、
hadoop2
、
high-availability
关于Namenode
的
角色
和
责任,我很清楚: NameNode将对文件系统
的
修改
存储
为附加到本机文件系统文件(
编辑
)
的
日志
。当NameNode启动时,它从图像文件
fsimage
读取
HDFS
状态,然后从
编辑
日志
文件中应用
编辑
。然后将新
的
HDFS
状态写入
fsimage
,并使用空
编辑
文件启动正常操作。由于
浏览 3
提问于2015-08-17
得票数 9
回答已采纳
6
回答
名称节点Vs辅助名称节点
hadoop
、
hdfs
、
hadoop2
、
high-availability
Hadoop具有一致性
和
分区容忍性,即它属于CAP理论
的
CP类别。提前谢谢。
浏览 100
提问于2013-11-14
得票数 20
回答已采纳
2
回答
hadoop文件系统
的
说明
hadoop
有人能帮我理解hadoop
的
数据
存储
概念吗?我使用这个链接来建立一个单节点hadoop集群:
浏览 1
提问于2014-02-15
得票数 0
回答已采纳
1
回答
从namenode获取datanode信息
的
地方
hadoop
、
hdfs
、
namenode
当将文件保存在
HDFS
上时,它将拆分文件并相应地
存储
,并将信息
存储
在
编辑
日志
中,这一切都很好。如果它是从
fsimage
看,一个新
的
fsimage
将产生一个小时间隔。 如果我在那个时间间隔之前请求它,会发生什么?
浏览 3
提问于2018-01-07
得票数 1
回答已采纳
2
回答
如何在hadoop中查看
FsImage
/Edit
日志
文件
hadoop
我是Hadoop
的
初学者。我想在hadoop中查看fs图像
和
编辑
日志
。我在很多博客上搜索过,没有什么是明确
的
。请有人告诉我一步一步地查看hadoop中
的
编辑
日志
/fs图像文件。我
的
版本: Apache:Hadoop-1.2.1我根据一些博客列出了我尝试过
的
步骤。.$
hdfs
dfsadmin -fetchImage /tmp Ex.2.<em
浏览 2
提问于2015-02-08
得票数 0
3
回答
Hadoop -
HDFS
名称节点元数据-
FSImage
hadoop
、
metadata
、
hdfs
一个是
FSImage
,另一个是
编辑
日志
。我
的
问题如下: 这是否意味着
F
浏览 0
提问于2014-09-30
得票数 2
2
回答
如何向hadoop添加硬盘
hadoop
、
hadoop-partitioning
、
hadoop2
我在Ubuntu14.04上安装了Hadoop2.4,现在我试图在现有集群中添加一个内部
的
sata。 </property>之后,我启动了
hdfs
: Starting namenodes on这是我
的
核
浏览 4
提问于2014-06-16
得票数 4
回答已采纳
1
回答
如何详细获取
hdfs
使用情况报告
hadoop
、
hdfs
、
cloudera
、
cloudera-cdh
、
bigdata
我们得到容量为900 We
的
hdfs
。由于
存储
的
数据越来越多,很难跟踪哪些是有用
的
,哪些是可以删除
的
。我想分析
hdfs
的
使用情况,以便最优地使用
hdfs
的
容量。 主动用户。
浏览 3
提问于2016-06-22
得票数 0
1
回答
名称节点高可用性未配置安装程序中
的
检查点
hadoop2
在未配置名称节点高可用性
的
设置中,辅助名称节点如何处理检查点操作。
浏览 1
提问于2018-03-11
得票数 0
回答已采纳
2
回答
在hadoop中,
fsimage
和
快照有什么区别?
hadoop
、
hdfs
、
bigdata
、
hadoop2
、
cloudera-manager
我是刚认识hadoop
的
。我想知道在hadoop中用于文件系统状态
的
快照
和
fsimage
之间
的
区别。我听说两个人做
的
工作是一样
的
。那么他们之间
的
区别是什么呢?
浏览 6
提问于2019-11-21
得票数 2
回答已采纳
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
云直播
活动推荐
运营活动
广告
关闭
领券