我编写了一个小的C++项目,直接从硬盘(而不是从HDFS)读取文件来构建性能基线。该程序将为每个磁盘创建4个读取线程。性能结果是每个磁盘的容量大约为14 is /s。但是,当这个程序(仍然使用C++,动态链接到libhdfs.so,创建4*5*5=100线程)从hdfs集群读取文件时,吞吐量仅为55 is /s。我想知道HDFS的合理性能是什么?如您所见,与本机代码相比,数据吞吐量仅为1/7。是我的配置问
日志中的错误。我正在我的ubuntu机器上尝试这个,看起来运行得很好,不确定这是不是和SELinux有关?已禁用SELinux,但仍面临相同问题。at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:676)
at org.apache.hadoop.hdfs.server.namenode.NameNode</e
我最近决定增加我的VM可用的RAM和核心数量,这似乎完全搞砸了hdfs。所以我想,这只是为了学习,我删除了"/user/msknapp“中的所有内容和"/var/lib/hadoop-0.20/cache/mapred/mapred/.settings".中的所有内容因此,(FSNamesystem.java:1490)
at org.apache.hadoop.hdfs