No FileSystem for scheme: hdfs 通过ipc方式访问 hdfs 出现找不到类

星哥玩云

发布于 2022-06-29 20:53:30

8850

发布于 2022-06-29 20:53:30

文章被收录于专栏：开源部署

No FileSystem for scheme: hdfs 通过ipc方式访问 hdfs 出现找不到类。

问题描述：

Hadoop版本：hadoop-2.0.0-cdh4.3.0

　　在本地环境下能够找到scheme，但是通过maven打包fatjar 后放到其他机器上就出现找不到scheme。

　　看了代码，发现通过FileSystem.get(conf)初始化的时候，要通过静态加载来实现，其加载类的方法代码如下：

private static FileSystem createFileSystem(URI uri, Configuration conf ) throws IOException { Class<?> clazz = conf.getClass("fs." + uri.getScheme() + ".impl", null); if (clazz == null) { throw new IOException("No FileSystem for scheme: " + uri.getScheme()); } FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf); fs.initialize(uri, conf); return fs; }

conf.getClass需要读取hadoop-common-x.jar下面的core-default.xml，但是这个xml里面没有fs.hdfs.impl的配置信息，所以需要将这个类给配置上去。至于为什么本地环境能够读取，看过一部分代码，我猜测是因为本地环境如果在配置文件中如果找不到就会直接加载默认的方法，但是打包之后默认的方法找不到位置，因为通过maven打包后会将所有的jar包拆包并且jar包的配置也都集合在一个文件中，可能是这里出了问题。

　　　用fatjar的eclipse插件打包的方法也有试过，但是还是会报错，不过不是hdfs的错误了，可能是我的fatjar插件有问题。可以先试试用fatjar插件打包，如果不行的话在用上述办法。

　　　其实这个错误的发生有很多中情况，引用的hadoop jar包的版本儿和服务器上的hadoop版本儿不一样也有这个问题。所以出现这个问题，先确保你引用的hadoop的jar版本儿和服务器上保持一致。

　　解决方法：

　　将hadoop-commom-x.jar里面的core-default.xml文件取出并修改，添加如下代码：

<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description>
</property>

然后再放回jar包中，就可以访问了，依赖jar包中一定要有hadoop-hdfs.x.jar。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

node.js