java.lang.NoClassDefFoundError: org/apache/hadoop/fs/StorageStatistics
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/StorageStatistics
提问于 2017-06-07 19:33:23
我试图从服务器上运行一个简单的s3应用程序，但是我一直收到下面的错误消息，因为服务器上安装了hadoop2.7.3，而且看起来并没有包含GlobalStorageStatistics class。我在pom.xml文件中定义了Hadoop2.8.x，但试图通过在本地运行它来测试它。
如果我必须使用hadoop 2.7.3，我如何才能使它忽略对该类的搜索，或者有哪些解决方案可以包含该类？
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/StorageStatistics
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2134)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2099)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2193)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2654)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
at org.apache.spark.sql.execution.datasources.DataSource.hasMetadata(DataSource.scala:301)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:344)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:152)
at org.apache.spark.sql.DataFrameReader.parquet(DataFrameReader.scala:441)
at org.apache.spark.sql.DataFrameReader.parquet(DataFrameReader.scala:425)
at com.ibm.cos.jdbc2DF$.main(jdbc2DF.scala:153)
at com.ibm.cos.jdbc2DF.main(jdbc2DF.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.StorageStatistics
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 28 moreStack Overflow用户
回答已采纳
发布于 2017-06-12 21:28:53
您不能混用Hadoop并期望它能正常工作。这不仅仅是hadoop-common和hadoop-aws中内部类之间的紧密耦合，它还包括构建hadoop-aws模块的amazon-aws SDK的特定版本。
如果在尝试使用s3a:// URL时获得ClassNotFoundException或MethodNotFoundException堆栈跟踪，则可能是因为JAR版本不匹配。
使用RFC2117必须/应该/可能的术语，以下是避免这种情况的规则：
- s3a连接器在hadoop-aws JAR中；它依赖hadoop-common和aws-sdk-shaded JAR。
- 所有这些JAR必须在类路径上。
- 类路径上所有版本的hadoop-* JAR必须是完全相同的版本，例如3.3.1 everywhere或3.2.2。否则:堆栈跟踪。总是
- ，并且它们必须是该版本的独占版本；在类路径上不能有hadoop-common、hadoop-aws等的多个版本。否则:堆栈跟踪。一直都是。通常，在Hadoop发行版中指示不匹配的hadoop-common和hadoop-aws.
- The确切缺失的类会有所不同:这是
org.apache.fs.s3a.S3AFileSystem依赖的第一个类，类加载器找不到它确切的类取决于JARs的不匹配 - 应该是已发布的版本。否则:可能是堆栈跟踪，也可能不是。无论采用哪种方式，AWS -you都处于自助式模式，或者选择加入QE团队进行版本测试。
- 您需要的特定版本可以从AWS SDK的版本中确定。你可以进行测试，如果有兼容性问题:你可以修复。
- 你应该使用你可以使用的最新版本的Qualifying an AWS SDK Update。非关键的bug修复不会返回到旧的Hadoop版本，并且S3A和ABFS连接器正在快速发展。新版本将更好、更强、更快。通常，如果这些都不起作用，则使用
- 。在ASF JIRA服务器上归档的错误报告将关闭为WORKSFORME。配置问题不会被视为代码错误
最后: ASF文档The S3A Connector
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/44411493
复制相关文章
相似问题
腾讯云开发者
