我是spark的新手，我正在使用spark 2.1.0和python 2.7，但它不能工作。我已经寻找了一周的时间来解决我的问题，但没有成功。当我在commmadLine中运行pyspark时，我得到了以下错误： at org.a
浏览 1提问于2017-02-16得票数 0
我正尝试在hadoop中使用sftp，如下面所示hadoop distcp -D fs.sftp.credfile=/home/bigsql/cred.prop sftp://<<ip address) at org.apache.hadoop.fs.FileSystem:2612)
浏览 7提问于2015-11-23得票数 1
回答已采纳
我是python和spark的新手，我有一个问题需要你的帮助。在此之前，我有四个不同的数据集，并且对所有这些数据集使用相同的代码，其中两个能够saveAsTextFile，另外两个不能。我尝试运行的代码是情感分析，当我打印输出时，它是可读的。但是，当我尝试saveAsTextFile时，其他两个数据集出现错误。$Windows.access0(Ljava/lang/String;I)Z
at org.apache.hadoop</em
浏览 83提问于2020-04-20得票数 0
4回答
我正在使用cygwin在windows7中运行这些命令。我很好奇我是否正确地调用了write目录，也许这就是问题所在。完整的打印输出如下所示：
User5@User5-PC /cygdrive/c/Users/User5/Documents/Nutch/
浏览 7提问于2015-12-24得票数 1
Windows 10：java version "1.8.0_181"Error: Could not find or load main class Abdul
HADOOP_HOMEC:\hadoop-2.8.0\bin
C:\Java\jdk1.8
浏览 0提问于2018-09-07得票数 0
df = spark.read .option("rowTag"，“.xml”)路径( xmlpath )xmlpath是一个.option:// mycontainer @ .blob.core.windows.net/，但是它有以下错误: shaded.databricks.org.apache.hadoop.fs.azure.AzureException: shaded.databricks.org.apache.hadoop.fs.azure.AzureException: Cont
浏览 36提问于2019-05-29得票数 1
我是Map/Reduce和Hadoop的新手。我正在尝试编写一个wordccount mapreduce程序，并使用eclipse在本地运行它。我已经指定了输入文件的路径和输出目录。当我编译程序时，它抛出了一个IO异常“系统找不到指定的文件”。我的代码如下所示import java.util.Iterator;
import java.util.StringToken
浏览 4提问于2015-01-13得票数 1
我试图在我的本地系统上运行mahout，当我运行"./bin/mahout“时，我得到了下面提到的错误。我所要做的就是在没有hadoop的情况下运行mahout，并尝试20Newsgroup示例。我在核心，发行版和示例目录中做了"mvn编译“和"mvn install -Dmaven.test.skip=true”。不知道我还漏掉了什么。我知道您可以在系统上不运行Hadoop的情况下运行mahout。
浏览 3提问于2012-10-26得票数 0
我将"A2“设置为”启动配置“和”将所需库打包到生成的JAR“中的主类，输出jar或”导出目的地“的名称为"MyTest.jar”。: Could not find or load main class A1我现
浏览 1提问于2017-03-04得票数 0
回答已采纳
</groupId> <version>${hadoop.version}</version$Windows.access0(Ljava/lang/String;I)Z
at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Nativ
浏览 0提问于2020-04-15得票数 2
4回答
我正在尝试我的第一个代码，将文件从HDFS复制到本地文件系统。但是，我无法复制，即使文件是预先设置的，并且我得到了异常：FileNotFoundExceptoin。以下是我的代码： public static void main(String[] args) throws IOException ,URISyntaxExceptionfrom + "] to local [" + to + &
浏览 2提问于2015-12-30得票数 0
1回答
我已经在我的计算机上安装了hadoop一次，我删除了源文件夹，我想重新安装。然而，我在这个错误上失败了：我尝试了我能在互联网上找到的一切，但错误仍然存在。<exec dir="C:\Users\yzi1\hadoop-2.7.1-src\hadoop-comm
on-project\had
浏览 2提问于2016-07-27得票数 0
当我试图执行命令bin/hadoop namenode -format时出错。错误是：
错误:无法找到或加载主类org.apache.hadoop.util.PlatformName :不推荐使用此脚本执行hdfs命令。相反，可以使用hdfs命令。错误:找不到或加载主类org.apache.hadoop.hdfs.server.namenode.NameNode错误:找不到或加载主类org.apache.hadoop.util.PlatformName
浏览 10提问于2012-10-11得票数 1
回答已采纳
7回答
我无法解决这个异常，我已经阅读了hadoop和我能找到的所有相关的堆栈溢出问题。我在我的应用程序(通过maven pom.xml)中包含了以下依赖项，全部在2.6.0-cdh5.13.0版本中:hadoop-公共，hadoop-hdfs，hadoop-client，hadoop-minicluster我的文件系统变量是一个有效的(hado
浏览 2提问于2018-07-11得票数 6
回答已采纳
我正在尝试通过遵循本教程来生成一个HbaseMinicluster：
我也设置了winutils (因为我的错误与相同)。下面是我的pom文件：
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/java.lang.Unsatis
浏览 0提问于2017-09-19得票数 2
我在0.20.203.0版本的开箱即用配置中遇到了这个错误当我尝试运行wordcount示例时。$ hadoop jar hadoop-exam
浏览 2提问于2011-08-13得票数 0
回答已采纳
2回答
我正在运行Map reduce，它将扫描hbase并收集所需的数据。hadoop有7TB的数据，还有10TB的空闲空间。HBase中有大约2亿条记录。因此，我的MR根本没有完成。当在我的本地机器上指向一个小表运行这个MR时，它运行良好。有没有什么好主意，为什么卡住了，怎么解决？提前感谢2012-03-27 13:27:56,117 INFO org.apache.hadoop.mapred.JobInPro
浏览 1提问于2012-03-27得票数 0
回答已采纳
2回答
我遵循的是，我正在分配输入和输出目录。我在这里创建了两个目录：~/projects/hadoop/WordCount/output/找到我的<
浏览 4提问于2017-02-03得票数 0
回答已采纳
在Hadoop 2.2的最新版本中，我看到发行说明提到这个版本对在Windows上运行Hadoop有重大改进。我昨天下载了Hadoop2.2，我看到了很多带有.sh文件的.cmd文件，这确保了这个版本有在Windows环境下运行Hadoop的脚本和批处理文件。但是，在查看Apache Hadoop文档时，我找不到任何有关如何在<
浏览 9提问于2013-10-17得票数 7
我对Hadoop很陌生，并试图在Windows 7上运行它。每当我试图运行hadoop脚本时，我都会得到以下错误：operableUsage: hadoop [--config confdir] COMMAND fs run a genericfile or directories re
浏览 3提问于2015-10-11得票数 2
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
实时音视频
腾讯云开发者
