所以我想在Dataproc集群上运行一个Python map reduce作业，问题是我找不到需要提交到主类或jar输入中的Hadoop流jar文件。我在Hadoop 2.7上使用Dataproc image，Hadoop 2.8的答案也可以。
谢谢
浏览 19提问于2019-11-13得票数 2
回答已采纳
我得到以下错误：
(编辑)实际错误是: java.lang.NoSuchMe
浏览 3提问于2016-02-26得票数 4
回答已采纳
当尝试以编程方式(从使用dataproc库的MapReduce应用程序)提交Hadoop作业时，作业立即失败。当通过UI提交完全相同的作业时，它工作得很好。我在Dataproc集群上尝试了SSHing，以确认该文件是否存在，检查权限，并更改了jar引用。到目前为止，一切都还没有奏效。我能真正看到的唯一区别就是“submittedBy”。一个可以工作，一个不能，我猜这是权限的问题，但我似乎不能说出在每个场景中<
浏览 22提问于2019-01-02得票数 0
回答已采纳
我试图使用Dataproc在PySpark中运行一个脚本。
文件"/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py"，第328行，在get_return_valuepy4j.protocol.Py4J
浏览 1提问于2019-06-15得票数 1
回答已采纳
1回答
我正在尝试创建一个dataproc集群，它将dataproc连接到pubsub。我需要在spark.jars标志中添加多个集群创建的jars
gcloud dataproc clusters create cluster-2c76 --region us-central1 --zone-2.2.0.jar,gs://bucket/jars/pubsublite-spark-sql-streaming</e
浏览 8提问于2021-11-27得票数 2
回答已采纳
当我试图在google (dataproc)上运行hadoop上的nutch时，我得到了以下错误。你知道我为什么要面对这个问题吗
user@cluster-1-m:~/apache-nutch-1.7/build$ hadoop jar /home/user/apache-nutch-1.7/runtime=/hadoop/mapred/local目录中，ce.c
浏览 6提问于2016-09-11得票数 1
2回答
我试图在google dataproc集群上运行星星之火作业，如--jarfile:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
--class org.apach
浏览 6提问于2017-04-12得票数 9
回答已采纳
df.write.jdbc("jdbc:postgresql://123.123.123.123:5432/myDatabase", "myTable", props)gcloud beta dataproc jobs submit spark ...--jars file:/
浏览 4提问于2015-10-05得票数 5
回答已采纳
我试图通过向Dataproc集群提交一个Spark作业来写入hdfs:///home/bryan/test_file/上的HDFS目录。
我得到一个错误，名称节点是在安全模式。为什么Dataproc集群处于安全模式？ERROR org.apache.spark.streaming.scheduler.JobScheduler: Error running job streaming job 1
浏览 7提问于2015-10-01得票数 3
1回答
我有一系列问题(很抱歉，Google文档太糟糕了，而且不方便用户使用)：
您可以将ssh放入头计算机并在整个集群中运行星火，还是使用Google的gcloud dataproc jobs submit ...命令？当我在本地运行Spark作业并尝试访问时，我这样做是没有问题的。当我尝试使用Dataproc时，
浏览 3提问于2019-01-18得票数 3
我在试着做一份在当地工作的火花作业。它使用谷歌存储。Dataproc作业使用gcloud-java-storage-0.2.8.jar，尽管定义了该方法，但我尝试了google-api-services-storage-v1-rev62-1.21.0.jar和google-api-services-storage-v1-rev83-1.22.0.jar，但都没有成功。看起来它没有使用google服务存储的正确版本，但我不知道除了上传和指定jar之外，我
浏览 3提问于2016-09-14得票数 2
回答已采纳
1回答
在遍历时，我将获得最终导出命令的下面堆栈跟踪(从主实例执行，并设置了适当的env变量)。${HADOOP_HOME}/bin/hadoop jar ${HADOOP_BIGTABLE_JAR} export-table -libjars ${HADOOP_BIGTABLE_JAR} <table-nameSLF4J: Found binding in [jar:file:&
浏览 0提问于2016-02-09得票数 2
回答已采纳
目前我有一个有3个节点的Hadoop集群(Ubuntu) 我想运行带有Hadoop流的python /R脚本，但是我不确定仅仅执行HS是否真的能使所有节点工作 如果可能，请告诉我在群集上运行流的方向
浏览 21提问于2020-04-25得票数 0
我在hortonworks沙箱中演示hadoop。$HADOOP_HOME/mapred/contrib/[root@sandbox ~[root@sandbox ~]# hadoop
浏览 4提问于2014-04-12得票数 2
我有Hortonworks Sandbox并运行命令： ssh root@127.0.0.1 -p 2222; 登录后，我想对位于Documents下的两个HDFS文件RatinsBreakdown.py和u.data运行MapReduce，如下所示： python RatingsBreakdown.py -r hadoop hdfs:///user/[username]/u.data --hadoop-streaming-jar/usr
浏览 31提问于2021-09-13得票数 0
我正在练习一个关于亚马逊EMR的视频教程。我被困住了，因为我不能继续前进，因为我正在犯这个错误。Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar我所采取的步骤是在</e
浏览 3提问于2015-09-12得票数 8
2回答
在本地IDE上运行远程星区群集
、、、、
我们有一个在亚恩上运行星火的角化集群。目前，我们在本地用Scala编写Spark代码，然后构建一个胖JAR，然后复制到集群中，然后运行submit。相反，我想在本地PC上编写Spark代码，并让它直接针对集群运行。有什么简单的方法吗？星火博士们似乎没有这样的模式。
FYI，我的本地机器运行的是Windows，集群运行的是。
浏览 8提问于2017-02-14得票数 6
回答已采纳
使用图像版本1.3-debian9显示jars是可用的(附图截图)。.用于创建Dataproc群集的命令：
gcloudataproc clusters create ${CLUSTER_NAME} --bucket ${BUCKET} --zone'https:/&#
浏览 0提问于2019-04-03得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
