腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
本地
spark-submit
检查
远程
HDFS
上
是否
存在
文件
java
、
apache-spark
、
hadoop
、
hdfs
我正在开发一个专门在
HDFS
文件
系统(位于
HDFS
_IP)
上
使用Spark的Java程序。我的目标之一是
检查
HDFS
上
是否
存在
路径为
hdfs
://
HDFS
_IP:
HDFS
_PORT/path/to/file.json的
文件
。在
本地
调试我的程序时,我发现我不能使用以下代码访问这个
远程</em
浏览 37
提问于2020-04-14
得票数 2
1
回答
有没有办法在运行master的不同服务器
上
提交spark作业
apache-spark
、
pyspark
、
airflow
我们需要安排spark作业,因为我们熟悉apache-airflow,所以我们想继续使用它来创建不同的工作流。我在网上搜索,但没有找到一步一步的指南,以安排spark作业的airflow和选项,以运行它们在不同的服务器运行主机。
浏览 4
提问于2018-11-17
得票数 8
回答已采纳
3
回答
PySpark -纱线上不
存在
输入路径。在
本地
运行良好
python
、
apache-spark
、
pyspark
、
hadoop-yarn
当我在
本地
模式下运行它时,一切都很好。当我尝试在集群(没有hadoop的spark 2.1.2 )中运行它时,我收到了同样的错误。我应该怎么做才能让脚本在yarn中运行?
浏览 1
提问于2017-11-30
得票数 2
1
回答
将目录
从
远程
HDFS
本地
文件
系统复制到
本地
计算机
hadoop
、
hdfs
、
scp
我在
本地
hdfs
环境中有一个目录,我想将它复制到我的
本地
计算机。我使用ssh (带有密码)访问
hdfs
。 我尝试过许多建议的复制命令,但都没有工作。
浏览 2
提问于2018-05-09
得票数 1
回答已采纳
2
回答
提交星火集群时的FileNotFoundException
scala
、
cluster-computing
、
apache-spark
、
filenotfoundexception
我已经使用Apache Spark创建了一个小应用程序,当我在
本地
运行该应用程序时,一切运行正常。但是,当我将其提交到一个6节点集群时,我得到了一个FileNotFoundException,因为他找不到输入
文件
。 .saveAsTextFile("/data/detected")我使用以下命令提交申请: /opt/spark-1.0.2-bin-hadoop2/bin/
spark-submit
浏览 2
提问于2014-09-22
得票数 5
1
回答
如何在霍顿工作虚拟机上的星火上运行.jar?
java
、
hadoop
、
virtual-machine
、
hortonworks-data-platform
我正在斯帕克
上
运行一个.jar
文件
。但是由于我需要Hive,所以我想我应该搬到Hortonworks进行
本地
测试。现在,我已经通过Hortonworks的Ambari的
HDFS
将我的.jar和输入
文件
上传到
HDFS
(到/tmp/my_code目录)。下一步呢?我也找到了命令行,但是如何
从
VM的命令行访问
HDFS
上
的.jar?它说.jar不
存在
。我如何指出VM在
HDFS
上
浏览 0
提问于2016-07-19
得票数 1
回答已采纳
2
回答
如何将代码和数据集分发到工作节点
上
?
scala
、
apache-spark
、
apache-spark-sql
、
apache-spark-mllib
我的环境是VirtualBox
上
的Ubuntu14.4。我有一个主节点和两个
从
节点。我使用了已发布的Apache、Apache、Scala、sbt。代码是用Scala编写的。如何将代码和数据集分发到工作节点
上
?
浏览 0
提问于2019-06-29
得票数 1
回答已采纳
1
回答
Apache火花ALS算法
python
、
apache-spark
、
pyspark
、
apache-spark-mllib
我想使用Python在Apache
上
运行一个基于ALS算法的电影推荐应用,我使用的是Spark2.2.0Hadoop2.7,当我想使用这个命令运行应用程序时,我有一个主程序和两个工作人员。
Spark-submit
—master Spark://192.168.190.132:7077 —total-executor-cores 8 —executor-memory 2g engine.py我收到错误,它说ratings.csv
文件
不
存在
(我
检查
了地址,一切都是正确的)
浏览 1
提问于2019-08-18
得票数 0
1
回答
Python+PySpark
文件
本地
连接到
远程
HDFS
/Spark/纱线集群
apache-spark
、
pyspark
、
hadoop-yarn
我一直在玩
HDFS
和Spark。我已经在我的网络
上
设置了一个五个节点集群,运行
HDFS
、Spark,并由Yarn管理。工作人员正在以客户端模式运行。
从
主节点,我可以很好地启动PySpark外壳。对于
是否
以及如何在这个集群
上
运行python/Pyspark
文件
,我有几个问题。如果我在其他地方有一个带有PySpark调用的python
文件
,比如在我的
本地
dev笔记本电脑
上
或者在某个地方的码头容器
上</e
浏览 45
提问于2022-10-11
得票数 0
回答已采纳
3
回答
如何使用scala将不同的
文件
名传递给spark
scala
、
apache-spark
、
hadoop
spark.read.format("csv").load("books.csv")//Here i want to accept parameter spark.stop我想使用
spark-submit
文件
在我的linux box
上
。--master yarn \--files myprop.properties,${csv_file} \然而,程序只是尝试
从
浏览 2
提问于2021-09-29
得票数 0
3
回答
气流和火花/Hadoop-独特的集群或一个用于气流和其他用于火花/Hadoop
apache-spark
、
hadoop
、
airflow
我已经有了一个Spark/Hadoop集群,我正在考虑为气流创建另一个集群,该集群将
远程
将作业提交给Spark/Hadoop集群。 对此有什么建议吗?
从
另一个集群
远程
部署spark看起来有点复杂,这会造成一些
文件
配置复制。
浏览 0
提问于2018-08-25
得票数 2
回答已采纳
1
回答
将
本地
机器/容器设置为边缘节点,以便在
远程
集群
上
提交spark应用程序
apache-spark
、
containers
、
hadoop-yarn
到目前为止,我遵循的策略是,在提交申请时,我是如何收到错误的: 使用压缩
文件
spark-2.2.0-bin-hadoop2.6.tgzUncompressed在我的容器
上
安装了使用压缩
文件
在containerCopiedcore-site.xml、
hdfs
-site.xml、丝-site.xml
上
安装了 tar
文件
,并将其复制到容器
本地
Setup
文件
夹中的conf
文件
夹中。在容器
上
安装SPARK_HOME并指向指向$
浏览 6
提问于2021-02-12
得票数 0
2
回答
如何创建到
远程
Spark服务器的连接,并从运行在
本地
机器
上
的ipython中读取数据?
apache-spark
、
ipython
、
hdfs
、
ipython-notebook
我正在
本地
计算机上运行ipython notebook,并希望创建到
远程
Spark服务器i.p的连接。然后
从
remote server
上
存在
的
hdfs
文件
夹中读取数据。如何
从
本地
ipython notebook创建到Spark服务器的
远程
连接
浏览 3
提问于2015-11-24
得票数 6
2
回答
rxHadoopCopyFromLocal来自Windows
r
、
hadoop
、
azure-hdinsight
、
microsoft-r
从
Windows复制到
远程
HDFS
的正确语法是什么?我试图使用RStudio将
文件
从
本地
计算机复制到
远程
hadoop集群这个扔了rxHadoopCopyFromLocal("C:\\path\\to\\f
浏览 6
提问于2017-05-23
得票数 0
回答已采纳
1
回答
是否
可以写入
远程
HDFS
?
hadoop
、
hdfs
作为标题,
是否
可以写入
远程
HDFS
? 例如,我已经在AWS EC2
上
安装了
HDFS
集群,并且我想将
文件
从
我的
本地
计算机写入
HDFS
集群。
浏览 6
提问于2015-09-29
得票数 4
回答已采纳
5
回答
从
spark作业访问
HDFS
HA (UnknownHostException错误)
scala
、
apache-spark
、
hdfs
、
mesos
、
mesosphere
我有Apache Mesos 0.22.1集群(3主5
从
),在HA配置和Spark 1.5.1框架中运行Cloudera
HDFS
(2.5.0-cdh5.3.1)。当我尝试
spark-submit
编译的HdfsTest.scala示例应用程序(来自Spark 1.5.1源代码)时,它失败了,在执行器日志中出现了java.lang.IllegalArgumentException在启用跟踪日志后,我发现Spark驱动程序实际
上
可以正确读取
hdfs
://
hdfs
地址,但
浏览 9
提问于2015-10-16
得票数 9
3
回答
Apache Livy cURL不工作火花提交命令。
scala
、
apache-spark
、
curl
、
hdfs
、
livy
我最近开始使用Scala、
HDFS
、sbt和Livy。目前我试图创建livy batch。Warning: Skip remote jar
hdfs
://localhost:9001/jar/project.jar. java.lang.ClassNotFoundException: SimpleApp我的星火提交命令在
本地
.jar
文件
中运行得非常好。
spark-submit
--class "SimpleApp" --master local
浏览 0
提问于2018-06-21
得票数 1
1
回答
spark submit应用程序中的Scala ScriptEngine问题
apache-spark
、
classloader
、
spark-submit
、
scriptengine
、
scala-script
整个应用程序以
spark-submit
应用程序的形式运行,我使用ScriptEngine引擎来编译用Scala语言编写的DSL。每个测试在SBT和IntelliJ中都能正常工作。但是在执行
spark-submit
时,我的fat-jar中可用的类型不能在脚本中导入。我初始化脚本引擎如下所示。loader: ClassLoader = Thread.currentThread().getContextClassLoader这似乎是
spark-submit
但是我不能弄清楚为什么
浏览 45
提问于2018-08-07
得票数 2
1
回答
Luigi可以运行
远程
Hadoop作业吗?
hadoop
、
hdfs
、
etl
、
directed-acyclic-graphs
、
luigi
如果Luigi图中的某个任务需要在
远程
Hadoop集群
上
运行,这
是否
可行?运行Luigi的机器与Hadoop集群不同。luigi
是否
仍能
检查
远程
集群中的
HDFS
文件
是否
存在
?
浏览 13
提问于2019-03-12
得票数 0
回答已采纳
1
回答
无法使用
spark-submit
使用
本地
文件
apache-spark
我的输入
文件
和输出目录在
本地
,而不是
HDFS
上
。当我执行代码时,我得到输入目录未找到异常。--files home/hmusr/ReconTest/inputdir/sample /home/hmusr/ReconTest/inputdir/wordout 我使用选项--files来获取
本地
输入
文件
,并将输出指向
spark-submit
中的输出目录。当我使用
spark-su
浏览 6
提问于2018-07-21
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
好程序员大数据学习路线分享分布式文件系统HDFS
如何在CDH集群上部署Python3运行环境及运行Python作业
Spark-2
Apache Hadoop 系列之一
大数据 HDFS 工作原理
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券