有没有可能让spark接受本地文件作为输入，但对其进行分布式处理？Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.spa
浏览 12提问于2016-07-06得票数 1
回答已采纳
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式<
浏览 3提问于2021-03-25得票数 0
我正在运行一段Java代码，在Spark submit中使用spark集群模式将文件从HDFS复制到本地。该作业在spark本地模式下运行良好，但在集群模式下运行失败。我不明白为什么它会在集群中失败。但我在本地没有收到任何异常。
浏览 0提问于2018-06-17得票数 0
有没有一种方法可以在分布式文件系统上运行Spark或Flink，比如lustre，或者除了HDFS或者S3之外的任何东西。因此，我们可以使用Unix集群创建分布式文件系统框架，我们是否可以在集群模式下运行spark/flink，而不是独立运行。
浏览 1提问于2020-03-31得票数 0
非常不幸的是，take on RDD是一个严格的操作，而不是懒散的操作，但我不会理解为什么我现在认为这是一个令人遗憾的设计。def takeRDD[T: scala.reflect.ClassTag](rdd: RDD[T], num: Long): RDD[T] = // An unfortunate consequence of the way the
浏览 0提问于2016-12-01得票数 3
回答已采纳
我试图从我的Spark2应用程序中使用Hadoop的copyToLocalFile函数将一个文件从HDFS复制到本地。) hdfs.copyToLocalFile(src, dest)
当我在Yarn客户端模式下提交spark应用程序时，上面的代码运行良好。但是，在Yarn集群</e
浏览 0提问于2018-10-05得票数 0
1回答
我正在尝试使用主节点和工作节点在本地集群上调试Spark应用程序。我已经成功地使用start-master.sh和it works.But设置了Spark独立集群管理器的主节点和工作节点。我想知道Spark应用程序在spark集群中是如何工作的，所以我想在调试模式下启动集群。)
at org.apache.spark.deploy.master.ui.MasterWebUI
浏览 3提问于2018-04-25得票数 1
我正在尝试使用Scala中的IntelliJ IDEA来执行这个简单的Spark工作。但是，Spark UI会在对象完全执行后完全停止。我是否遗漏了什么或在错误的位置收听了什么？Scala版本- 2.10.4和Spark - 1.6.0 object SimpleApp { val logFile = "C:/spark<
浏览 0提问于2016-02-24得票数 0
我尝试将pandas数据帧写入本地系统或集群模式下使用spark的hdfs，但它抛出了一个错误，如 IOError: [Errno 2] No such file or directory: {hdfs_path/file_name.txt} 这就是我的写作方式 df.to_csv("hdfs_path/file_name.txt", sep="|") 我使用的是python，作业是通过shell脚本运行的。如
浏览 18提问于2020-10-21得票数 0
我是Spark和HDInsight的新手。我想知道下面的代码是如何工作的？我的意思是如何在集群节点之间调度作业。假设我有2个头节点和4个工作节点，哪些代码将在头节点上运行，哪些代码将在工作节点上运行？ 我如何让Spark知道我想要在工作节点上执行一些代码？// the code is from https://docs.microsoft.com/en-us/azure/hdinsight/spark
浏览 30提问于2019-09-24得票数 0
我在本地系统中有一个文件。我想在本地使用Spark读取它，然后使用相同的spark程序在HDFS中写入它，这可能吗？
浏览 46提问于2020-04-29得票数 0
回答已采纳
3回答
我也尝试过Yarn，但是它的运行速度比独立管理器慢10倍。集群详细信息：Spark1.2.1和Hadoop2.7.1
浏览 4提问于2015-08-04得票数 21
回答已采纳
我运行以下命令来尝试将其保存到本地： write.}_SUCCESS ._SUCCESS.crc
如何让DataFrame正确保存文件？如果它很重要，我也是通过Jupyter Notebook来实
浏览 0提问于2016-07-07得票数 1
3回答
在Spark2.2.0中，API中有新的端点用于获取关于流作业的信息。
我已经研究了一下星火代码库，但是这个特性并没有很好的文档化。所以我很好奇这是不是个虫子？在集群上运行时，这似乎是一个具体的问题。运行在我的
浏览 1提问于2017-12-12得票数 2
回答已采纳
我对scala和spark非常陌生，所以我的疑问是，如果我编写一个独立的scala程序，并在spark(1 master 3 worker)上执行它，scala程序是否会利用干扰/并行处理，或者我是否需要编写一个单独的程序来获得分布式处理的优势例如，我们有一个scala代码，它将一个特定的格式化文件处理成逗号分隔的文件，它将一个目录作为输入，解析所有文件，并将输出写入单个文件(每个文件通常为100-200MB)。所以这是代码。(Source.
浏览 2提问于2016-04-26得票数 1
我在本地pc上配置了一个主计算机，在virtualbox中配置了一个工作节点，结果文件已经在worker节点上创建，我想知道为什么发送回主节点。我试过一次，然后切换了主/工作者节点，得到了相同的结果。header", "true").option("delimiter", ";")
.save("file
浏览 0提问于2018-02-28得票数 0
回答已采纳
我在本地集群模式下测试spark程序:我已经将我的spark.home属性设置为$SPARK_HOME (指向spark安装目录)。我已经启动了spark历史服务器，spark.history.fs.logDirectory指向文件:/tmp/spark-events。但是，当我成功执行测试并退出时。历史服务器没有显示任何内容，/tmp/<e
浏览 0提问于2015-10-19得票数 4
1回答
我没有任何星火集群，我只运行本地的个人电脑。当我通过IntelliJ启动Spark时，实例运行得很好：
17/11/11 10:11:33 INFO Utils: Successfully started service 'sparkDriver(master = "spark://localhost:7077", spark_home = "C://Users&
浏览 2提问于2017-11-11得票数 1
回答已采纳
我正尝试在独立模式下运行spark作业，但是命令没有从HDFS文件中拾取，jar文件存在于HDFS.The位置，并且当我在本地模式下运行它时，它工作得很好。下面是我正在使用的命令 spark-submit --deploy-mode client --master yarn --class com.main.WordCount /spark/wc.jar$.cl
浏览 52提问于2019-01-19得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
