在Mac上启动spark-shell local时出错

文章/答案/技术大牛

发布

0回答

apache-spark

当我尝试在Mac上本地启动spark-shell时，我得到了以下错误。由于错误是在创建sc时发生的，因此sc在创建后不可用。[ender@koders:data] $ spark-shell Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties<init>(Ex

浏览 2提问于2016-12-29得票数 0

回答已采纳

1回答

在MacOS上安装Apache时遇到困难

macos、apache-spark、homebrew

我试图在我的Mac上设置apache terminal，我一步一步地遵循这个指南()，当我在终端中运行shell时，会得到以下错误： /usr/local/Cellar/apache-spark/2.2.0/libexec/bin/spark-shell: line 57: /usr/local/Cellar/apache-spark

浏览 2提问于2017-10-10得票数 1

回答已采纳

2回答

火花连接器错误:警告NettyUtil:找到Netty的本地epoll传输，但不在基于linux的操作系统上运行。使用NIO代替

java、macos、maven、apache-spark、cassandra

这是我的规格：我在Cassandra中创建了一个键空间的“电影”和一个表org.apache.spark.SparkConf = org.apache.spark.SparkConf@2ae92511 scala> val sc = new SparkContext("local

浏览 0提问于2015-11-24得票数 7

回答已采纳

4回答

Visual 2015 + Xamarin >在运行应用程序之前选择一个有效的设备

xamarin、visual-studio-2015、xamarin.forms

我有最新的阿尔法版本的xamarin最近卸载了mac和pc (windows 8)上的一切。在尝试运行ios示例应用程序时，我会得到“选择一个有效设备”的错误。我已经将平台设置为iphone仿真器，我连接到了mac。以下是生成时的日志<

浏览 7提问于2015-10-24得票数 11

回答已采纳

4回答

SparkDeploySchedulerBackend错误:应用程序已被终止。所有的主人都反应迟钝

apache-spark

/spark-shellSpark assembly has been built with Hive, including Data nucleus jars on classpath

浏览 0提问于2015-05-10得票数 4

回答已采纳

1回答

为什么启动火花壳失败了“我们找不到任何外部IP地址！”在Windows上？

apache-spark

我现在在Windows电脑上启动火花壳有困难了.我正在使用的Spark版本是1.5.2预为Hadoop2.4或更高版本构建的。我认为火花-贝类. and可以在没有任何配置的情况下直接运行，因为它是预先构建的，我不知道是什么问题使我无法正确启动火花。除了打印出来的错误消息外，我还可以在命令行上执行一些基本的scala命令，但显然这里出了问题。

浏览 5提问于2015-11-18得票数 3

回答已采纳

4回答

无法绑定到: spark-master，使用具有两个工作进程的远程群集

binding、apache-spark、runtime-error

我在Internet上尝试了/etc/hosts和其他建议的不同设置组合，但都不起作用。

浏览 0提问于2015-04-28得票数 23

1回答

如何使用所有snappydata集群服务器启动spark-shell？

snappydata

我似乎找不到一种使用conf/servers中设置的所有服务器启动shell的方法我只发现可以使用/bin/snappy-job.sh提交到集群作业，其中我指定了引导位置，但是我想尝试使用整个集群来执行一些实时

浏览 1提问于2016-03-22得票数 0

2回答

EC2 spark集群中的主URL是什么

amazon-ec2、apache-spark

我使用spark-ec2脚本启动了一个spark集群。(编辑:登录到主节点后)，我可以在主节点本地运行spark作业，如下所示：但是我似乎不能在集群模式下运行作业

浏览 1提问于2015-07-15得票数 1

2回答

从Windows启动Spark-Shell (Scala)并设置工作目录路径

windows、scala、apache-spark、command-line

RStudio的sparklyr包安装了Spark，并通过以下方式返回路径：# spark_home_dir()但是，当我尝试将工作目录设置到我的桌面上，以便可以从

浏览 1提问于2016-12-12得票数 0

38回答

Pyspark: Exception: Java网关进程在向驱动程序发送其端口号之前退出

java、python、macos、apache-spark、pyspark

我正试着在我的macbook air上运行pyspark。当我尝试启动它时，我得到了错误：当sc= SparkContext()在启动时被调用。/bin/spark-shell export PYSPARK_SUBMIT_ARGS="--master l

浏览 4提问于2015-08-06得票数 81

1回答

在Mac上启动eclipse时出错

java、eclipse、macos

TM) SE运行时环境(build 1.7.0_76-b13) Java HotSpot(TM) 64位服务器VM (build 24.76-b04，混合模式)➜~ 我下载了Eclipse4.3，在启动时我收到了一个错误

浏览 3提问于2015-07-02得票数 1

1回答

大数据( spark sql和spark数据帧连接)

apache-spark-sql、hiveql、apache-spark-dataset

我是大数据平台的新手。您能告诉我不同的方法:1)我们如何连接到spark for Spark sql? 2)我们如何连接到spark数据帧或数据集？如何连接到spark sql和spark数据帧或数据集？

浏览 13提问于2020-06-09得票数 0

1回答

Neo4j Spark连接器错误:在包组织中找不到import.org.neo4j.spark._对象neo4j

scala、apache-spark、neo4j

我让我的scala代码在我的mac上连接到Neo4j的spark中运行。context available as 'sc' (master = local[*], app id = local-1508360735468).^不确定我做错了什么，我像这样执行它： spark-shellneo时抛出了错误。不知道为什么这在我的windows box上不起

浏览 0提问于2017-10-19得票数 1

3回答

启动spark shell时出错

apache-spark

我刚刚下载了spark的最新版本，当我启动spark shell时，我得到了以下错误：<console>:10: error: not found: value sqlContext ^ 我是不是在设置

浏览 3提问于2015-07-05得票数 5

2回答

如何在Homebrew中找到Apache软件包的安装目录？

macos、apache-spark、homebrew

我用自制在我的mac上安装了火花。我正在寻找我安装它的目录。我试过搜索它，但运气不太好。这看起来不应该那么棘手。谁能告诉我，我需要在mac终端上运行什么，或者从shell中运行什么才能找到spark的安装目录？apache-spark: stable 2.3.2, HEADhttps://spark.apache.org/ /usr/localinstall_on_reques

浏览 0提问于2018-11-19得票数 7

回答已采纳

2回答

无法从spark查询配置单元表

hive、apache-spark

当我尝试创建一个新的配置单元表时，我得到了这个错误。

浏览 0提问于2015-02-12得票数 2

1回答

我不明白为什么scala spark的jupyter内核一直被中断

scala、apache-spark、jupyter-notebook、jupyter-lab

我曾经干净利落地安装了spylon内核，应该是在升级到干净的18.04版本之后。我正在努力让spylon内核正常工作。屏幕截图基本上是在启动时退出spark shell，正如您可以看到的"scala> :quit“，并且这种情况不断发生，无限地重复发生。 "argv": [ "/home/ops/Documents/spark

浏览 25提问于2020-06-09得票数 0

2回答

如何在火花壳上运行多个节点？

apache-spark

我一直在使用spark-submit在多节点系统上测试我的代码.(当然，我指定了主服务器地址作为主服务器地址，以实现多节点环境)。但是，我不想使用spark-submit，而是使用shell在集群系统上测试我的代码。但是，我不知道如何配置星火壳上的多节点集群设置？我认为只要使用火花壳而不改变任何设置，就会导致本地模式。

浏览 1提问于2017-02-01得票数 1

回答已采纳

13回答

SparkContext spark-shell初始化Mac时出错

apache-spark

我尝试在Mac OS Yosemite 10.10.5上启动spark 1.6.0 (spark-1.6.0-bin-hadoop2.4)，使用 import sqlContext.sqlexport SPARK_LOCAL_IP

浏览 1提问于2016-01-05得票数 92

点击加载更多