安装星火似乎有两种方法。
通过从,下载预构建的火花版本(例如spark-2.4.5-bin-hadoop2.7.tgz)来安装火花时
- do I need to additionally install `java` command, by installing JRE?
- Do I need to additionally install java compiler `javac` by installing JDK?
- Do I need to additionally install scala compiler? (I guess no, because I sa
在windows中尝试spark-shell时出现以下异常。真的需要互联网才能工作吗?
C:\Users\hadoop>spark-shell
2018-09-27 06:50:30 WARN Utils:66 - Your hostname, hadoop-8XUGY resolves to a loopback address: 127.0.0.1; using 2001:420:5249:1300:3514:e670:fb36:49f1 instead (on interface wlan2)
2018-09-27 06:50:30 WARN Utils:66 - Set SP
我刚刚下载了对接器映像,以建立一个包含两个工作节点的星火集群。集群已经启动并正在运行,但是我想将scala文件提交到这个集群中。我无法在此启动spark-shell。
当我使用另一个码头映像时,我可以使用spark-shell启动它。请有人解释一下,如果我需要在映像中分别安装scala,还是有不同的启动方式?
更新
下面是错误bash: spark:命令command
bash: spark-shell: command not found
root@a7b0682ff17d:/opt/spark# ls /home/shangupta/Scripts/
ProfileData.json
我在我的hortonworks集群上安装了Spark1.6.2和Spark2.0。
这两个版本都安装在由5个节点组成的Hadoop集群的一个节点上。
每次启动spark-shell时,我都会得到:
$ spark-shell
Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set
Spark1 will be picked by default
当我查看版本时,我得到:
scala> sc.version
res0: String = 1.6.2
如何启动另一个版本(Spark2.0的火花外壳
运行基本df.show()后火花笔记本安装
当我在星火笔记本上运行scala火花代码时,我会得到以下错误。知道这是什么时候发生的吗?如何避免?
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org.apache.spark.sql.catalyst.expressions.Object on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting
我正在尝试运行一个简单的程序,在scala中用火花来计数单词。我已经在linux中自己完成了所有的安装,并且我无法执行它,因为我有以下错误:
java.lang.ClassNotFoundException: scala.Function0
at sbt.internal.inc.classpath.ClasspathFilter.loadClass(ClassLoaders.scala:74)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
我刚刚安装了Scala和Spark。我在spark shell上运行了以下代码 scala> val data = Array(1,2,3,4,5)
scala> val rdd1 = sc.parallelize(data)
scala> rdd1.collect() 它返回以下错误消息 java.lang.IllegalArgumentException: Unsupported class file major version 58
at org.apache.xbean.asm6.ClassReader.<init>(ClassReader.java:1
我有一个shell脚本,其中包含使用oozie操作运行的星火提交命令。
Oozie能够从shell脚本运行submit命令,但是作业在纱线中部署时失败了。
我们非常感谢你的帮助。
在NullPointerException下面抛出职务:
Exception in thread "main" java.lang.NullPointerException
at scala.collection.mutable.ArrayOps$ofRef$.length$extension(ArrayOps.scala:114)
at scala.collection.mutabl
我使用的是com.databricks.spark.avro。当我在spark-shell中运行它时,就像这样:spark-shell --jar spark-avro_2.11-4.0.0.jar,我可以通过这样的方式读取文件:
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val avroInput = sqlContext.read.format("com.databricks.spark.avro").load(inputPath)
avroInput.write.f
我想使用shell脚本进入火花壳程序,然后执行以下命令
cat abc.sh
spark-shell
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlcontext.read.json("/file/path")
我可以进入星际争霸scala,但是下面两个命令没有运行。
否则,请告诉我如何使用shell脚本在scala中自动运行星火命令序列。
我在unix cli中运行scala_script.scala,得到的错误是:enycription key missing,而同样的scala代码在spark-shell中运行良好。
代码用于访问配置单元表,将其加载到dataframe中,处理一些转换,然后再次执行:write.mode("append/overwrite").saveAsTable("my_db.my_table")。代码为:
import org.apache.spark.sql.hive.HiveContext;
val hc = new org.apache.spark.sql.hiv