我在努力学习斯派克斯卡拉。我能够在Eclipse中开发和运行它们。我想使用VSCode,在谷歌了一段时间之后,我找不到任何合适的帖子来解释如何设置sbt文件并运行。我还遇到了一个名为"Metals“的新插件,用于VSCode构建Scala代码,但也没有合适的材料可供实现。如果有人能帮助我或指导我到任何岗位来达到我的目标,请请求。
谢谢我
发布于 2020-05-14 20:13:15
首先,必须在项目文件夹中创建一个build.sbt
文件,其内容最少,如下所示:
name := "Simple Project"
version := "1.0"
scalaVersion := "2.12.10"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.0.0-preview2"
保存文件后,如果从VS代码打开此文件夹,则应看到以下消息:
单击Import,您应该都设置好了。
如果您有问题(如缺少库),金属应该将其记录到其输出窗口。
如果对话框没有弹出,请转到控制台并手动发出sbt package
以确保您的环境设置正确。
要运行代码,只需按^F5。它将创建一个默认的launch.json
文件,您可以在该文件中指定构建目标。任何其他东西,如语法高亮、格式化和代码检查,都将立即生效。
如果您想在本地运行Spark代码,只需将.config("spark.master", "local")
添加到SparkConfig
中即可。
发布于 2022-11-23 21:33:43
而不是传递主url硬编码,您可以使用jvmOptions在launch.json中传递主url轮执行火花作业。
"jvmOptions": ["-Dspark.master=local[*]"]
https://stackoverflow.com/questions/58107034
复制相似问题