我已经使用Databricks-cli成功地设置了它们。我现在正尝试在我的spark jar (用scala编写)中使用它们。然而，它需要在本地编译，并在ci/cd管道中进行编译，才能被实时推送。但是，我找不到dbutils位于哪个包中。
浏览 43提问于2019-02-07得票数 0
我试图在Shell中使用twitterUtils (默认情况下它们是不可用的)。我在spark-env.sh中添加了以下内容我现在可以执行
impo
浏览 7提问于2014-08-01得票数 9
回答已采纳
我有一组JAR，我想要提供给我的Spark作业，存储在HDFS上。Spark2.3的文档中说spark.jars就是这样的参数：
spark.jars: Comma-separated list of jars to include on the driver and但是，将spark.jars设置为hdfs:///path/to/my/libs/*.jar失败:驱动程序启动正常，启
浏览 0提问于2018-05-08得票数 9
我想知道如何在scala中执行以下操作？
编写SQL查询，如SELECT、UPDATE等，以修改数据库中的表。我知道如何使用scala来实现它，但是如何在打包时将psql scala的连接器jar导入sbt？
浏览 0提问于2014-07-23得票数 40
回答已采纳
我在一个spring引导应用程序中创建了jar绑定，在这个应用程序中，我创建了火花会话来执行一些操作。/spark-launcher_2.11-2.3.0.jarBOOT-INF/lib/leveldbjni-all-/lib/spark-network-shuffle_2.11-2.3.0.<em
浏览 0提问于2019-04-18得票数 2
4回答
我尝试过使用-驱动程序类路径和-jars来提交火花-提交，并且尝试了这个方法。如何在命令行中使用SPARK_CLASSPATH，如Found both spark.executor.extraClassPath and SPARK_C
浏览 10提问于2016-05-10得票数 1
回答已采纳
我正在通过胖客户端连接到apache phoenix，并且已经提供了phoenix-client.jar to --files，但是executor仍然无法找到驱动程序。
浏览 19提问于2019-08-04得票数 0
我正在尝试使用jar运行Spark Java示例。仅对于sparkPi示例，可以使用该命令。如何使用jar在spark中运行其他Java示例，如HdfsLR、Logquery、Pagerank、Statustrackerdemo、javaTC。
浏览 1提问于2015-06-12得票数 0
1回答
spark-de.jar使用其他jar文件作为库。假设运行spark-de.jar需要lib1.jar和lib2.jar，如何在Ant的以下Java任务中设置它们？sparkDemo.SparkTest" failonerror="true"> <pathelement location="
浏览 1提问于2014-12-02得票数 0
回答已采纳
我想看看我的spark上下文正在使用的jars。-jar-with-dependencies.jar --packages elsevierlabs-os:spark-xml-utils:1.6.0
spark://datasci:42661/jars/org.apache.commons_commo
浏览 2提问于2019-07-16得票数 6
" % "spark-core_2.10" % "1.2.1"
应用程序使用sbt包进行编译，没有任何错误，但是当我使用spark运行应用程序时，我会得
浏览 1提问于2015-03-06得票数 0
回答已采纳
health").show(); System.out.println("table not found");我正在使用星火2.1.0和Hive 1.2.1我无法运行，因
浏览 2提问于2017-03-04得票数 1
回答已采纳
我正在使用一个集群，它不是由我自己管理的。Tensorflow库未安装在任何群集节点上。但是我想使用tensorflow包来运行一些Spark程序。我不确定是否可以简单地使用spark-submit --packages来跨集群节点广播tensorflow包。
浏览 1提问于2016-11-06得票数 1
我一直在使用Eclipse开发一个应用程序，并且正在使用sbt在本地运行它。现在我想使用jar在亚马逊网络服务上部署应用程序，但当我尝试使用sbt的命令package时，它会创建一个没有所有依赖项的jar，所以当我将其上传到亚马逊网络服务上时，它将无法工作，因为缺少Scala。有没有办法用SBT创建一个uber-jar？我在AWS上部署Spark是不是做错了什么？
浏览 1提问于2014-05-30得票数 1
1回答
我们的应用程序的hadoop集群安装了Spark1.5。但是由于特定的需求，我们使用2.0.2版本开发了spark job。当我向yarn提交作业时，我使用--jars命令覆盖集群中的spark库。但它仍然没有选择scala库jar。:704) --jars test.jar,spark-core
浏览 3提问于2016-12-16得票数 2
9回答
我正在尝试运行一个spark程序，其中我有多个jar文件，如果我只有一个jar文件，我就无法运行。我想添加位于相同位置的两个jar文件。我已经尝试了下面的代码，但它显示了一个依赖错误 --class "max" maxjar.jar Book1.csv test \
--driver-class-path/usr/lib/spark/assembly/lib&#x
浏览 88提问于2015-03-17得票数 44
回答已采纳
我想调用java中的星火jar (在纱线上运行spark进程)，并尝试使用这个代码。java端是否能够知道如何解决火花jar过程，或者它是否已经完成？如果是，怎么做？
浏览 0提问于2016-12-13得票数 2
回答已采纳
os.environ.get("PYSPARK_SUBMIT_ARGS", "--master yarn-client --conf spark.yarn.executor.memoryOverhead=6144 \ driver='co
浏览 0提问于2017-10-30得票数 3
我使用java8和spark 2.4.1编写我的火花作业，其中我使用TypeSafe加载属性文件，即位于"resources“文件夹中的application.properties，其内容如下所示dev.spark.eventLog.enabled=truedev.spark.executor.memory=8g
浏览 2提问于2019-07-31得票数 0
有很好的例子可以使用它，，但是在火花壳上“. createDF不是org.apache.spark.sql.SparkSession的成员”。
编辑:对不起，这是一个外部库。问题中的一点变化：如何在Spark会话中导入Github库？
浏览 1提问于2019-10-02得票数 2
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
