腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8598)
视频
沙龙
1
回答
spark
submit
java.lang.IllegalArgumentException
:
无法
从
空
字符串
创建
路径
、
、
、
、
当我做
spark
提交时,我得到了这个错误。
java.lang.IllegalArgumentException
:
无法
从
空
字符串
创建
路径
我使用的是
spark
版本2.4.7 hadoop版本3.3.0智能hadoop版本jdk 8首先我得到类未找到错误select=INvideos.csv链接 错误: C:\
spark
\
spark
-2.4.7-bin-hadoop2.7\bin>
spark
-<em
浏览 246
提问于2021-05-04
得票数 1
回答已采纳
1
回答
spark
.read.parquet在Colab中不起作用
、
、
java.lang.RuntimeException: java.lang.ClassNotFoundException:找不到类org.apache.hadoop.fs.s3a.S3AFileSystem线程"main“
java.lang.Ill
浏览 0
提问于2018-07-18
得票数 0
2
回答
运行星火提交时出现FileNotFound错误
、
、
、
我试图在我的Hadoop集群上运行
spark
-
submit
命令,这里是我的Hadoop集群的总结:
spark
-
submit
--class org.apache.
spark
.examples.SparkPi $
SPARK
_HOME/examples在尝试使用sparkSession
创建</em
浏览 4
提问于2022-07-21
得票数 1
回答已采纳
2
回答
火花:
从
空
路径
的
路径
列表中读取数据帧
、
、
我试图
从
星星之火中的
路径
列表中加载数据。如果文件存在于上述所有
路径
中,则代码运行良好。如果至少有一条
路径
是
空
的,那么它就是抛出错误。构建一个包含所有
路径
的正则
字符串
。 。,因为我
无法
创建
一个正则表达式,以显示我必须读取的
路径
。第二种方法有效,但我觉得它会降低性能,因为它必须
从
所有的
路径<
浏览 0
提问于2018-09-04
得票数 1
回答已采纳
1
回答
当星火提交被调用时,我如何在运行时添加一个jar?
、
()
spark
._jvm.com.packagename.classname.FunctionName()import foo 我使用
spark
-
submit
test.py提交 TypeError:“JavaPackage”对象不可调用 但是,如果我立即发出相同的命令
spark
-
submit
test.py ..。我的假设是: 通过
浏览 2
提问于2020-05-09
得票数 0
回答已采纳
3
回答
在运行一个简单的twitter情感分析代码时,获取jar和java.lang.ClassNotFoundException并不存在
、
、
、
根据scala的books..the正确的目录结构,一切似乎都已经就绪,这是一个使用sbt程序集的胖jar,正确的
路径
,但是seems
无法
拾取jar文件,我也用它获得了一个ClassNotFoundException$.doRunMain$1(SparkSubmit.scala:166) at org.apache.
spark
.deploy.SparkSubmit$.
submit
(SparkSubmit.scala" %% "
spark
-core" % &qu
浏览 4
提问于2015-07-23
得票数 3
1
回答
本地microk8的Kubernetes集群上的
spark
-
submit
失败,错误为: java.security.cert.CertPathValidatorException
、
、
、
我正在尝试使用以下命令在我本地的microK8的Kubernetes集群上提交
spark
-pi示例: --master k8s://127.0.0.1local:///opt/
spark
/examples/jars/
spark
-examples_2.12-3.1.1.jar 不幸的是,我得到了这个错误,我
无法
浏览 6
提问于2021-04-01
得票数 0
4
回答
java.lang.IllegalArgumentException
:
路径
在毕加索中不能为
空
、
、
我正在加载图像
从
mysql DB使用毕加索到自定义列表视图。当直接传递URL时,图像正在加载,但当我将URL分配给
字符串
并传递它时,它会抛出异常,说明
路径
不能为
空
。String imageStringUrl = md.Image;我把毕加索写在下面。imageStringUrl)当我像这样传递时,我得到的是
java.lang.Ille
浏览 3
提问于2016-03-01
得票数 14
1
回答
如何在Apache
Spark
中添加配置单元支持?
、
、
,
创建
表格-
从
HDFS读取数据等等。但是,不能让
spark
在配置单元支持下运行。每当我运行val sparkSession = SparkSession.builder().appName("MyApp").enableHiveSupport().getOrCreate()时我是否需要构建支持h
浏览 0
提问于2019-07-31
得票数 0
1
回答
Spark
3.2.1获取不使用HBase的NewAPIHadoopRDD数据
、
、
、
、
下面是用于
从
HBase获取数据的示例代码片段。这在
Spark
3.1.2中很有效。但是,升级到
Spark
3.2.1之后,它就不能工作了,即返回的RDD不包含任何值。而且,它也没有抛出任何例外。软件版本:
Spark
: 3.2.1预置用户提供的Apache Scala: 2.12.10HBase: 2.4.9Hadoop: 2.10.1<code>F 210</code>
浏览 3
提问于2022-02-23
得票数 1
1
回答
在
Spark
中读取Excel时出错:类ZipArchiveInputStream的输入流未实现InputStreamStatistics
、
、
我正在尝试通过
spark
读取COS中的excel文件,如下所示 def readExcelData(filePath: String,
spark
: SparkSession): DataFrame= .format("com.crealytics.
spark
.excel") readExcelData(file,
浏览 142
提问于2019-10-03
得票数 0
2
回答
火花-提交java.lang.ClassNotFoundException
、
我试图以独立的模式执行
spark
submit
,我的项目在IntelliJIdea工具中编译成功,我还
创建
了相关的jar文件,但当我尝试运行以下内容时:
spark</e
浏览 3
提问于2016-05-05
得票数 2
回答已采纳
1
回答
从
字符串
格式的"gs“url
创建
防火墙存储引用
、
、
通过将引用本身转换为
字符串
,我在firebase数据库中存储了一个Firebase StorageReference,当我试图使用".getInstance“方法
从
它的
字符串
版本重新
创建
引用时,我在下面得到了错误错误:
java.lang.IllegalArgumentException
: The storage Uri cannot contain a path element.-25ad-3ffb-q422-22cca5e5596o 我尝试
从
gs
路径
浏览 5
提问于2020-08-26
得票数 1
回答已采纳
3
回答
使用常规Jupyter Notebook导入PySpark包
、
、
除了正确导入包之外,pyspark到底在做什么?是否可以使用常规的jupyter notebook,然后导入所需的内容?
浏览 6
提问于2016-02-29
得票数 2
3
回答
如何在cmd上提交
spark
申请
、
、
、
、
我有一个
Spark
应用程序,它是我最初使用maven (在windows上)
创建
的。我将我的maven项目转换为Eclipse项目,现在我正在通过Eclipse处理它。我使用
spark
-
submit
命令,如下所示: --class C:\Users\pc\Desktop\eclipse\myapp\src\main\javamyapp\Main.java \ C:\Users\pc\Desk
浏览 3
提问于2016-06-16
得票数 3
回答已采纳
3
回答
如何使用火花提交的包指定多个依赖项?
、
、
spark
-
submit
--class com.biz.test \ org.apache.
spark
:
spark
-streaming-kafka/test-
spark
_2.10-1.0.8.jar \作业
无法
从
以下错误开始: Exception in thread &q
浏览 9
提问于2015-11-25
得票数 27
回答已采纳
1
回答
spark
submit
应用程序中的Scala ScriptEngine问题
、
、
、
、
整个应用程序以
spark
-
submit
应用程序的形式运行,我使用ScriptEngine引擎来编译用Scala语言编写的DSL。每个测试在SBT和IntelliJ中都能正常工作。但是在执行
spark
-
submit
时,我的fat-jar中可用的类型不能在脚本中导入。我初始化脚本引擎如下所示。loader: ClassLoader = Thread.currentThread().getContextClassLoader这似乎是
spark
浏览 45
提问于2018-08-07
得票数 2
1
回答
Spark
read avro
、
val df =
spark
.read.avro(file)尝试手动
创建
架构,但现在遇到以下问题$IncompatibleSchemaException:
无法
将Avro架构转换为催化剂类型,因为
路径
处的架构不兼容(avroType = StructType(StructField(value,StringType,true)),sqlType =<e
浏览 0
提问于2018-06-15
得票数 1
2
回答
禁用bash脚本输入参数替换
、
、
/
spark
_
submit
.sh ${
SPARK
_HOME}/bin/
spark
-
submit
--master yarn --deploy-mode cluster --conf
spark
.yarn.historyServer.address我找不到办法阻止巴什解决 ${hadoopconf-yarn.Re
浏览 1
提问于2018-05-17
得票数 0
回答已采纳
1
回答
Spark
从
s3读取数据:如何为
Spark
上下文正确配置"fs.s3a.multipart.size“?
、
、
我正在
创建
一个
Spark
作业来
从
AWS3服务器读取数据。这是
创建
和配置
Spark
Session和
Spark
Context的代码:
spark
_context =
spark
.sparkContext
spark
_context._jsc.hadoopConf
浏览 2
提问于2021-04-01
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在CDH集群上部署Python3运行环境及运行Python作业
【云原生】Spark on k8s 讲解与实战操作
SparkStreaming-1
Jupyter在美团民宿的应用实践
Spark SQL,DataFrames 以及 Datasets 编程指南
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券