腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
文件名
作为
参数
的
Spark
Scala
读取
Excel
文件
时
出错
excel
、
scala
、
apache-spark
有人能帮我用
Spark
Scala
Read API
读取
excel
文件
吗?我尝试
使用
Databricks Runtime6.5和6.6 (Apache
Spark
2.4.5,
Scala
2.11)将com.crealytics:
spark
-
excel
_2.11:0.13.1(从Maven)安装到集群,但只有在对
文件
路径进行硬编码
的
情况下才能正常工作。val df =
spa
浏览 50
提问于2020-07-29
得票数 0
1
回答
无法从azure blob存储容器中
读取
xlsx
文件
到pyspark数据帧
apache-spark
、
pyspark
、
azure-blob-storage
、
databricks
、
azure-databricks
我正在尝试将数据从Azure存储容器加载到Azure Databricks中
的
Pyspark数据框架。当我
读取
txt或CSV
文件
时
,它正在工作。但是,当我试图
读取
.xlsx
文件
时
,我会得到以下问题。ApacheSpark3.2.0,
Scala
2.12
spark
.conf.set("fs.azure.account.key.teststorage.blob.core.windows.
浏览 11
提问于2022-05-12
得票数 0
1
回答
从我
的
Azure Blob存储中获取
Excel
数据
时
发生
的
数据库火花放电错误
pyspark
、
azure-databricks
我想
使用
Databrick在Blob存储Azure Gen2中
读取
一个包含多个工作表
的
excel
文件
。我已经安装了maven包。下面是我
的
代码:.option("header", "true") \.option("m
浏览 11
提问于2021-12-08
得票数 1
回答已采纳
1
回答
在databricks中
Excel
文件
是我
的
源
文件
时
如何创建数据框
scala
、
apache-spark
、
spark-excel
我有一个
Excel
文件
作为
源
文件
,我想从
Excel
文件
中
读取
数据,并
使用
数据库在DataFrame中转换数据。我是
Scala
的
新手。val df =
spark
.read.format("com.crealytics.
spark
.
excel
") .option("location", "/FileStor
浏览 6
提问于2019-05-07
得票数 0
2
回答
用apache
读取
excel
文件
scala
、
apache-spark
、
apache-spark-sql
、
spark-excel
(阿帕奇星火公司
的
新产品)
Spark
v3.0 Maven配置是: <dependency>(DefaultSource.
scala
:28
浏览 8
提问于2020-07-08
得票数 0
回答已采纳
2
回答
如何将变量
参数
传递给我
的
scala
程序?
scala
、
apache-spark
我是
scala
spark
的
新手。这里我有一个单词计数程序,其中我将输入
文件
作为
参数
传递,而不是硬编码并
读取
它。我不知道如何将
文件名
(在代码中)
作为
参数
传递到我
的
主类中import org.apache.
spark
.SparkConf importword,1)).reduceByKey(
浏览 15
提问于2019-07-28
得票数 0
2
回答
从本地
文件
中
读取
星火流给NullPointerException
apache-spark
、
nullpointerexception
、
spark-streaming
使用
Spark
2.2.0在OS高级塞拉利昂。我正在运行一个
Spark
流应用程序来
读取
本地
文件
:java.lang.NullPointerException at
scala
.collection
浏览 1
提问于2018-03-14
得票数 3
回答已采纳
2
回答
spark
.read.
excel
-
使用
自定义架构
时
不
读取
所有
Excel
行
excel
、
scala
、
apache-spark
、
apache-spark-sql
、
schema
我正在尝试从一个'
excel
‘
文件
中
读取
一个火花DataFrame。我利用了克赖克主义
的
依赖性。 没有任何预定义
的
架构,所有行都将正确
读取
,但仅
作为
字符串类型列
读取
。为了防止这种情况,我
使用
了自己
的
模式(其中我提到了某些列为Integer类型),但在本例中,大多数行在
读取
文件
时
都会删除。Build.sbt中
使用
的
库依赖
浏览 6
提问于2021-12-31
得票数 0
1
回答
尝试通过com.crealytics.
spark
.
excel
读取
excel
文件
时
出现
scala
.MatchError
excel
、
apache-spark
、
spark-excel
我正在尝试通过com.crealytics.
spark
.
excel
读取
excel
文件
。但在尝试运行我
的
代码
时
,我遇到了以下错误:
scala
.MatchError: Map(treatemptyvaluesasnulls -> true, location -> a.xlsx, useheader-> true, inferschema -> False, addcolorcolumns -> False) (of cla
浏览 257
提问于2019-09-17
得票数 0
2
回答
如何传递一组输入
文件
(而不是目录)来激发作业并在这些
文件
的
基础上创建数据
scala
、
dataframe
、
apache-spark
我想传递一组avro
文件
作为
输入,以激发作业,并在这些
文件
之上创建dataframe。(我不想将
文件
放在目录中并将目录
作为
输入传递)。但是,当我试图运行星火
浏览 4
提问于2019-09-28
得票数 0
回答已采纳
1
回答
如何将
Spark
添加到PySpark中
apache-spark
、
apache-spark-sql
我试图将xlsx
读取
到PySpark,并尝试以多种方式导入
Spark
库,但在
读取
xlsx
文件
时
仍然会出现错误。我在我
的
Mac上
使用
了
Spark
的
独立模式。我
的
代码:
spark
_path = "/
spark
/
spark
-3.0.1-bin-hadoop2.7" f
浏览 6
提问于2021-03-04
得票数 0
回答已采纳
1
回答
PathNotFound错误消息: openFileForRead必须与
文件
而不是目录一起
使用
python
、
apache-spark
、
pyspark
、
databricks
、
azure-databricks
我
使用
下面的代码来
使用
读取
excel
文件
: .read \ .optionoption("inferSchema", "true") \ .load(sSourcePath)#.withColumn("SourceFile",F.input_
浏览 4
提问于2021-09-06
得票数 2
回答已采纳
1
回答
由于依赖问题,无法
使用
spark
-
excel
导出数据帧
excel
、
scala
、
dataframe
、
apache-spark-sql
、
sbt
我想
使用
spark
-
excel
库将数据框导出到
Excel
文件
。我可以运行
Spark
作业,指定要与
参数
一起
使用
的
依赖项,但我希望它只
使用
sbt
文件
来打包应用程序(我知道它应该是几乎相同
的
东西)。-2.11/metrologie_2.11-0.1.jar 当
使用
此方法
时
,它不起作用。下面是我如何
使用
--package运行它
浏览 0
提问于2019-08-27
得票数 2
2
回答
在
spark
scala
函数中将List
作为
参数
传递会导致错误
scala
、
apache-spark
我有一个
spark
scala
udf,它接受一个
参数
作为
dataframe
的
列,另一个
参数
作为
列表,但当我运行该函数
时
,它抛
出错
误,指向列表
参数
为我正在运行udf,
参数
如下: udf_name($"column_name"
浏览 2
提问于2018-08-19
得票数 0
1
回答
火花- hadoop论点
scala
、
hadoop
、
apache-spark
、
hdfs
我同时运行hadoop和S火星,我想
使用
来自hdfs
的
文件
作为
火花提交
的
一个
参数
,所以我在hdfs中创建了一个
文件
夹--例如。/user/hduser/test/input,我想运行
spark
提交如下: $
SPARK
_HOME/bin/
spark
-submit --master
spark
://admin:7077 .&
浏览 2
提问于2017-08-09
得票数 0
1
回答
如何以Dataproc作业
的
形式运行未编译
的
Scala
/shell代码?
scala
、
apache-spark
、
google-cloud-dataproc
通常情况下,如果我将
Scala
用于
Spark
作业,我将编译一个jarfile并
使用
gcloud dataproc jobs submit
spark
提交它,但有时对于非常轻量级
的
作业,我可能在笔记本中
使用
未编译
的
Scala
代码,或者
使用
spark
-shell REPL,在这里我假设SparkContext已经可用。对于其中
的
一些轻量级用例,我可以等效地
使用
PySpark并与gclo
浏览 2
提问于2020-03-08
得票数 5
回答已采纳
1
回答
用于
excel
文件
的
google集群中
的
NoSuchMethodError
pyspark
、
google-cloud-dataproc
当在dataproc集群中
使用
Excel
文件
时
,会得到错误
的
java.lang.NoSuchMethodError。 py4j.protocol.Py4JJavaError:调用o74.howString
时
出错
。::
scala
.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mut
浏览 9
提问于2022-09-29
得票数 2
2
回答
Spark
:如何在Eclipse IDE开发中提供"--properties-file“选项
eclipse
、
apache-spark
、
spark-streaming
我
使用
Eclipse开发我
的
spark
应用程序,当从命令行运行时,我
使用
如下命令:谢谢Alok
浏览 0
提问于2016-03-28
得票数 0
1
回答
RDD遍历中
的
Spark
&
Scala
- NullPointerException
scala
、
apache-spark
、
rdd
我有许多CSV
文件
,需要通过
文件名
的
一部分将它们合并到RDD中。_2.csv 20140201_1.csv 20140201_3.csv 我需要将名为20140101*.csv
的
文件
组合到一个RDD中来处理,等等。我
使用
sc.wholeTextFiles
读取
整个目录,然后根据
文件名
的
模式对
文件名
进行分组,以形成一个
文件名
字符串。然后,我将字符串传递给sc.textFile,将
文件</e
浏览 3
提问于2015-07-21
得票数 0
回答已采纳
2
回答
textFile中
的
defaultMinPartitions
apache-spark
我最近开始在纱线上
使用
spark
,在调优我
的
程序时发现了一个问题。当SparkContext被初始化为sc并准备从hdfs
读取
文本
文件
时
,将调用textFile(path, defaultMinPartitions)方法。我跟踪了
spark
源代码中
的
第二个
参数
,最终找到了这个
参数
:CoarseGrainedSchedulerBackend.
scala
中
的
conf.getInt(&q
浏览 2
提问于2014-07-22
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark-2
Spark MLlib 入门学习笔记-编程环境配置
Scala对于大数据开发重要吗?Scala基础学习建议
Spark1.6官方文档译文系列一
机器学习实践:如何将Spark与Python结合?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券