腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
6
回答
如何在Apache预构建版本
中
添加任何新
的
库(如
Spark
csv
)
python
、
apache-spark
、
apache-spark-sql
我已经构建了,并能够使用下面的命令使用同样
的
pyspark错误获取Traceback (most recent call last): File "<st
浏览 13
提问于2015-06-10
得票数 26
回答已采纳
2
回答
Spark
从
资源
文件夹
加载
jar
中
的
csv
文件
scala
、
apache-spark
我正在尝试创建一个运行在Scala上
的
Spark
应用程序,它读取位于src/main/resources目录
中
的
.
csv
文件
,并将其保存在本地hdfs实例上。当我在本地运行它时,一切都很有趣,但每当我将其捆绑为.
jar
文件
并将其部署到服务器上时,就会出现问题…… 这是我
的
代码,位于src/main/scala
中
,我
的
数据
文件
的</em
浏览 80
提问于2019-03-07
得票数 4
2
回答
在命令行上运行时,使用getResourceAsStream()列出
的
文件
为空
java
、
embedded-resource
我试图在应用程序
的
jar
文件
中
列出特定路径上
的
文件
。当我使用"mvn干净包“构建时,它可以工作,但是当我在命令行上运行"java -
jar
目标/myproject_1.0.
jar
”时,
文件
列表是空
的
。而且只有路径列表逻辑失败,因为代码示例末尾
的
回退代码(读取硬编码
的
xsd
文件
名)甚至可以在命令行上工作。另一个可能相关
的</em
浏览 2
提问于2017-10-10
得票数 1
回答已采纳
3
回答
使用星火应用程序内置Serde创建
的
查询蜂巢表
apache-spark
、
hive
、
hortonworks-data-platform
我使用Hortonwork
的
HDP 2.2部署了hadoop集群(
Spark
1.2.1和Hive 0.14)在应用程序
的
执行过程
中
,我没有发现任何
jar
,也
浏览 10
提问于2015-07-02
得票数 2
回答已采纳
3
回答
未获取架构WASB
的
FileSystem。Hdinsight Map Reduce
dictionary
、
hadoop
、
reduce
、
azure-hdinsight
我正在Azure HDInsight
中
运行一个简单
的
map reduce作业,下面是我们正在运行
的
命令: java -
jar
WordCount201.
jar
wasb://hexhadoopcluster-2019-05-15t07-01-07-193z@hexanikahdinsight.blob.core.windows.net/hexa/CustData.
csv
wasb://hexhadoopcluster
浏览 29
提问于2019-05-16
得票数 0
回答已采纳
4
回答
通过com.databricks.
spark
.
csv
加载
RStudio
rstudio
、
sparkr
我还安装了它
的
R软件包SparkR,我可以使用它通过火花-壳牌和通过RStudio,然而,有一个区别,我无法解决。./bin/sparkR --master local[7] --packages com.databricks:
spark
-
csv
_2.10:1.0.3flights<- read.df(sqlContext, "data/nycflights13.
csv
",
浏览 0
提问于2015-06-16
得票数 4
回答已采纳
1
回答
在我
的
应用程序
中
动态地
加载
com.databricks:星火-
csv
星火包
apache-spark
、
spark-csv
我需要动态地将com.
csv
星火包
加载
到我
的
应用程序
中
,使用
spark
提交,它可以工作 --packages com.databricks:
spark
-
csv
_2.11:1.4.0 target/scala-2.10/ra-etl_2.10-1
浏览 6
提问于2016-08-16
得票数 2
1
回答
bufferedReader只读取本地
csv
文件
java
、
bufferedreader
、
filereader
我是Java新手,我试图使用这个类返回"test.
csv
".This
的
内容,只有当我使用本地
文件
的
路径时才有效。\\test.
csv
"; BufferedReader wr = null;\test .
csv
“to”/.
csv
/test.
csv
解决方
浏览 5
提问于2017-09-21
得票数 0
回答已采纳
1
回答
针对
csv
错误发现
的
Apache多个源
scala
、
csv
、
apache-spark
、
apache-spark-sql
我正在尝试使用submit命令(我正在使用scala)运行
spark
程序,我指定了主入口、类名、带有所有依赖项
的
jar
文件
、输入
文件
,然后是输出
文件
,但是我有和错误: 线程“主”(org.apache.
spark
.sql.execution.datasources.v2.
csv
.CSVDataSourceV2,org.apache.
spark
.sql.execution.datasources.
csv
.CSVFile
浏览 5
提问于2021-01-03
得票数 1
1
回答
如何确保我
的
.
jar
正在从独立
文件
中
读取数据
java
、
csv
、
clojure
、
leiningen
我有一个在运行前需要读取
csv
文件
的
程序。这些数据位于我
的
clojure项目的一个
资源
文件夹
中
。程序运行得很好,当
从
"resources/data.cv"下载时,这会导致.
jar
不是独立
的
,而是需要
资源
文件夹
。如何确保在运行lein uberjar时也编译了这些
资源
我已经尝试过(
csv
/slurp-<em
浏览 0
提问于2015-07-21
得票数 3
3
回答
无法在
spark
2.2
中
使用SQLContext对象创建数据格式
scala
、
csv
、
apache-spark
、
apache-spark-sql
我在Microsoft 7上使用
spark
2.2 version。我希望在一个变量中
加载
csv
文件
,以便稍后执行与SQL相关
的
操作,但无法这样做。我引用了链接
中
接受
的
答案,但没有用。下面是创建SparkContext对象和SQLContext对象
的
步骤:import org.apache.
spark
.SparkConfval sc=Sp
浏览 4
提问于2017-12-25
得票数 2
回答已采纳
3
回答
如何使用scala将不同
的
文件
名传递给
spark
scala
、
apache-spark
、
hadoop
()} abc.
jar
然而,程序只是尝试
从
hdfs cluseter
的
根
文件夹
中
查找路径,并显示未找到异常
文件
。有没有人可以帮助我使用我提到
的
文件
路径
中</
浏览 2
提问于2021-09-29
得票数 0
1
回答
如何
从
单个目录
中
仅
加载
pyspark
spark
.read.
csv
中
的
首n个
文件
csv
、
pyspark
、
pyspark-sql
、
apache-spark-2.0
我有一个场景,我正在
加载
和处理4TB
的
数据,这是一个
文件夹
中大约15000个.
csv
文件
。
spark
.read.
csv
。我不能使用正则表达式,因为这些
文件
是<em
浏览 4
提问于2017-10-02
得票数 1
3
回答
如何将
csv
文件
加载
到RStudio上
的
SparkR
中
?
r
、
apache-spark
、
apache-spark-sql
、
sparkr
如何将
csv
文件
加载
到RStudio上
的
SparkR
中
?以下是我在RStudio上运行SparkR所必须执行
的
步骤。我已经用read.df读取了.
csv
,不知道还能怎么写。#Set sys environment variables Sys.setenv(
SPARK
_HOME = "C:/Users/Desktop/
spark
/
spark
-1.4.1-bin-hado
浏览 0
提问于2015-10-01
得票数 5
5
回答
运行星火提交时未能
加载
com.databricks.
spark
.
csv
scala
、
apache-spark
、
sbt
spark
-submit --class "SampleApp" --master local[2] target/scala-2.11/sample-project_2.11-1.0.
jar
libraryDependencies += "org.apache.
spark
" %% "
spark
-core" % "1.4.1" libra
浏览 3
提问于2016-03-11
得票数 3
回答已采纳
3
回答
在Pyspark
中
添加python外部库
pyspark
、
spark-submit
我使用
的
是pyspark (1.6),我想使用databricks:
spark
-
csv
库。为此,我尝试了不同
的
方法,但都没有成功pyspark --jars THE_NAME_OF_THE_
JAR
... 14 more 2秒方法:我从下载了一个库压缩
文件
浏览 1
提问于2017-05-19
得票数 2
2
回答
Spark
Dataset
加载
多个
CSV
文件
,如果所有
文件
中
的
标头不相同,则报告不匹配
hadoop
、
apache-spark
、
apache-spark-sql
、
apache-spark-dataset
、
apache-spark-2.0
我正在尝试使用
spark
2.1.0 API将多个
csv
文件
从
hdfs目录
加载
到
Spark
DataSet
中
:在"csvdatatest“
文件夹
中有多个
csv
文件
浏览 0
提问于2017-11-06
得票数 1
2
回答
tar + gz
文件
来自
文件夹
,因为它不需要放入所有子
文件夹
中
linux
、
tar
、
archive
我们希望tar.gz所有以下
的
jars
文件
2.6.4.0-91/
spark
2/jars/univocity-parsers-4.4.
jar
2.6.4.0-91/
浏览 0
提问于2018-09-06
得票数 0
回答已采纳
1
回答
对数据帧执行操作时出现
Spark
sqlContext异常
java
、
apache-spark
、
apache-spark-sql
当我对拼图
文件
进行计数时,我得到了下面的错误, java.lang.NoSuchMethodError: org.apache.parquet.schema.Types$MessageTypeBuilder.addFields:126) at org.apache.
spark
.rdd.RDD.iteratororg.apache.
spark
.rdd.RDD.computeOr
浏览 19
提问于2021-08-06
得票数 1
1
回答
将已删除
的
csv
文件
写入单个
文件夹
- Pyspark
python
、
dataframe
、
pyspark
、
apache-spark-sql
、
teradata
当在pyspark中使用partitionby()时,我应该采用什么方法来在一个
文件夹
而不是多个
文件夹
中
编写
csv
文件
?有什么建议吗?", "terajdbc4.
jar
")conf.set("
spark
.driver.extraClass
浏览 5
提问于2022-01-31
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MyBatis与Spring 整合
从问题了解Jetty类加载机制
如何在万亿级别规模的数据量上使用 Spark?
如何在万亿级别规模的数据量上使用Spark
以小白眼光观java世界
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券