腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Spark
2.0
CSV
错误
csv
、
apache-spark
、
apache-spark-2.0
、
databricks
我正在从
1.6
升级到
spark
2,在
读取
CSV
文件
时遇到问题。在
spark
1.6
中,我会在
CSV
文件
中
读取
类似这样的内容。val df = sqlContext.read.format("com.databricks.
spark
.
csv
").load(fileNam
浏览 73
提问于2017-01-19
得票数 0
3
回答
spark
-shell中未加载
CSV
格式
scala
、
csv
、
dataframe
、
apache-spark
、
spark-csv
使用
spark
1.6
,我尝试了以下代码:它导致了这个错误 error: not found: value <e
浏览 6
提问于2020-04-29
得票数 1
2
回答
Csv
文件
读取
spark
1.6
apache-spark
我的
csv
文件
看起来 123456 Count-21 它有头部(123456)和尾部(计数-21)我试着用
spark
1.6
创建了
spark
context并阅读 Val df =
spark
.read.option("com.databrics.
csv
").option("header",false). option("
浏览 17
提问于2019-09-09
得票数 0
3
回答
Apache中的SBT -星图帧
scala
、
apache-spark
、
sbt
、
graphframes
我有下面的SBT
文件
,我正在使用Apache GraphFrame编译Scala代码,并
读取
CSV
文件
。" %% "
spark
-core" % "1.6.1", "org.apache.
spark
" %% &
浏览 5
提问于2016-12-12
得票数 3
回答已采纳
1
回答
在火花中
读取
csv
时防止分隔符碰撞
scala
、
apache-spark
、
spark-dataframe
、
rdd
、
spark-csv
我正在尝试使用
CSV
数据集创建一个RDD。 collisionsCase.take(5) 如何在此字段中捕获,而不将其视为
CSV
浏览 4
提问于2017-12-03
得票数 2
回答已采纳
2
回答
如何在
spark
中
读取
带有多个分隔符的
CSV
文件
apache-spark
、
apache-spark-sql
我正在尝试使用
spark
1.6
读取
CSV
文件
s.no|Name$id|designation|salry .option("header","true") .load("p
浏览 148
提问于2020-04-06
得票数 1
1
回答
如何将pyspark dataframe写入HDFS,然后如何将其读回dataframe?
python
、
hadoop
、
pyspark
、
hdfs
、
spark-dataframe
我有一个非常大的pyspark数据帧。所以我想对它的子集执行预处理,然后将它们存储到hdfs中。稍后,我想把它们全部读完并合并在一起。谢谢。
浏览 18
提问于2017-06-01
得票数 14
回答已采纳
1
回答
Spark
2.0:绝对URI中的相对路径(火花-仓库)
windows
、
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-sql
我正试图从
Spark
1.6.1迁移到
Spark
2.0.0,并且在试图将
csv
文件
读取
到SparkSQL时出现了一个奇怪的错误。以前,当我从本地磁盘上
读取
一个
文件
时,我会这样做:df = sqlContext.read \在最新的版本中,我认为应该是这样的:
Sp
浏览 2
提问于2016-07-30
得票数 16
回答已采纳
1
回答
JavaSpark
1.6
CSV
文件
java
、
csv
、
apache-spark
我使用
spark
1.6
读取
csv
文件
,为java编写代码 JavaSparkContext jsc = new JavaSparkContext("local","Java
Spark
sqlCont
浏览 0
提问于2018-07-10
得票数 0
回答已采纳
3
回答
在
spark
1.6
中将
csv
读取
为数据帧
scala
、
apache-spark
我使用的是
Spark
1.6
,正在尝试将
csv
(或tsv)
文件
读取
为数据帧。以下是我采取的步骤:scala> import sqlContext.implicits._scala> .format("com.databricks.
spark
.
浏览 12
提问于2016-07-27
得票数 2
2
回答
metastore_db不是用Windows7中的ApacheSpark2.2.1创建的
scala
、
csv
、
apache-spark
、
apache-spark-sql
我希望使用最新的Apache
Spark
Version i.e 2.2.1在Windows 7 via cmd中
读取
CSV
文件
,但由于metastore_db存在一些问题而无法
读取
。我尝试了以下步骤: 2. val
浏览 0
提问于2017-12-29
得票数 3
回答已采纳
3
回答
PySpark序列化EOFError
python
、
apache-spark
、
pyspark
、
apache-spark-1.6
我正在以火花DataFrame的形式
读取
CSV
,并在其上执行机器学习操作。我一直得到一个Python序列化EOFError --知道为什么吗?我认为这可能是内存问题--即
文件
超出了可用内存--但大幅减少DataFrame的大小并没有防止EOF错误。sqlContext = SQLContext(sc) df = sqlContext.read.format('com.databricks.
spark</e
浏览 5
提问于2016-04-12
得票数 34
2
回答
如何在不使用RDDs的情况下将文本(.txt)
文件
写入数据帧并在控制台上打印
scala
、
apache-spark
我想要将一个.txt
文件
写入数据帧并在控制台上打印它def txtreader():DataFrame={ <code
浏览 20
提问于2019-08-22
得票数 0
回答已采纳
1
回答
“格式()”在火花放电中加载数据时做什么
apache-spark
、
pyspark
我开始使用
spark
,通常在从云中加载数据时,我会看到以下代码我的问题如下:这里我们似乎有两个数据集:一个是com.databricks.
spark
.<em
浏览 0
提问于2017-03-06
得票数 0
1
回答
在
spark
1.6
中
读取
逗号分隔的文本
文件
scala
、
apache-spark
我有一个类似于下面的文本
文件
20190920 258063464,6754,MM777,789,9461,895,N,5 我使用scala的
spark
1.6
来
读取
这个文本
文件
val df = sqlcontext.read.option("com.databricks.
spark
.
csv
&quo
浏览 35
提问于2019-09-20
得票数 1
2
回答
Spark
2.0
读取
csv
分区数(PySpark)
csv
、
apache-spark
、
pyspark
我正在尝试使用
Spark
2.0中的新东西将一些代码从
Spark
1.6
移植到
Spark
2.0。首先,我想使用
Spark
2.0的
csv
阅读器。顺便说一句,我用的是pyspark。例如:header = file.first() #extract header=header) #
csv</em
浏览 0
提问于2016-07-01
得票数 5
回答已采纳
1
回答
如何将星火rdd保存到
csv
文件
中
node.js
、
csv
我需要检索cassandra表数据并将其保存到
文件
系统(linux
文件
系统)。我们有四个节点(datastax) cassandra集群运行火花模式。需要在一个节点中保存到本地
文件
系统(linux)。 我跟踪了一些博客,但没有起作用。能找个向导来解决这个问题吗?
浏览 6
提问于2017-10-24
得票数 1
2
回答
为什么sqlContext.read.load和sqlContext.read.text有区别?
apache-spark
、
pyspark
、
apache-spark-sql
、
spark-csv
我只是尝试将一个文本
文件
读入一个pyspark,并且注意到sqlContext.read.load和sqlContext.read.text之间的巨大差异。bucket-name/file_name' : java.lang.ClassNotFoundException: Failed to
浏览 8
提问于2017-12-05
得票数 5
1
回答
如何将s3/Hdfs中的
文件
附加到中的电子邮件?
java
、
scala
、
email
我必须导出一个火花DataFrame到
文件
(无论是在S3/HDFS),然后发送
文件
作为电子邮件附件。 messageBodyPart = new MimeBodyPart() val
浏览 0
提问于2018-04-08
得票数 0
回答已采纳
1
回答
可以使用相同的代码
读取
csv
或parquet
文件
。
apache-spark
、
pyspark
、
apache-spark-sql
是否有人知道是否可以使用相同的代码将
csv
或拼花
文件
读入火花中。
spark
.read().schema(schema).load(path);file.
csv
is not a Parquet file.
浏览 5
提问于2020-08-09
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
用PHP读取Excel、CSV文件
使用python 打开并读取 csv 文件
Python读取csv文件错误解决方法
python如何读取CSV文件中的特定行数据
Spark核心编程RDD分区器以及文件读取与保存
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券