腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
用户
定义
的
标题
将
数据
从
Spark
Dataframe
导
出到
CSV
pyspark
、
coalesce
我正在通过
Spark
SQL读取Hive表,并将其存储在
Spark
Dataframe
中。然后,我
使用
coalesce命令
将
数据
从
数据
框导
出到
CSV
&这是成功
的
。唯一
的
问题是,我想让
CSV
标题
包含一些容易理解
的
单词,但它仅仅是列名。 有没有办法让我
的
CSV
头自
定义
?
浏览 46
提问于2021-10-28
得票数 0
1
回答
如何
使用
Spark
Dataframes
将
C*中行导出为
CSV
文件
csv
、
apache-spark
、
dataframe
、
cassandra
、
spark-cassandra-connector
我需要定期
将
C*表中
的
行存档/冷存储到
CSV
。例如:
将
C*表my_table中2016年1-6月
的
行导
出到
CSV
my_table.2016_06-30.
csv
,
将
my_table中2016年7-12月
的
行导
出到
my_table.2016-12-31有人建议我
使用
Spark
Dataframe
来做这件事(所以我可以
从
<
浏览 0
提问于2017-09-02
得票数 2
1
回答
将
spark
数据
帧导
出到
带有标头和特定文件名
的
.
csv
python
、
apache-spark
、
pyspark
、
export-to-csv
、
databricks
我正在尝试
将
数据
从
spark
dataframe
导
出到
.
csv
文件: .write\ .save(output_path) 它正在创建名为"part-r-00001-512872f2-9b51-46c
浏览 6
提问于2018-02-07
得票数 12
6
回答
用一个头合并火花输出
CSV
文件
scala
、
csv
、
hadoop
、
apache-spark
我希望在AWS中创建一个
数据
处理管道,以便最终将处理过
的
数据
用于机器学习。如果我
使用</em
浏览 11
提问于2016-06-27
得票数 29
4
回答
如何
将
DataFrame
导
出到
Scala中
的
csv
?
scala
、
csv
、
apache-spark
如何
使用
Scala
将
Spark
的
DataFrame
导
出到
csv
文件?
浏览 5
提问于2015-09-11
得票数 11
回答已采纳
1
回答
Spark
(Databricks)来自SQL
的
非托管表不处理标头
sql
、
apache-spark
、
databricks
正在尝试
使用
SQL API
从
CSV
文件在
Spark
(Databricks)中创建非托管表。但是第一行没有被用作
标题
。 图2显示了
使用
Dataframe
API创建非托管表时第一行是正确
的
。该
Dataframe
是
从
同一
csv
文件加载
的
。 但是,图1显示,
从
SQL中
的
CSV
文件
数据
源创建非托管表时,不会将第一行作
浏览 26
提问于2021-07-15
得票数 1
回答已采纳
1
回答
使用
scala在
spark
中为
csv
文件
定义
模式时出错
scala
、
apache-spark
我试图在Scala中
使用
case class
将
模式
定义
为
CSV
文件。file =
spark
.read.option("inferSchema", false).option("header", false).
csv
("D:\\wSapce\\User.
csv
").toDF(colNames:_*).as(userSchema) 但在最后一行(对于值文件),我得到
的
编译时错误如下: ov
浏览 1
提问于2018-09-24
得票数 0
回答已采纳
1
回答
Schema文件
定义
java
、
apache-spark
、
schema
、
parquet
我有一个简单
的
火花应用程序,目的是读取分隔文本文件,并将它们保存为拼花格式。到目前为止,我已经看过
的
示例要么是
从
标题
行推断模式,要么是在代码本身中
定义
模式。如何才能做到这一点?import org.apache.
spark
.SparkConf; import org
浏览 5
提问于2017-04-13
得票数 0
1
回答
在外部存储中将大型
数据
存储为
csv
时出现异常
python
、
csv
、
dataframe
、
pyspark
、
export-to-csv
我有一个
dataframe
,它
的
变量df中有大约4000个条目。当我试图
将
数据
作为
csv
导
出到
外部存储时,我得到了一个奇怪
的
错误,如下所示:df.write.
csv
("data/out", sep="@", mode=&quo
浏览 1
提问于2017-11-09
得票数 1
回答已采纳
1
回答
spark
dataframe
to
csv
第一列
csv
、
apache-spark
、
export-to-csv
、
spark-dataframe
我正在
将
java中
的
spark
数据
帧导
出到
csv
文件中。因为我想稍后
使用
unix排序工具对
csv
文件进行排序,所以我需要对列进行重新排序,以便某些列排在第一位。现在让我们调用
的
是"sort_index“。我该怎么做呢?目前,我正在
使用
以下代码转换为
csv
:df.write(
浏览 2
提问于2016-04-13
得票数 0
1
回答
Spark
:读取inputStream而不是文件
java
、
apache-spark
、
apache-spark-sql
、
spark-dataframe
、
databricks
我在一个Java应用程序中
使用
SparkSQL对
CSV
文件进行一些处理,
使用
Databricks进行解析。.avg("varC","varD"); 我想要做
的
是
从
InputStream中读取,甚至是
从
内存中已经存在
的
字符串中读取。我读过一些关于
Spark
Streaming和自
定义
接收器
的
文档,但据我所知,这是为了打开一个
将</em
浏览 0
提问于2016-07-21
得票数 14
回答已采纳
1
回答
无法
将
CSV
pyspark
数据
帧导
出到
C:\temp
python
、
pandas
、
csv
、
apache-spark
、
pyspark
我有一个1300行5列
的
pyspark.sql.
dataframe
.
DataFrame
。我
使用
以下命令
将
数据
框导
出到
C:/temp: c5.toPandas().to_
csv
("C:/temp/colspark.
csv
") 但我得到以下错误: <ipython-input-4-2c57938dba1e> in <module> ----> 1 c5.toP
浏览 28
提问于2019-10-03
得票数 1
回答已采纳
1
回答
Pyspark
dataframe
:
从
csv
加载,然后删除第一行
python-3.x
、
azure
、
csv
、
pyspark
、
databricks
我能够
将
csv
文件
从
Azure datalake加载到pyspark
dataframe
中。如何删除第一行,并使第二行作为我
的
标题
? 我见过一些RDD解决方案。但我无法加载该文件,并且
使用
以下代码时出现错误"RDD is file“ items = sc.textFile(f"abfss://{container}@{storage_account_name}.dfs.core.windows.net/tmp/
浏览 30
提问于2020-03-20
得票数 0
回答已采纳
6
回答
如何
将
PySpark中
的
表
数据
框导
出到
csv
?
python
、
apache-spark
、
dataframe
、
apache-spark-sql
、
export-to-csv
我
使用
的
是
Spark
1.3.1 (PySpark),并且我已经
使用
SQL查询生成了一个表。我现在有一个对象,它是一个
DataFrame
。我想把这个表对象(我把它叫做“
DataFrame
”)导
出到
一个
csv
文件中,这样我就可以操作它并绘制列。如何
将
DataFrame
“表”导出为
csv
文件? 谢谢!
浏览 813
提问于2015-07-13
得票数 92
回答已采纳
3
回答
创建
数据
架构
的
有效方法是什么?
apache-spark
我是个新手,我发现有两种方法可以创建
数据
框架
的
模式。我有一个RDD: empRDD和
数据
(除以",")| 1| Mark| 1000| HR|val empData = empFile.map(e => e.split(",")) 创建模式
的</em
浏览 9
提问于2017-06-22
得票数 0
回答已采纳
2
回答
在Pandas中导出计算以生成Excel表格
python
、
pandas
我似乎找不到答案...我已经在Pandas中进行了多次计算,并希望
将
结果导
出到
Excel中。我不想生成图表或导出
数据
帧,只想以5列5行(加上
标题
)
的
表格形式显示计算结果。做这件事
的
最好方法是什么?
浏览 18
提问于2021-05-07
得票数 0
回答已采纳
1
回答
如何
将
SQL查询
的
结果
从
数据
库导
出到
Azure Data
python
、
pyspark
、
databricks
、
azure-databricks
我正在尝试
将
数据
库中
的
spark
.sql查询
的
结果导
出到
Azure Data ADLS中
的
一个文件夹中base =
spark
.read.
csv
("adl://carlslake.azuredatalakestore.net/l
浏览 0
提问于2019-01-05
得票数 1
回答已采纳
1
回答
在scala中
使用
函数时得到错误类型不匹配
dataframe
、
scala
、
apache-spark
().getOrCreate() def extract():
DataFrame
= val df =
spark
.read.option("inferschema","true").option("header","true").
csv
("olive\\A.
csv
") def transform(df
浏览 1
提问于2021-12-09
得票数 0
1
回答
Spark
-SQL :如何
将
TSV或
CSV
文件读入
dataframe
并应用自
定义
模式?
scala
、
apache-spark
、
apache-spark-sql
、
spark-dataframe
我在
使用
制表符分隔值(TSV)和逗号分隔值(
CSV
)文件时
使用
Spark
2.0。我希望
将
数据
加载到
Spark
-SQL
数据
帧中,在读取文件时,我希望完全控制模式。我不希望
Spark
从
文件中
的
数据
中猜测模式。 如何
将
TSV或
CSV
文件加载到
Spark
SQL
Dataframe
中,并对其应用模式?
浏览 2
提问于2017-04-20
得票数 6
1
回答
利用apache和scala对
数据
进行预处理
scala
、
apache-spark
、
rdd
我对
spark
和scala非常陌生,因此我有一些问题涉及到
使用
spark
进行
数据
预处理和
使用
rdds。我正在做一个小项目,我想用火花实现一个机器学习系统。
使用
算法是可以
的
,我认为,但我在
数据
预处理方面有问题。我有一个包含30列和大约100万行
的
数据
集。但是为了简单起见,让我们假设我有以下
数据
集(
csv
-file): columnA, columnB, column_txt, lab
浏览 3
提问于2015-07-21
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据加载、存储与文件格式
我用Rust徒手重写了一个Spark,并把它开源了
pandas 入门 1:数据集的创建和绘制
Python之数据加载、存储与文件格式
灵活强大:iObjects Java for Spark模块扩展开发
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券