腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3770)
视频
沙龙
1
回答
在
Scala
中将
SQL
表直接
写入
文件
scala
、
export-to-csv
、
azure-databricks
团队成员,我正在处理Azure
databricks
,我可以
使用
以下选项
将
数据
帧
写入
CSV
文件
: df2018JanAgg.option("header", "true") .save("dbfs:/FileStore/out
浏览 28
提问于2019-10-04
得票数 1
1
回答
使用
不带
Databricks
的
scala
将
spark
3.0
sql
数据
帧
写入
CSV
文件
时
出错
python
、
scala
、
apache-spark
、
jupyter-notebook
我正在
使用
Apache
spark
3.0
进行开发。我正在从txt
文件
中读取
数据
,并在生成rdd之后将其转换为dataframe。我
的
数据
量很大,所以我从dataframe中提取了100个值,并
使用
模式生成了新
的
dataframe。在我尝试
将
这个
文件
写成
csv
文件
后,我得到了下面的错误。我不想在这里
使用
databrick。
的
代码
浏览 22
提问于2020-10-01
得票数 0
3
回答
在
spark
1.6中
将
csv
读取为
数据
帧
scala
、
apache-spark
我
使用
的
是
Spark
1.6,正在尝试
将
csv
(或tsv)
文件
读取为
数据
帧
。以下是我采取
的
步骤:
scala
> import sqlContext.implicits._
scala
> val df
浏览 12
提问于2016-07-27
得票数 2
2
回答
Sparkr java错误
java
、
r
、
csv
、
sparkr
当我试图在R中加载
数据
时
:我在
使用
java
时
出错
。(DefaultSource.
s
浏览 8
提问于2015-10-20
得票数 2
回答已采纳
1
回答
从
文件
系统中填充Properties对象
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
、
databricks
TL:DR或者,是否有一种方法可以
将
星火
数据
帧
行转换为一组文本键/值对(
Scala
会理解)?全面问题: 属性
文件
不是本地
的
,它位于
Databricks
集群上。尝试从"dbfs:/“或"/dbfs”读取
文件
时
,在
使用</e
浏览 4
提问于2020-12-29
得票数 1
回答已采纳
2
回答
在Pyspark (
Spark
2.1.1)中,
将
数据
帧
写入
磁盘花费了不现实
的
长时间
apache-spark
、
pyspark
、
spark-dataframe
我在一台有多个CPU
的
服务器上运行Pyspark。除了
写入
磁盘之外,所有其他操作(读取、联接、过滤、自定义UDF)都可以快速执行。我尝试保存
的
数据
帧
的
大小约为400 gb,具有200个分区。sc.getConf().getAll()我正在尝试
使用
以下命令进行保存: df.repartition(1).write.
csv
("out.
csv
&qu
浏览 1
提问于2017-11-28
得票数 1
1
回答
如何
使用
scala
将
RDD[某个case类]转换为
csv
文件
?
scala
、
csv
、
apache-spark
我有一个
csv
case类,我想把它转换成RDDsome
文件
。我
使用
的
是
spark
1.6和
scala
2.10.5。stationDetails.toDF.coalesce(1).write.format("com.
databricks
.
spark
.
csv
").save("data/myData.
csv
") 给
出错
误:148) at org
浏览 38
提问于2019-06-28
得票数 0
4
回答
databricks
:
将
spark
数据
帧
直接
写入
excel
databricks
有没有办法把
spark
数据
帧
直接写成xls/xlsx格式?但是我想
使用
spark
dataframe来处理我
的
数据
。有什么想法吗?
浏览 0
提问于2019-11-29
得票数 5
2
回答
火花1.6.1上
的
火花
csv
读数问题
apache-spark
、
apache-spark-sql
当我试图
使用
spark
1.6.1读取
CSV
文件
.I m
时
遇到错误,下面是我
的
代码 .format("com.
databricks
.
spark
.
csv
<init>(package.
scala
:27) at com.
databricks
.
spark
.
csv</e
浏览 4
提问于2016-11-21
得票数 1
回答已采纳
2
回答
使用
sparkR合并大型
数据
集
r
、
apache-spark
、
sparkr
我想知道与“常规R”相比,sparkR是否可以更容易地合并大型
数据
集?我有12个
csv
文件
,大约500,000行乘40列。这些
文件
是2014年
的
月度
数据
。我想为2014年创建一个
文件
。这些
文件
都有相同
的
列标签,我想按第一列(年份)合并。但是,某些
文件
的
行数比其他
文件
多。当我运行以下代码
时
: setwd("C:\\Users\\Anonymous\\Des
浏览 2
提问于2016-01-12
得票数 1
1
回答
如何在
数据
帧
中指定缺少
的
值
csv
、
apache-spark
、
apache-zeppelin
、
spark-dataframe
我正在尝试
使用
Apache Zeppelin笔记本
使用
spark
-
csv
1
将
CSV
文件
加载到
Spark
数据
框中,当加载一个没有值
的
数值字段
时
,该行
的
解析器失败,并且该行被跳过。我原本希望行被加载,
数据
帧
中
的
值加载行,并将值设置为NULL,这样聚合就会忽略该值。/data.
csv
") df
浏览 4
提问于2015-07-21
得票数 6
3
回答
用
Scala
API
将
TSV读入
Spark
Dataframe
scala
、
apache-spark
我一直在尝试
使用
databricks
库来读取
CSV
。我正在尝试
使用
scala
api
将
hive创建
的
TSV读取到
spark
数据
帧
中。下面是一个可以在
spark
shell中运行
的
示例(我公开了示例
数据
,以便它可以为您工作)import org.apa
浏览 0
提问于2015-11-24
得票数 29
回答已采纳
1
回答
在Server中将
CSV
文件
中
的
多行
数据
转换为单行
数据
sql-server
、
csv
、
pyspark
、
databricks
我在
Databricks
平台上
使用
Scala
将
一些
数据
从
CSV
文件
写入
SQLMI。问题是,此多行
数据
写入
SQL
时
位于一行中,格式(换行符)没有保留。This is Multiline data having many lines of text.在
SQL
Ser
浏览 1
提问于2022-08-23
得票数 0
1
回答
如何在pyspark中将重复列名
的
数据
帧
写入
csv
文件
apache-spark
、
pyspark
、
apache-spark-sql
、
apache-spark-2.0
如何在join操作后
将
具有相同列名
的
数据
帧
写入
csv
文件
。目前,我正在
使用
以下代码。dfFinal.coalesce(1).write.format('com.
databricks
.
spark
.
csv
').save('/home/user/output/',header = 'true')将在“
浏览 0
提问于2018-10-03
得票数 6
1
回答
无法在
spark
中
写入
csv
文件
scala
、
csv
、
apache-spark
、
spark-dataframe
我正在尝试
使用
spark
1.6.1编写
csv
文件
。
文件
,如下所示:1990,2,2,11992,1,2,2
spark
-shell --packages(0,4)) df.groupBy("year").pivot("category").agg("category&q
浏览 3
提问于2016-08-15
得票数 3
回答已采纳
1
回答
如何在
databricks
中
使用
pyspark
将
所有行
数据
从
spark
dataframe获取到
文件
python
、
pyspark
、
apache-spark-sql
、
azure-databricks
我正在尝试从
spark
dataframe中获取所有行
数据
到
databricks
中
的
一个
文件
中。我能够用很少
的
计数
将
df
数据
写到
文件
中。假设我在df中得到
的
计数是100,那么在
文件
中它
的
计数是50,所以它跳过了data.How。我可以在不跳过
数据
的
情况下,
将
完成
的
数据
从dataframe加载到
浏览 1
提问于2020-09-30
得票数 0
1
回答
Spark
在RDD中查找字段
的
重复记录
apache-spark
、
duplicates
、
rdd
我有如下
数据
集: 10,"Name",2016,"Country“11,"Name1",2016,"country1”10,"Name",2016,"Country“10,"Name",2016,"Country”12,"Name2",2017,"Country2“ 我
的
问题陈述是,我必须按年查找总计数和重复计数。我
的
结果应该是(年份,总记录,重复) 2016,4,3 2017,1,0。._1
浏览 15
提问于2016-08-03
得票数 0
1
回答
将
配置单元表卸载到。
使用
Spark
或pyspark或python
的
dat
文件
python
、
pyspark
、
apache-spark-sql
、
hiveql
我目前正在
使用
hql
将
数据
从配置单元表卸载到文本
文件
中。因为它花费了太多
的
时间。我想去
spark
或pyspark.I。我是
spark
/ please
的
新手。你能帮我解决这个问题吗?我正在
使用
下面的查询来卸载 beeline --outputformat=dsv --silent=true - e 'select * from <tablename>' > /dir/s
浏览 11
提问于2019-10-04
得票数 0
1
回答
如何用
数据
库
将
CSV
编写到Azure存储Gen2 (Python)
azure-databricks
我想写reqular
文件
到存储,但我得到
的
是
文件
夹"sample_file.
csv
“和它下面的4个
文件
。如何从
数据
帧
创建正常
的
csv
文件
到Azure存储Gen2? 我很高兴有任何建议或链接到文章。df.coalesce(1).write.option("header","true").
csv
(TargetDirectory + "/
浏览 0
提问于2020-12-01
得票数 1
1
回答
当
csv
抛
出错
误时,
Spark
保存df
apache-spark
、
spark-csv
我正在
使用
pyspark并加载了一个
数据
帧
。当我尝试将其另存为
CSV
文件
时
,出现以下错误。我这样初始化
spark
:错误: df.write.save("/mnt/disk/df.
csv
", 'c
浏览 0
提问于2016-05-17
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
Apache Spark 2.4 内置的 Avro 数据源实战
Spark 3.0重磅发布!开发近两年,流、Python、SQL重大更新全面解读
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券