如何在spark 1.6中将DataFrame保存为csv文件？
如何在spark 1.6中将DataFrame保存为csv文件？
提问于 2017-04-17 02:41:08
我正在处理一个包含两列的数据帧: uni_key和createdDate。我运行了一个SQL查询并将结果保存到a中，现在我希望将这些结果保存到csv文件中。有没有办法做到这一点？下面是一个代码片段：
import sys
from pyspark import SparkContext
from pyspark.sql import SQLContext, Row
import csv
if len(sys.argv) != 2:
print("Usage: cleaning_date.py <file>")
exit(-1)
sc = SparkContext()
sqlContext = SQLContext(sc)
csvfile = sc.textFile("new_311.csv")
key_val = csvfile.mapPartitions(lambda x: csv.reader(x)).map(lambda x: (x[0], x[1]))
result = key_val.filter(lambda x: getDataType(x[1]) == "valid")
myDataFrame = sqlContext.createDataFrame(result, ('uni_key', 'createdDate'))
print(type(myDataFrame))
myDataFrame.registerTempTable("abc")
a = sqlContext.sql("SELECT uni_key FROM abc")
a.show()
# a.write.format("com.databricks.spark.csv").save("l.csv")
a.write.option("header", "true").csv("aaa.csv")
sc.stop()这段代码现在给出了以下错误：
AttributeError：“”DataFrameWriter“”对象没有属性“”csv“”
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-04-17 02:45:30
内置CSV编写器已在Spark 2.0中引入，您显然使用的是Spark 1.x。
要么使用spark-csv
df.write.format("com.databricks.spark.csv").save(path)或者将Spark更新到最新版本。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/43440741
复制相关文章
相似问题