com.databricks.spark.csv版本要求

文章/答案/技术大牛

发布

1回答

scala、apache-spark、databricks

哪个版本的com.databricks.spark.csv兼容Spark 1.6.1和Scala2.10.5？

浏览 15提问于2017-03-08得票数 1

回答已采纳

1回答

Spark Dataframe:行对象分隔符

scala、apache-spark、spark-dataframe

提前谢谢。例如，假设我有3列 |-- field1: string (nullable = true) |-- field3

浏览 3提问于2016-04-08得票数 0

2回答

在齐柏林飞艇中加入火花CSV依赖性

csv、apache-spark、pyspark、apache-zeppelin

火花版本为1.6proxy = sqlContext.read.load("/user/zeppelin/ProxyRaw.csv",format="com.databricks.spark.csv", header="true",：：java.lang.ClassNotFoundException:未能找到数据源: com.databricks.spark.csv。

浏览 4提问于2016-11-03得票数 2

2回答

火花:将DataFrame写入CSV时出错

java、apache-spark、apache-spark-sql、hdfs、spark-csv

705)这是我使用的代码的简化版本DataFrame df = sqlContext.read().format("com.databricks.spark.csv") .option("avg(salary) as avgSalary FROM empTable GROUP BY department"

浏览 0提问于2018-06-21得票数 1

1回答

如何将Pandas DataFrame保存到S3中

python、pandas、apache-spark、pyspark

我使用Pandas模块在PySpark中工作，得到了Pandas DataFrame。我想将它作为csv保存在s3中的特定存储桶中。result_df.to_csv("s3n://id:pw@bucket_name/")

浏览 5提问于2015-12-21得票数 0

1回答

内置提供者com.databricks.spark.csv未在SnappyData v.0.5.2中找到

snappydata

SnappyData诉0.5.2但是，在从预览版v0.5移到v0.5.2之后，现在我无法从CSV加载数据了。SQLState=38000严重性=-1)SQLState=38000 ThreadDRDAConnThread_28,5，gemfirexd.daemons)在计算表达式时抛出异常“未能找到内置提供者com.databricks.spark.csv：CREATE TABLE STAGING_ROAD (ro

浏览 0提问于2016-08-25得票数 1

回答已采纳

1回答

如何在spark中将数据帧转换为csv

apache-spark、machine-learning、pyspark

如何在spark中将数据帧转换为csv

浏览 1提问于2018-01-05得票数 0

1回答

如何在spark 1.6中将DataFrame保存为csv文件？

csv、apache-spark、pyspark、apache-spark-sql、pyspark-sql

myDataFrame.registerTempTable("abc")a.show() # a.write.format("com.databricks.spark.csv

浏览 2提问于2017-04-17得票数 1

回答已采纳

2回答

如何将spark数据帧保存到HDFS上的csv？

python、csv、apache-spark、pyspark、hdfs

Spark版本: 1.6.1，我使用pyspark API。3: df.coalesce(1).write.format('com.databricks.spark.csv').options(header='true').save('

浏览 0提问于2017-08-11得票数 5

1回答

如何在pyspark中加载gzip压缩的csv文件？

apache-spark、apache-spark-sql、pyspark、pyspark-sql

文件名不是以.gz结尾的，我无法将它们改回，因为它们是与其他程序共享的。我试图指定格式和压缩，但找不到正确的键/值。例如，没有起作用。虽然Spark可以处理gz文件，但它似乎是通过文件名来确定编解码器。例如，如果文件以.gz结尾，将会起作用，但在我的例子中不是。

浏览 0提问于2015-12-07得票数 4

2回答

连接Apache中的文件

apache-spark、apache-spark-sql

我有这样的档案。code_count.csvAE,2,2008BX,1,2005HU,1,2003像这样的另一份文件。details.csvAE,Aerogon internationalCD,Classic Divide我想要每个代码的总和，但是在最后的输出中，我想要exp_code。像这样Bloomberg Xtern,4 Classic Divi

浏览 1提问于2017-05-09得票数 0

回答已采纳

3回答

spark-shell中未加载CSV格式

scala、csv、dataframe、apache-spark、spark-csv

使用spark 1.6，我尝试了以下代码：它导致了这个错误

浏览 6提问于2020-04-29得票数 1

1回答

根据星火中的时间戳划分Parquet文件的最佳实践是什么？

apache-spark、pyspark

我粗略的计划是： input = sqlContext.read.format('com.databricks.spark.csv').load(source, s

浏览 0提问于2015-07-17得票数 6

2回答

SparkR df作为一列读取

csv、apache-spark、sparkr

当我以这种方式阅读它时：SparkR将其全部读取为一列

浏览 3提问于2016-02-12得票数 1

回答已采纳

2回答

无法为dataframe添加数据写入中的“引号”

apache-spark、spark-dataframe

它要求所有字段都以“引号”为界。目前，该文件不包含在“引号”中。我正在使用Spark2.1.0DataOutputResult.write.format("com.databricks.spark.csv"). option("header", true)

浏览 4提问于2017-04-14得票数 1

回答已采纳

1回答

“格式()”在火花放电中加载数据时做什么

apache-spark、pyspark

我开始使用spark，通常在从云中加载数据时，我会看到以下代码我的问题如下:这里我们似乎有两个数据集:一个是com.databricks.spark.csv，因为它是一个csv但我的问题是，这个com.

浏览 0提问于2017-03-06得票数 0

3回答

ApacheSpark2.0 (PySpark) -为csv找到的多个DataFrame错误源

apache-spark、pyspark、pyspark-sql

我正在尝试使用Spark2.0中的以下代码来创建一个dataframe。在执行木星/控制台中的代码时，我面临以下错误。有人能帮我解决这个错误吗？ Py4JJavaError:调用o34.csv时出错。：java.lang.RuntimeException: csv (org.apache.spark.sql.execution.datasources.csv.CSVFileFormat，com.databricks.spark.csv.DefaultSource15的多个来源)，请指定完全限定的类名。在scala.sys.package$.error(package.scala:27

浏览 1提问于2018-06-16得票数 2

回答已采纳

2回答

将带有字符串的CSV文件读取到RDD spark

python、csv、apache-spark、pyspark、rdd

我输入的CSV文件如下111,rock,sf,"recently,promoted"那么，我如何阅读这篇文章并创建RDD呢？

浏览 1提问于2017-04-06得票数 0

1回答

无法使用Scala将Dataframe中的日期字段写入csv

spark-dataframe

我使用的是Spark 2.0scala> tgt.write.format("c

浏览 4提问于2016-11-24得票数 0

1回答

DataFrameReadercsv(路径:字符串)选项，用于跳过空行

sql、apache-spark、spark-dataframe

有吗？有跳过空行的选项吗？特别是作为最后一行的空行？

浏览 1提问于2017-04-18得票数 0

回答已采纳

点击加载更多