我使用的是Spark 1.6，正在尝试将csv (或tsv)文件读取为数据帧。以下是我采取的步骤：scala> import sqlContext.implicits._scala> .format("com.databric
浏览 12提问于2016-07-27得票数 2
1回答
如何在spark中将数据帧转换为csv
dataFrame = spark.read.csv("testData2.csv",header='true')
浏览 1提问于2018-01-05得票数 0
让我们考虑包含以下数据的csv文件 Id、职务、年份 1，,2000 CSV读卡器代码： var inputDFRdd = spark.emptyDataFrame.rdd .option("mode", "FAILFAST")
.option("deli
浏览 49提问于2021-09-16得票数 0
3回答
使用spark 1.6，我尝试了以下代码：它导致了这个错误
error: not found: value <e
浏览 6提问于2020-04-29得票数 1
我想将模型输出保存到CSV文件中。我用过但是它抛出一个错误，声明saveAstextFile属性不在列表中。sc = SparkContext()
inData = sc.textFile("hdfs://ML_test_data/train2.csv
浏览 18提问于2017-07-05得票数 0
我知道如何使用spark-csv ()将csv文件读取到spark中，但我已经将csv文件表示为字符串，并希望将此字符串直接转换为数据帧。这个是可能的吗？
浏览 4提问于2016-08-24得票数 7
回答已采纳
尝试在没有架构推断的情况下加载csv文件。通常，我们在spark代码中将模式创建为StructType。是否可以将模式保存在外部文件(可能是属性/配置文件)中，并在创建数据帧时动态读取它？
浏览 2提问于2018-11-13得票数 2
2回答
我是spark & pyspark的新手。df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/
浏览 2提问于2016-04-13得票数 23
我已经使用sqlContext创建了读取csv文件的数据帧，我需要从其中将表的一列转换为RDD，然后使用密集向量执行矩阵乘法。我发现这样做很困难。val df = sqlContext.read .option("header","true")
.option("inferSchema","true
浏览 0提问于2016-12-06得票数 1
我无法使用Jupyter Notebook中的PySpark将CSV文件从Azure Blob Storage直接加载到RDD中。我知道我也可以使用Pandas将数据加载到Notebook中，但之后我需要将Panda DF转换为RDD。 我理想的解决方案应该是这样的，但是这个特定的代码给我的错误是它不能推断出CSV的模式。#Load Data source = <Blob SAS URL> elog = spark.read.format("csv").option(&qu
浏览 21提问于2019-04-28得票数 0
我可以通过手动提供列名和值来创建数据框，并将其传递给生产代码以检查palantir foundry代码库中所有转换后的字段值，从而编写pytest函数。我不想手动传递列名及其各自的值，而是希望将所有必需的数据存储在dataset中，并将该数据集导入pytest函数以获取所有所需的值，然后传递给生产代码以检查所有转换后的字段值。是否可以接受数据集作为planatir代码库中测试函数的输入。
浏览 7提问于2020-11-17得票数 2
我使用以下代码在pyspark中将csv文件作为dataframe读取它对大多数文件都能完美地工作，但我在一些文件上遇到了错误。预期的数据帧
id name code remar
浏览 0提问于2020-04-25得票数 0
我开始使用spark，通常在从云中加载数据时，我会看到以下代码我的问题如下:这里我们似乎有两个数据集:一个是com.databricks.
浏览 0提问于2017-03-06得票数 0
1回答
我使用spark 1.6读取csv文件，为java编写代码
JavaSparkContext jsc = new JavaSparkContext("local","Java SparksqlCont
浏览 0提问于2018-07-10得票数 0
回答已采纳
2回答
我有一个CSV文件和一个头文件，它必须作为数据帧通过Spark(2.0.0和Scala 2.11.8)读取。csv数据示例：abc,5,xxxghi,7,zzz
.........当我尝试将spark中的csv数据作为数据帧读取时，我遇到了问题，因为标题包含列(No.指项目)具有特殊字符“。我
浏览 0提问于2017-09-06得票数 3
对的引用
我认为我需要.options("inferSchema" , "true")和.option("header", "true")来打印我的标题，但显然我仍然可以打印我的csv的标题。它需要额外传递一次数据，默认情况下为false“的含义。
浏览 0提问于2019-07-08得票数 13
回答已采纳
我正在尝试将pyspark数据帧写入CSV。我用的是Spark1.6，我正在尝试这样的东西：df.write.format('com.intelli.spark.csv).save('mycsv.csv')和df.write.format('com.databricks.spark.csv这些代码总是会给出类似于java.lang.ClassNotFoundException:
浏览 0提问于2020-03-18得票数 0
2回答
函数将R类型转换为星点类型。
、、、、
我有一个R数据框架，我想把它转换成远程集群上的星火数据帧。我已经决定将我的数据框架写到一个中间的csv文件中，然后使用sparklyr::spark_read_csv()读取该文件。我这样做是因为数据帧太大，不能直接使用sparklyr::sdf_copy_to()发送(我认为这是由于Livy中的限制)。我想通过编写一个函数来编程地将数据帧中使用的R列类型传递到新的spar
浏览 0提问于2019-03-28得票数 0
回答已采纳
1回答
我见过Hortonworks通过数据源支持Spark1.2中的ORC的。请有人提供一个简单的例子，说明如何从星火1.6+加载普通的csv文件，并将其保存为ORC，然后将其加载为星火中的数据帧。
浏览 10提问于2016-04-05得票数 3
回答已采纳
2回答
我正在从1.6升级到spark 2，在读取CSV文件时遇到问题。在spark 1.6中，我会在CSV文件中读取类似这样的内容。val df = sqlContext.read.format("com.databricks.spark.csv").load(fileName)in thre
浏览 73提问于2017-01-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
