1回答
我正在尝试使用在运行时读取的模式文件将输入从文本文件转换为数据帧。我的输入文本文件如下所示：Charles,34name:string这是我尝试过的： .getOrCreate() val input = spark.sparkContext.textFilespark.cre
浏览 5提问于2017-01-16得票数 0
回答已采纳
我的版本是2.2.1，我正在尝试使用这个链接使用朴素贝叶斯复制分类示例- https://spark.apache.org/docs/2.2.1/ml-classification-regression.htmlorg.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
// Load the data stored in LIBSVM format as a DataFrame
浏览 12提问于2018-12-27得票数 0
我有一个带有键和值的非结构化RDD。值为RDDAny，键当前为String、RDDString，主要包含映射。我想让他们的类型行，以便我可以做一个数据，最终。这是我的rdd：除了最后4个键之外，大多数rdd都遵循一个模式，这应该如何处理？也许把它们分割成他们自己的rdd，特别是对于reverseDeltas？谢谢这就是我到目前为止所累的，基于下面的第一个答案。null }
val parsedRdd: RDD[MyData] = rdd.map(x =&g
浏览 3提问于2017-09-29得票数 1
可能是一个可能的复制，但我无法找到坚持这样做的用例。我们可以在此RDD上应用一些Map、filter和其他操作，并将其转换为数据格式。此外，我们还可以创建直接读取csv文件的dataframe。，当我们必须首先使用R
浏览 0提问于2018-11-29得票数 0
回答已采纳
这是我的代码，我的excel工作表有1000行和22列数据。我想把excel转换成文本文件。但是当我运行这个时，我只得到了第5行和第5行的数据？r'C:/Users/vivek/OneDrive/Desktop/College Project/modules/spreadSheetManipulation/output.txt','w') as textFile:
for pag
浏览 9提问于2022-05-26得票数 0
回答已采纳
我在一个组织的云实验室上运行Spark。代码： // Reading in the csv file
df.select(max($"age")).show() 如果你需要更多的信息
浏览 25提问于2020-04-15得票数 0
我将一个庞大的JSON字符串列表存储到我的MongoDB集合中。01T11:11", },}
如何使用/Scala将"someBusinessData“转换为请记住，这是一个相当大的JSON对象。在我的示例中创建case类是不值得的，因为我将执行的唯一操作是对两个字段进行过滤，比较文档是
浏览 2提问于2020-03-16得票数 1
回答已采纳
1回答
我想要一个文本文件的格式：column1;column2;column3last linevar textFile = sc.textFile("*.txt&quo
浏览 1提问于2018-04-19得票数 1
回答已采纳
我使用此代码加载csv选项卡，并将其分隔到中。lines = sc.textFile('tail5.csv')fnames = *some nameStringType(), True) for fname in fnames])假设我使用新文件创建了DataFrame，并使用内置方法toPan
浏览 2提问于2015-03-24得票数 49
回答已采纳
我正在尝试将一个简单的文本文件读取到一个Spark中，我发现有两种方法可以这样做：spark = SparkSession.builder.master("local[*]").getOrCreate()textRDD1 = sc.textFile("hobbit.txt")然后我查看
浏览 1提问于2018-10-05得票数 16
回答已采纳
我正在尝试读取一个大的文本文件(2到3 gb)。我需要逐行读取文本文件，并将每一行转换为一个Json对象。我已经尝试使用.collect()和.toLocalIterator()来读取文本文件。我知道.toLocalIterator()将分散在集群中的数据收集到单个集群中。根据文档，.toLocalIterator()在处理大型RDD时是无效的，因为它会遇到内存问题。有没有一种有效的方法来读取多节点集群中的大型文本文件？
下面是我通过各种尝试读取文件并
浏览 70提问于2019-11-15得票数 5
回答已采纳
我知道如何使用SparkR将文本文件转换为RDD：但我想知道如何将R中DataFrame类型的对象转换为RDD。
浏览 22提问于2016-08-05得票数 2
回答已采纳
我使用的是Spark版本2.0.2。我已经在Spark version: 1.6.0中成功地做到了这一点，我正在尝试在version 2x中做同样的事情，我执行了以下步骤：val partfile = spark.read.textFile("hdfs://quickstart.cloudera:8020/user/cloudera<name>fs.
浏览 62提问于2017-07-03得票数 0
我能够像这样轻松地从HDFS加载文件：我能写出这样的输出：我试图实现的是使用一个简单的"for循环“逐个读取文本文件，并将其内容写入一个HDFS文件中。所以我试了一下：
li
浏览 5提问于2017-05-11得票数 1
如果我将一个普通的textFile加载到Spark中，如下所示：pfile: org.apache.spark.sql.DataFrame = [address: struct<city: string, state: string>, age: bigint所以我可以理解这是Spark版本:2x的</em
浏览 6提问于2017-07-07得票数 0
回答已采纳
True), StructField("d", Doubletype(), True)])
.toDF(customSchema)
这将创建一个Dataframe，问题是‘.mapPar
浏览 0提问于2020-07-09得票数 1
我是Pyspark的新手，我想在pyspark中将txt文件转换为Dataframe。我正在尝试让pyspark中的数据整齐。有什么帮助吗？谢谢我试着这样做，但它还没有起作用。# read input text file to RDD
lines = sc.textFile("/
浏览 11提问于2019-07-11得票数 0
回答已采纳
如何从Json数据创建DataFrame，其中两个字段的键相同，但大写不同。我就是这样创建DataFrame的，我还尝试首先创建RDD，读取每一行，并更改Json字符串中的键名，然后将RDD转换为Dataframe。我尝试了多种方法，但仍然存在相同的问题。
我试图重命名列名，但仍然存在错误。MCC_CAP") .withColumnRenamed(&quo
浏览 1提问于2018-02-24得票数 0
回答已采纳
我想使用case类将文本文件转换为dataframe，下面是我的代码。它一直工作到映射拆分，在这里我可以看到使用rdd_metadata_schema.take(1).foreach(arr => print(arr.toList))的值，但是当我检查dataframe时是空的("textfile")
val rdd_metadata_schema = rdd_metadata.map(row => row.split('|
浏览 0提问于2018-03-20得票数 2
回答已采纳
我有一个RDD，需要在价格上进行过滤。这是rdd1 2 Quest Q64 10 FT. x 10 FT. Slant Leg Instant U 59.983 2 Under Armour Men'
浏览 2提问于2017-11-22得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
