Python Spark:将RDD的某些列写入文本文件

文章/答案/技术大牛

发布

1回答

python、apache-spark、pyspark、apache-spark-sql、pyspark-sql

我想要将RDD的某些列写入文本文件。目前，我正在使用熊猫来做这件事。2016_pandas = df_2016.select('id', 'source', 'date', 'title', 'abstract', 'content').toPandas() 然后将该列转换为字符串写入文本文件和abstract<em

浏览 12提问于2017-06-23得票数 0

2回答

pyspark.sql到JSON

json、pyspark

从pyspark.sql查询中获取有效json文档的最佳方式是什么？例如，如果我运行：我看到它返回一个数据帧，我可以在上面调用'toJSON‘来获取一个RDD。但我找不到一种好的方法将其转换为json文档。我对它调用了'collect()‘，但它没有返回有效的json，而且似乎不是将dataframe转换为json的最有效的方法。

浏览 19提问于2019-08-23得票数 0

回答已采纳

1回答

在google云实例上运行Spark时出错

out-of-memory、apache-spark、rdd、google-hadoop

我正在使用Apache Spark运行一个独立的应用程序，当我将所有数据作为文本文件加载到RDD时，我得到了以下错误： at org.apache.spark.rdd.RDD.iterator(RDD.scala:230) at org.apache.<em

浏览 10提问于2015-02-28得票数 0

1回答

为什么序列化持久化RDD占用的内存少于反序列化持久化RDD？

apache-spark、rdd

我读到，当RDD以某种形式的序列化(无论是默认的Java序列化还是类似于Kryo序列化)的方式持久化在内存中时，它占用内存中的空间更少。我对序列化的理解是，它只是一种将内存中的Java对象转换为一系列位的方法，反序列化实际上是将这些位作为对象带入内存的进程。因此，我总是把反序列化看作是，将带回内存，作为一系列位的服从对象。正因为如此，存储反序列化数据的术语让我感到

浏览 3提问于2015-08-13得票数 5

回答已采纳

1回答

如何将任何分隔的文本文件转换为parquet/avro -使用spark动态地更改列号/结构为avro/parquet？

apache-spark、apache-spark-sql、avro、parquet

我们需要每天将文本数据转换为parquet/avro，如果输入来自多个源，则具有不同的结构，我们希望使用基于spark sql的scala代码来实现这一点，而不管分隔符和列或结构的数量如何。

浏览 7提问于2019-10-02得票数 0

回答已采纳

1回答

如何将模型的结果保存到文本文件中？

scala、apache-spark、apache-spark-mllib

我试图将从模型生成的频繁项目集保存到文本文件中。代码是Spark库中FPGrowth示例的一个示例。import org.apache.spark.rdd.RDD val data = sc.textFile("/itemset.ite

浏览 0提问于2016-03-13得票数 3

回答已采纳

10回答

如何打印RDD的内容？

scala、apache-spark

我正在尝试将集合的内容打印到Spark控制台。我有一个类型：我使用下面的命令：但这是打印出来的： res1: org.apache.spark.rdd.RDDUnit = M

浏览 490提问于2014-04-20得票数 130

回答已采纳

1回答

使用pyspark时，哪个选项的性能最好？使用map的UDF或RDD处理？

apache-spark、pyspark、apache-spark-sql、rdd、spark-structured-streaming

使用pyspark时，哪个选项的性能最好？使用map的UDF或RDD处理？我使用spark Structured streaming来使用数据，对于每个微批量，我将DF转换为RDD，并执行一些python graphkit操作，然后再次将RDD转换为DF以写入Kafka流。

浏览 23提问于2020-06-26得票数 1

1回答

如何在Pandas数据转换过程中处理时间戳类型？

python、datetime、numpy、apache-spark、pyspark

我有一个带有pandas.tslib.Timestamp类型时间戳列的熊猫数据。我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表：> spark.createDataFrame(rdd,schema) // w

浏览 2提问于2017-07-25得票数 5

1回答

将csv.writer(csv.writer())- Python更改为PySpark

python、pandas、apache-spark、pyspark

我正在尝试应用一个用Python语言编写的函数，以便在PySpark上可读。 open()函数在PySpark中不可读。在这种情况下如何更换？我有一个需要排序的非结构化列表： import csvmy_list = [ ] # Sorting this l

浏览 29提问于2021-10-15得票数 0

4回答

使用Scala中的Dataframes在Spark1.30中以文本形式保存

sql、scala、apache-spark

我正在使用Spark1.3.0版本，并在Scala中使用带有SparkSQL的数据格式。在1.2.0版本中，有一个名为"saveAsText“的方法。在使用dataframes的1.3.0版本中，只有一个“保存”方法。默认输出是拼板。val sqlContext = new org.apache.spark.sql.SQLContext(sc) //

浏览 3提问于2015-03-27得票数 6

1回答

Spark scala输入/输出目录

scala、maven、apache-spark

我是Spark/Scala编程的新手，我能够使用maven进行设置，并能够运行示例字数统计程序。我这里有两个问题，这两个问题都是在spark环境/ Windows本地运行的:1. scala程序是如何识别输入的。2.如何将输出写入文本文件。以下是我的代码import org.apache.spark.Spark

浏览 0提问于2016-04-29得票数 0

3回答

Pyspark:将PythonRDD转换为Dataframe

apache-spark、pyspark

根据我的理解，读取文件应该创建一个DF，但在我的例子中，它已经创建了一个PythonRDD。我发现很难将PythonRDD转换为DataFrame。请找到我下面的代码来读取一个标签分开的文本文件：rdd2 = rdd1.lambda row: unicode(row).lower().strip

浏览 3提问于2016-07-12得票数 0

回答已采纳

2回答

将随机文件写入HDFS - PySpark

python、pyspark

我还没有看到任何如何做到这一点的例子。我在Python3环境中使用PySpark 2.0。我有随机数据，二进制数据，.jpg数据，随机字符串。我只需要将数据放回底层存储。

浏览 3提问于2017-04-20得票数 2

1回答

将现有函数用作UDF以修改列时出错

python、numpy、flask、pyspark、spark-dataframe

我有一个包含纯文本的字符串类型列的dataframe，我想使用pyspark.sql.functions.udf (或pyspark.sql.functions.UserDefinedFunction?修改这个列。 return render_template('index.html',

浏览 10提问于2016-05-24得票数 0

回答已采纳

1回答

将PySpark DataFrames写入MySQL时的最佳实践

python、mysql、pyspark、apache-spark-sql、airflow

我试图开发几个数据管道使用Apache气流与预定的火花作业。df_tsv = spark.read.csv(tsv_file, sep=r'\t', header=True) df_tsv.write.jdbc其次，我想知道将数据从Spark<

浏览 2提问于2021-10-28得票数 1

回答已采纳

2回答

如何使用Spark来洗牌大文件？

apache-spark、shuffle

我有一个20G的文本文件，我想把它的行弄乱。由于本地内存的限制，我想在spark上实现。有人能告诉我怎么做吗？备注:我考虑过使用密钥对(random.random(), line)，所以spark会在保存文件时按random.random()排序。我不知道它能不能用。

浏览 2提问于2017-08-07得票数 0

2回答

测量pySpark中两列之间的均方误差

python、apache-spark、pyspark、apache-spark-sql、apache-spark-ml

我是pySpark的新手，在处理数据方面有一些问题。df = sc.textFile("data.csv").map(lambda l:) at org.apache.spark.api.python.PythonRDD.compute(Pytho

浏览 0提问于2018-07-08得票数 0

回答已采纳

1回答

由于阶段失败，作业中止:阶段5.0中的任务0失败了1次，最近一次失败:阶段5.0中丢失了任务0.0

java、apache-spark、hadoop、intellij-idea

当我运行我的程序时，我得到了下面的错误。:1489) at org.apache.spark.rdd.RDD:112) at org.apache.spark.rdd.RDD.withScope(RDD.sc

浏览 62提问于2019-06-05得票数 1

2回答

我正在将一个dataframe转换成一个管道分隔的值，并将其写入shell (scala)中的一个文件中。但我在PySpark方面毫无头绪。会很感激你的帮助。尤其是我不知道如何用“\”来连接每个列scala> val stgDF = spark.read.table("tbl") stgDF: org.apache.spark.sql.DataFrameres0: Array[String] = Arra

浏览 3提问于2017-10-30得票数 4

回答已采纳

点击加载更多