在PYspark中创建RDD

文章/答案/技术大牛

发布

1回答

需要RDD的实例，但返回了类“pyspark.rdd.PipelinedRDD”

python、apache-spark、spark-dataframe、rdd

嗨，我在Notebook中有这段代码，并尝试编写python spark代码： spark.sql("SELECTdf,spark):return result.rdd.sample(False, 0.1).map(lambda row : (row.temper

浏览 0提问于2017-06-04得票数 5

回答已采纳

1回答

如何在没有模式的情况下查询dataframe和rdd

pyspark

如何将csv文件without any schema加载到spark rdd和dataframe中并分配模式AA,19970101,47.82,47.82,47.82,47.82,0

浏览 0提问于2019-07-17得票数 0

1回答

如何从任何数据库表创建PySpark RDD？

pyspark

由于我是星火社区的新手，任何人都能解释如何从数据库表创建PySpark RDD吗？我可以使用PySpark方法的textFile()方法从CSV文件创建SparkContext RDD。但我不知道从数据库表中创建PySpark RDD。

浏览 0提问于2018-02-10得票数 1

回答已采纳

1回答

如何在Spark中从另一个RDD的前n项生成RDD？

pyspark

在pyspark中给出一个RDD，我想创建一个新的RDD，它只包含它的前n项(副本)，如下所示： n=100 rdd2 = rdd1.limit(n) 除了RDD没有像DataFrame那样的方法limit注意，我不想收集结果，结果必须仍然是RDD，因此我不能使用RDD.take()。我使用的是pyspark 2.44。

浏览 19提问于2019-10-13得票数 0

回答已采纳

1回答

我在使用pyspark.mllib.stat.KernelDensity中手工创建的测试数据时遇到了一个问题。在使用(某些)pyspark时，numpy.float和Python的通用float之间存在某种问题/差异；特别是使用numpy.float的中断构造的RDDs。有没有办法让我创建的NumPy数组的元素是python的浮点数而不是numpy.float的？import pyspark import pyspark.m

浏览 0提问于2018-05-15得票数 0

1回答

在使用PySpark时，如何在Spark中实现Python数据结构？

python、python-2.7、apache-spark、pyspark

我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统的Python数据对象，比如数组、列表

浏览 34提问于2017-03-01得票数 1

回答已采纳

2回答

在Spark中重命名缓存的RDD/Dataframe描述

apache-spark、pyspark、databricks

在Scala中，有一种名为setName的方法，它允许用户在Spark的Storage选项卡下指定用户友好地显示缓存的RDDs/Dataframes。(我在这个操作中使用Databricks ) 注意:我已经尝试使用使用Python 的setName方法，但这似乎没有更新Spark中存储选项卡中RDD名称的描述(每个"RDD名称“以查询形式显示)-

浏览 10提问于2022-01-01得票数 0

1回答

传递由: PySpark引起的函数错误的java.io.EOFException映射转换

pyspark

我的问题似乎是在功能，但不确定它。在执行代码时，我收到了以下错误： rdd, schema = self._inferSchema(rdd, samplingRatio, names=schema) File "

浏览 34提问于2022-10-28得票数 0

2回答

在pyspark中创建rdd的rdd

python、apache-spark、pyspark、rdd

可以在pyspark中创建rdd的rdd吗？我试过了rdd2=sc.parallelize([4,5,6])并得到错误

浏览 22提问于2019-11-17得票数 0

回答已采纳

1回答

如何使用pyspark.mllib rdd api度量来测量pyspark.ml (新数据帧api)？

pyspark、apache-spark-mllib、apache-spark-ml

MlLib的旧API有评估指标类：，而新的dataframe API没有这样的类：

浏览 0提问于2016-09-06得票数 0

2回答

将数据保存到HDFS的格式是什么？

hadoop、apache-spark、hdfs、apache-spark-sql

创建DataFrame后，我可以将其保存为avro、csv或拼板格式。在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？

浏览 2提问于2017-12-21得票数 1

1回答

电火花纱获得烟斗拒绝许可

pyspark、hadoop-yarn、cloudera-cdh

我试图用CDH在纱线上运行电火花，在这个生火的主程序中，有一条类似于rdd.pipe("XXX.sh")的语句，每次我运行它时，都会弹出一个被拒绝的错误，我该怎么办来解决这个错误呢？谢谢。_0079/container_1495632173402_0079_01_000001/pyspark.zip/pyspark/rdd.py"，第2346行，在"/data/yarn&

浏览 3提问于2017-05-25得票数 0

4回答

从列表的RDD创建星火DataFrame

apache-spark、dataframe、pyspark

我有一个rdd (我们可以称之为myrdd)，其中rdd中的每个记录都具有如下形式： [('column 1',value), ('column 2',value), ('column 3',value

浏览 0提问于2015-04-07得票数 15

回答已采纳

1回答

pyspark

Spark中的一切都是以RDD (键和值对)的形式创建的。这有必要吗？可以通过RDD数据集创建/执行哪种类型的分析？请提供一个将其转换为RDD的示例和用法谢谢，Aditya

浏览 15提问于2019-04-30得票数 0

2回答

如何在火花放电中将密集向量的关系式转换成DataFrame？

apache-spark、pyspark、apache-spark-mllib、apache-spark-ml、apache-spark-2.0

我有这样的DenseVector RDD[DenseVector([1.0, 0.0, 1.0, 1.0, 0.0, 0.0,/sql/session.py", line 520, in createDataFrame File "/opt/BIG-DATA/spar

浏览 3提问于2016-12-26得票数 11

回答已采纳

5回答

我在Spark中创建简单的RDD时遇到错误

python、apache-spark、rdd

我正在使用Jupyter notebook，刚刚开始学习Apache spark，但在创建简单的RDD时遇到错误：错误是：，每种情况下都会发生这种情况

浏览 3提问于2017-03-30得票数 5

2回答

访问火花放电中的JavaRDD

java、apache-spark、pyspark、apache-zeppelin

在中，我通过调用从Java加载的类的静态函数来创建一个JavaRDD对象。是否可以使用Pyspark访问这个JavaRDD？从SqlContext访问表。获取表的RDD，并将其内容映射回反序列化版本。

浏览 8提问于2015-08-20得票数 3

3回答

Spark RDD to DataFrame python

python、apache-spark、pyspark、spark-dataframe

我正在尝试将Spark RDD转换为DataFrame。我已经看到了将方案传递给sqlContext.CreateDataFrame(rdd,schema)函数的文档和示例。是否有其他方法可以在不事先知道列的信息的情况下指定模式。

浏览 0提问于2016-09-26得票数 47

回答已采纳

2回答

pyspark rdd/dataframe未在cassandra中自动创建表

apache-spark、pyspark、cassandra、rdd、spark-cassandra-connector

在检查了所有找到的源之后，datastax-spark-cassandra连接器支持在cassandra中使用scala和java中的rdd自动创建表。特别是对于pyspark，有另一个包可以完成这项工作-- 。但是即使有了这个包也不能自动创建表格。对于dataframe，我根本找不到任何选项。我刚接触pyspark和cassandra，任何帮助都是非常感谢的。尝试仅使用anguenot包作为依赖项。Spark版本: 2.4.7 Cassandra :

浏览 8提问于2021-03-03得票数 2

1回答

从RDD - PySpark创建数据帧

python-3.x、apache-spark、pyspark、rdd

在执行PySpark代码时，通过提供所需的模式从现有的DataFrame创建DF时，我无法展示在什么情况下会引发以下异常，此代码在Databricks社区平台中执行。代码： from pyspark import SparkConf, SparkContextsc = SparkContext.getOrCreate(conf=conf) rdd=s

浏览 108提问于2021-10-25得票数 0

回答已采纳

点击加载更多