我想将pyspark.sql.dataframe.DataFrame转换为pyspark.rdd.RDD[String]data = df.rddtype (data)新的RDD data包含Row
first =
浏览 2提问于2016-02-17得票数 8
回答已采纳
我正在尝试创建一些POC代码，演示如何从PySpark调用Scala函数，结果是一个PySpark.RDD。以下是Scala端的代码： }
这就是我在PySpark端访问它所做的事情：
>>>
浏览 18提问于2017-05-05得票数 0
回答已采纳
我是Pyspark的新手，我想在pyspark中将txt文件转换为Dataframe。我正在尝试让pyspark中的数据整齐。有什么帮助吗？谢谢我试着这样做，但它还没有起作用。# read input text file to RDD</e
浏览 11提问于2019-07-11得票数 0
回答已采纳
MlLib的旧API有评估指标类：，而新的dataframe API没有这样的类：
它有计算器类，但它是有限的。
浏览 0提问于2016-09-06得票数 0
有没有办法选择整行作为一列输入到Pyspark过滤器udf中？我有一个复杂的过滤函数"my_filter“，希望应用于整个DataFrame：new_df= df.filter(my_filter_udf(col("*"))col("*")
引发错误，因为这不是有效的操作。我知道我可以将dataframe转
浏览 2提问于2018-08-28得票数 4
回答已采纳
我正在尝试将pandas.DataFrame代码转换为等效的pyspark DataFrame。我有一个以下格式的RDD。[2, 'b', {'c': 1, 'd':3}],内部列表中的第
浏览 1提问于2018-04-07得票数 1
我尝试了几种方法，但仍然无法将DStream转换为DataFrame，也无法将DStream中的RDD转换为DataFrame。下面是我最新版本的代码的一部分：import re
from pyspark.sql.context import当我使用ssc.socketTextStream()方法读取输入流数据时，它会生成DS
浏览 2提问于2016-02-06得票数 10
回答已采纳
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
2回答
这是我的剧本：from pyspark.sql import SQLContext17/05/05 17:51:52 INFO Executor: Running task 0.0 in stage 1.0 (TID 1)
17/05/05 17:51:52 INFO/pyspark/sql/<e
浏览 1提问于2017-05-05得票数 4
回答已采纳
4回答
我有一个rdd (我们可以称之为myrdd)，其中rdd中的每个记录都具有如下形式：我想把它转换成一个DataFrame --最简单的方法是什么？
浏览 0提问于2015-04-07得票数 15
回答已采纳
4回答
PySpark计算相关性
、、、、
我想使用pyspark.mllib.stat.Statistics.corr函数来计算pyspark.sql.dataframe.DataFrame对象的两列之间的相关性。corr函数期望接受rdd of Vectors对象。如何将df['some_name']列转换为rdd of Vectors.dense对象？
浏览 12提问于2016-06-03得票数 16
回答已采纳
2回答
创建DataFrame后，我可以将其保存为avro、csv或拼板格式。
在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？
浏览 2提问于2017-12-21得票数 1
我使用pyspark流从kafka获取数据，结果是一个dataframe，当我将dataframe转换为rdd时，它出错了： Traceback (most recent call last):File "/home/softs/spark-2.4.3-bin-hadoop2.
浏览 56提问于2020-01-06得票数 3
在Spark1.6 DataFrame中，目前没有PySpark内置函数可以将字符串转换为浮点型/双精度型。
假设我们有一个RDD ('house_name'，'price')，两个值都是字符串。你想转换，价格从字符串到浮点数。在PySpark中，我们可以应用映射和python浮点函数来实现这一点。New_RDD = RawDataRDD.map(lambda (house_name, price):
浏览 0提问于2016-02-28得票数 5
我有这样的DenseVector RDD[DenseVector([1.0, 0.0, 1.0, 1.0, 0.0, 0.0,0.0, 0.0, 0.0]), DenseVector([0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0])]
我想把它转换成一个Dataframe。/sql/session.py", line 5
浏览 3提问于2016-12-26得票数 11
回答已采纳
在PySpark (v1.6.2)中，当使用指定的模式将RDD转换为DataFrame时，值类型与模式中声明的值类型不匹配的字段将转换为null。from pyspark import SparkContextfrom pyspark.sql.types import StructType= sc.parallelize([{&
浏览 27提问于2016-07-27得票数 0
回答已采纳
1回答
在执行PySpark代码时，通过提供所需的模式从现有的DataFrame创建DF时，我无法展示在什么情况下会引发以下异常，此代码在Databricks社区平台中执行。请帮助解决将数据框显示为输出的问题。代码： from pyspark import SparkConf, SparkContextsc = SparkContext.getOrCreate(conf=conf)
r
浏览 108提问于2021-10-25得票数 0
回答已采纳
我试图从文件(用逗号分隔的项)中读取数据，并使用FPGrowth算法将这些数据传递给PySpark算法。到目前为止，我的代码如下：from pyspark import SparkContext
data = txt.map(lambda line:
浏览 4提问于2017-12-11得票数 0
回答已采纳
3回答
我使用的是Python，这是一个Spark RDD / DataFrame。我正在编写一个函数，其中RDD和DataFrame都可以传入，所以如果传入了DataFrame，我将需要执行input.rdd来获取底层的RDD。
浏览 1提问于2016-04-20得票数 11
回答已采纳
我想创建一个临时视图火花与以下代码，但问题是如下所示的错误。我读了一些有类似问题的帖子，它们通过添加一个spark会话解决了这个问题，但它没有为我解决这个问题。任何帮助都将不胜感激。错误： df = rdd.toDf(name_col1, name_col2)sqlContext = sql.SQLContext(s
浏览 10提问于2020-12-05得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
