1|0.047619047619047616|+----+-----+--------------------+ 我只想从pyspark.i.e.中的给定数据帧中选择前75%的记录。
浏览 21提问于2019-06-04得票数 0
回答已采纳
我在PySpark中有两个数据帧，如下所示： Dataframe A:总共1000条记录 +-----++-----+| b|+-----+Dataframe B:共3条记录 +-----++-----+|06901|+-----+ 我需要在Dataframe A中添加一个名为Zip的新列，并使用从Datafram
浏览 12提问于2021-02-10得票数 2
回答已采纳
我有一个pyspark格式的dataframe，大约有150列。这些列是从连接不同的表中获得的。现在，我的要求是以特定的顺序将数据帧写入文件，例如，首先写入1到50列，然后是第90到110列，最后是第70和72列。也就是说，我只想选择特定的列，并重新排列它们。我知道其中一种方法是使用df.select(“给出你的列顺序”)，但在我的例子中
浏览 1提问于2017-07-14得票数 0
回答已采纳
1回答
在我们遗留DWH过程中，我们根据传统RDBMS中的rowid查找重复记录并跟踪重复记录。将仅返回对应最大记录的重复记录。即使当我们识别重复记录时，这也有助于识别/跟踪记录。
在pySpark中有没有类似的东西？如何在</e
浏览 11提问于2019-11-10得票数 0
回答已采纳
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsformat('socket')\ .option('por
浏览 3提问于2016-12-29得票数 3
回答已采纳
我知道我可以用 %pysparkselect C.name, count(C.name) from orderitems as A
left join clientpagemodules as C onunix_timestamp(NOW()) - 3600*24*30) *1000
浏览 30提问于2019-02-15得票数 0
我想显示所有类似匹配字符串的过滤结果。are all super SMART and leave out all the necessary import libraries and required codes before using pyspark# Import librariesfrom pyspark import SparkContext
.ge
浏览 2提问于2020-01-17得票数 0
回答已采纳
3回答
我有一个input_dataframe PySpark Dataframe，如下所示： 10input_dataframe的记录和一些新记录，如下所示： 10 11update_value
10 15 new_valu
浏览 3提问于2017-07-26得票数 0
回答已采纳
我有一个PySpark DataFrame，类似：------------|201 |efgh ||133 |mnop|mylist = ['abcd', 'ijkl', 'efgh', 'efgh', 'abcd', 'ijkl', 'ijkl']
我希望使用<
浏览 2提问于2019-08-20得票数 1
回答已采纳
当该行上的列值为零时，我想从行中删除该列。我不想从Dataframe中删除该列。仅当列值为零时，我才从该特定行中删除该列。我用的是Pyspark。
浏览 19提问于2020-04-09得票数 0
1回答
我正在尝试向MySql表中插入记录。该表包含作为列的id和name。id = '103' l = [id,name]
password='your_password&#
浏览 3提问于2017-10-04得票数 16
回答已采纳
在从dataframe中选择一些列的查询中，我有一个列类型: map，它有多个属性。我试图从该列中只选择几个属性，但这向我返回了一个错误，因为一些属性包含特殊字符，如'-‘，该列的其他属性工作正常sqlContext.sql("select colA, colB.attribute1from schema.table")
但是，如果我选择了一个包含-的属性，它
浏览 0提问于2018-08-29得票数 1
两个Pyspark Dataframe都从csv文件中读取。 如何在df_e中创建一个名为" amount“的新列，它从df_e中引用每条记录的名称和年值，并从df_p中获取相应的金额？使用Pyspark。编辑： 下面是我读取文件的方式： from pyspark import SparkContext, SparkConf
浏览 14提问于2020-12-05得票数 0
回答已采纳
我想知道如何在完整的DataFrame上创建一个新列，但其值仅基于DataFrame的一个子集(即，基于条件应用的某些函数)。在本例中，我希望创建一个列，该列将每个ID与Value列中按ID的正值之和相关联。import pyspark.sql.functions as f
w = Window.partitionBy
浏览 1提问于2019-02-02得票数 0
我正在使用pyspark将数据从csv文件加载到dataframe中，并且我能够在删除格式错误的记录的同时加载数据，但是我如何才能拒绝csv文件中的这些错误(错误格式)记录，并将这些被拒绝的记录保存在新文件中
浏览 11提问于2019-01-15得票数 2
回答已采纳
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中<
浏览 34提问于2017-03-01得票数 1
回答已采纳
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：AttributeError：'DataFrame‘对象没有属性'isNull’。如<e
浏览 25提问于2018-11-27得票数 5
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
当我试图将结果存储到一个火花DataFrame时，它就失败了。在()2628 df.show()
29 /databricks/spark/python/pyspark_jsparkSession.applySchemaToPythonRDD(jrdd.rdd()，schema.json() /databric
浏览 2提问于2019-05-01得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
