2回答
如何在PySpark中创建一个新列并用今天的日期填充该列？= datetime.datetime.now()我知道这个错误：
AssertionError: col应该是列
浏览 4提问于2017-12-20得票数 30
回答已采纳
使用PySpark SQL并给定3列，我想创建一个额外的列，该列将其中的两列分开，第三列是ID列。|+----+----+----+---------------------+ 为此，我创建了一个udf_createDivision(df['X'], df['Y'])
df = df.withCo
浏览 27提问于2019-05-10得票数 3
回答已采纳
1回答
dataframe表：00 Russian Digestion;Destillation
我想在python中的中将兴趣列命名为新列
浏览 2提问于2022-10-17得票数 0
2回答
要Py的SQL查询(Spark)
、、、、
我有以下SQL查询，我想将其转换为pyspark。我想使用两个列pp和gender，并在pyspark中执行以下操作 %sql , SUM(CASE WHEN Gender = 'M'count(1) AS totalWHERE gender in ('M', 'F')HAVING count(1) > 100 我试过了
浏览 12提问于2020-12-16得票数 0
我知道我可以用 %pysparkselect C.name, count(C.name) from orderitems as A
left join clientpagemodules as C on移到df = sqlConte
浏览 30提问于2019-02-15得票数 0
我在我的Linux计算机上使用PySpark。我的火花版本是2.4.4。sqlContext = SQLContext(sc)
( a)在我
浏览 2提问于2019-10-18得票数 0
回答已采纳
1回答
我需要在我的数据框中创建两个额外的列，它们基于一个列的计算，该计算涉及一个列与另一个列上的条件相除。我有一个SQL转换的工作示例，但需要用pyspark equvilent重写它，并且无法正确完成。EUR| 11.2|+--------+-------+
df.createOrReplaceTempView("tempdf") 以上就是我到目前为止在pyspar
浏览 29提问于2021-04-26得票数 1
回答已采纳
1回答
我试图根据某一列计算数据集上的row_number，但我得到了以下错误：AttributeError: 'module' object has no attribute 'rowNumber'from pyspark.sql.types import *fromp
浏览 1提问于2018-05-26得票数 3
回答已采纳
1回答
如何在不立即触发计算的情况下，高效地将列除以其在星火DataFrame中的自身和？假设我们有一些数据：from pyspark.sql import SparkSession, Windowdata2 # --> DataFrame[id: bigint, norma
浏览 0提问于2018-01-31得票数 2
回答已采纳
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsimport splitfrom pyspark.sql.types import *
spa
浏览 3提问于2016-12-29得票数 3
回答已采纳
2回答
我需要将数据帧的所有列的值合并为每个列的单个值。所以列保持不变，但我只是对所有相应的值求和。我现在正在考虑做这样的事情： data = data.map(lambda current_col: sum_col(data, current_col)) 这是可行的吗，或者我需要另一种方法来合并所有列的值
浏览 13提问于2020-07-01得票数 3
回答已采纳
下面的代码聚合并创建一个数据类型为list的列： "column_name_1" expr("collect_list(column_name_2) " )
因此，似乎可以将“list”作为dataframe中的列数据类型。
浏览 2提问于2016-07-15得票数 0
1回答
如何将Vectors.dense列添加到pyspark中？import pandas as pdfrom pyspark.sql import SQLContextsdf.withColumn("features", DenseVector(1))
给出anaconda3
浏览 1提问于2018-04-14得票数 1
回答已采纳
PySpark的文档在示例中包括以下内容：from pyspark.sql.functions import *from datetime import date, timedelta, datetime
我不认识或理解最后两行的语法。我知道导入路径中的.和.. (“相对导入路径”)，但是这个语法对我来说是
浏览 5提问于2022-06-15得票数 0
回答已采纳
我对Pyspark还是个新手。我有一个数据框架，我想用col1和col2之间的均方根计算创建第三列。我使用了一个用户定义的lambda函数来计算均方根值，但是一直收到这个错误AttributeError: 'int' object has no attribute 'mean' from pyspark.sql.functionsimport udf,col
from pyspark.sql.t
浏览 39提问于2020-04-11得票数 0
回答已采纳
我正在尝试使用python从文本文件中删除重复的数字，但该操作仅适用于行。例如，我的文本文件是：66 9 23 import pyspark
from pyspark import SparkContext, SparkConf
浏览 2提问于2022-02-14得票数 0
回答已采纳
1回答
如何计算pyspark中多个列的方差？例如，如果pyspark.sql.dataframe表是：1 12 15 73 56 25 251 12 15 7 10.93 56 25 25 213.6pyspark中有一个方差函数，但它只
浏览 1提问于2017-04-28得票数 1
我们在中有一个函数typedLit来添加数组或映射作为列值。import org.apache.spark.sql.functions.typedLit+---+---+---------+|2 |3 |[1, 2, 3]|我在PySpark中找
浏览 1提问于2020-05-31得票数 7
3回答
上个星期一去火场
、、、
我有一个带有DateType()类型列的dataframe。我想在dataframe中添加一个列，其中包含最近的星期一。我可以这样做： pyspark.sql.types.StructField('AccountCreationDate', pyspark.sql.types.DateType(), True),
浏览 7提问于2016-10-26得票数 10
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
