pyspark有没有org.apache.spark.functions.transform的等价物？
在Spark中，没有直接等价于org.apache.spark.functions.transform的函数。org.apache.spark.functions.transform是Apache Spark中的一个函数，用于将一个DataFrame的列转换为另一个DataFrame的列。它接受一个函数作为参数，该函数将输入列的值转换为输出列的值。
然而，Spark提供了其他函数和操作，可以实现类似的功能。例如，可以使用select和withColumn方法来选择和转换DataFrame的列。以下是一个示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["name", "age"])
# 使用select和withColumn方法转换列
df_transformed = df.select(col("name"), (col("age") + 1).alias("age_plus_one"))
# 显示转换后的DataFrame
df_transformed.show()在上述示例中，我们使用select方法选择了原始DataFrame的"name"列，并使用withColumn方法创建了一个新的"age_plus_one"列，该列的值是"age"列的值加1。这样就实现了类似org.apache.spark.functions.transform函数的功能。
需要注意的是，上述示例中使用的是PySpark，即Spark的Python API。如果使用其他编程语言的Spark API，可以根据具体语言的语法和函数库来实现类似的转换操作。
关于腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体的云计算品牌商，我无法提供相关链接。但是，腾讯云提供了丰富的云计算服务和解决方案，您可以访问腾讯云官方网站，了解更多关于云计算的信息和相关产品。
相关·内容
1回答
如何在条件下在火花放电上创建新列？
python、python-3.x、apache-spark、pyspark、apache-spark-sql
我有下面的data.frame ( spark )
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
from pyspark.sql import functions as sf
from pyspark.sql.functions import col, when, lit
ddf = spark.createDataFrame([[None, 'Mic
浏览 2提问于2018-05-28得票数 2
回答已采纳
1回答
如何将numpy数组存储为PySpark DataFrame中的新列？
numpy、apache-spark、pyspark、apache-spark-sql、numpy-ndarray
我已经从np.select获得了一个numpy数组，我希望将其存储为PySpark DataFrame中的一个新列。我怎么能这么做？
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
pdf = pd.DataFrame({'a': [1,2,3], 'b': ['abc', 'cde', 'edf']})
df_data = spark.createDataFrame(pdf, schema='
浏览 6提问于2022-05-25得票数 1
1回答
对于不带参数的函数，Pyspark失败，但对于不带参数的lambda则有效。
apache-spark、pyspark、apache-spark-sql、user-defined-functions、pyspark-sql
我试图使用不带参数的DataFrame和udf将一列添加到我的星火withColumn中。这似乎只有当我使用lambda封装我的原始函数时才有效。
这是一辆MWE：
from pyspark.sql import Row, SparkSession
from pyspark.sql.functions import udf
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([Row(number=i) for i in range(10)])
def foo():
return 'ba
浏览 0提问于2019-04-23得票数 2
回答已采纳
3回答
向PySpark数据帧中添加组计数列
apache-spark、pyspark、dplyr
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。
尤其是，假设我拥有如下数据集
x | y
--+--
a | 5
a | 8
a | 7
b | 1
我希望添加一个列，其中包含每个x值的行数，如下所示：
x | y | n
--+---+---
a | 5 | 3
a | 8 | 3
a | 7 | 3
b | 1 | 1
在dplyr中，我只想说：
import(tidyverse)
df <- read_csv("...")
df %>%
group_by(x) %>%
mutate(n
浏览 0提问于2018-02-14得票数 37
回答已采纳
1回答
Scala/Apache火花转换DataFrame列值和类型，否则为多次
sql、scala、apache-spark、cassandra
我有一个主SQL表，我正在读取这个表，并修改它以写入CassandraDB。目前，我有一个工作实现，将性别从0、1、2、3(整数)转换为“男性”、“女性”、“跨”等(字符串)。尽管下面的方法确实有效，但将带有这些映射的独立数组添加到DataFrame中、将其连接到主表/DataFrame、然后删除、重命名等等，似乎效率很低。
我见过：
.withColumn("gender", when(col("gender) === 1, "male").otherwise("female")
这将允许我继续在主表上进行方法链接，但无法让它使用两个
浏览 1提问于2017-09-11得票数 2
回答已采纳
1回答
更新Pyspark中映射类型列的结构化值
python、dataframe、apache-spark、pyspark、apache-spark-sql
我试图修改Map类型的Dataframe列，其值依次为Struct类型：
root
|-- name: string (nullable = true)
|-- age: long (nullable = true)
|-- MapName: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- field1: double (nullable = true)
| | |-- field2: double (n
浏览 3提问于2021-01-04得票数 3
回答已采纳
1回答
PySpark DataFrame中行及其前导3行之间的差异
python、dataframe、pyspark、aggregation、shift
我有一个CSV文件，它已经通过以下代码作为dataframe导入： from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv("name of file.csv", inferSchema = True, header = True)
df.show() 输出 +-----+------+-----+
|col1 | col2 | col3|
+-----+------+-----+
| A
浏览 14提问于2019-01-14得票数 1
回答已采纳
1回答
如何将列添加到PySpark数据column中，该数据column中包含另一列的第9分位数
apache-spark、pyspark、apache-spark-sql、quantile、percentile
我有一个非常大的CSV文件，它已经作为一个PySpark数据文件导入：df。dataframe包含许多列，包括列ireturn。我想要计算该列的0.99和0.01百分位数，然后将另一列添加到dataframe df中，作为new_col_99和new_col_01，它们分别包含0.99和0.01百分位数。我编写了下面的代码，它适用于小数据格式，但是当我将它应用到我的大型数据文件时会出现错误。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv(&#
浏览 0提问于2019-01-15得票数 3
2回答
如何爆炸多个柱，不同类型，不同长度？
python、pyspark
我得到了一个具有不同时间周期(1/6、3/6、6/6等)列的DF。并希望“爆炸”所有的列，以创建一个新的DF，其中每一行是一个1/6的循环。
from pyspark import Row
from pyspark.sql import SparkSession
from pyspark.sql.functions import explode, arrays_zip, col
spark = SparkSession.builder \
.appName('DataFrame') \
.master('local[*]') \
.
浏览 1提问于2019-07-08得票数 6
回答已采纳
3回答
电火花数据格式中所有列中的唯一元素数
python、apache-spark、dataframe、pyspark、apache-spark-sql
如何才能计算的每一列中的唯一元素数：
import pandas as pd
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = pd.DataFrame([[1, 100], [1, 200], [2, 300], [3, 100], [4, 100], [4, 300]], columns=['col1', 'col2'])
df_spark = spark.createDataFrame(df)
print(df_spark.show()
浏览 0提问于2018-12-13得票数 11
回答已采纳
2回答
我有如下所示的数据集：
我是按年龄分组的，平均每个年龄的朋友数。
from pyspark.sql import SparkSession
from pyspark.sql import Row
import pyspark.sql.functions as F
def parseInput(line):
fields = line.split(',')
return Row(age = int(fields[2]), numFriends = int(fields[3]))
spark = SparkSession.builder.appName
浏览 3提问于2020-07-11得票数 5
回答已采纳
1回答
按星表内数组列中的映射创建新列
java、apache-spark、apache-spark-sql
我想转换从AVRO文件导入的Spark2.4Dataframe(这些文件包含来自的跟踪数据)。
模式中有趣的部分如下所示：
root
|-- visitorId: long (nullable = true)
|-- visitNumber: long (nullable = true)
|-- visitId: long (nullable = true)
|-- visitStartTime: long (nullable = true)
|-- date: string (nullable = true)
|-- hits: array (nullable = true)
浏览 7提问于2020-02-28得票数 1
回答已采纳
2回答
如何键入星火DataFrame列？使用火花放电
apache-spark、pyspark
我以以下方式创建了一个DataFrame：
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.getOrCreate()
df = spark.read.csv("train.csv", header=True)
我的DataFrame的架构如下：
root
|-- PassengerId: string (nullable = true)
|-- S
浏览 3提问于2018-10-18得票数 0
回答已采纳
2回答
如何在Spark DataFrame中添加常量列？
python、apache-spark、dataframe、pyspark、apache-spark-sql
我想在DataFrame中添加一个具有任意值的列(即每一行都相同)。当我使用withColumn时得到一个错误，如下所示：
dt.withColumn('new_column', 10).head(5)
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-50-a6d0257ca2be>
浏览 3提问于2015-09-26得票数 175
回答已采纳
2回答
单元测试火花数据转换链
scala、unit-testing、apache-spark、apache-spark-sql、parquet
我对scala星星之火生态系统非常陌生，我想知道单元测试一个链式数据格式transformation.So的最佳方法是我想要测试的方法的代码示例。
def writeToParquet(spark: SparkSession, dataFrame: DataFrame, col1: DataType1, col2:DataType2): Unit {
dataFrame
.withColumn("date", some_columnar_date_logic)
.withColumn("hour", some_more_f
浏览 0提问于2019-01-28得票数 2
回答已采纳
3回答
将日期转换为火花中的ISO周日期
apache-spark、date、pyspark、apache-spark-sql、spark3
在一列中有日期，如何创建包含的列
ISO周日期由年份、周数和工作日组成。
年份与使用函数得到的年份不相同。
星期数是容易的部分-它可以获得使用。
平日星期一返回1，周日返回7，而星火的不能这样做。
示例dataframe：
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([
('1977-12-31',),
('1978-01-01'
浏览 12提问于2021-12-28得票数 2
回答已采纳
3回答
如何将转换后的列与原始的DataFrame合并？
python、python-3.x、dataframe、pyspark
我创建了一个函数来测试DataFrame上的转换。这只返回转换后的列。
def test_concat(df: sd.DataFrame, col_names: list) -> sd.DataFrame:
return df.select(*[F.concat(df[column].cast(StringType()), F.lit(" new!")).alias(column) for column in col_names])
如何在原始DF中用转换一次的转换替换现有列并返回整个DF？
示例DF:
test_df = self.spark.createDat
浏览 1提问于2020-07-07得票数 0
回答已采纳
2回答
如何在dataframe spark中添加头部和列？
scala、apache-spark-sql、spark-csv
我有一个dataframe，我想在它上面手动添加一个标题和第一列。以下是数据帧：
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
val df = spark.read.option("header",true).option("inferSchema",true).csv("C:\\gg.csv").ca
浏览 14提问于2017-03-31得票数 2
1回答
如何除以星火DataFrame中列的和
apache-spark、pyspark、apache-spark-sql
如何在不立即触发计算的情况下，高效地将列除以其在星火DataFrame中的自身和？
假设我们有一些数据：
import pyspark
from pyspark.sql import SparkSession, Window
import pyspark.sql.functions as spf
spark = SparkSession.builder.master('local').getOrCreate()
data = spark.range(0, 100)
data # --> DataFrame[id: bigint]
我想在这个数据框架上创建一个名为“规
浏览 0提问于2018-01-31得票数 2
回答已采纳
3回答
在PySpark isin中包含null
python、apache-spark、pyspark、apache-spark-sql、isin
这是我的数据
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
spark = SparkSession.builder.getOrCreate()
dCols = ['c1', 'c2']
dData = [('a', 'b'),
('c', 'd'),
('e', None)]
df = spark.createDataFra
浏览 2提问于2021-02-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
