pyspark sql查询等价函数

文章/答案/技术大牛

发布

1回答

python、apache-spark、pyspark

我才刚刚开始深入了解Pyspark。这是一个包含大约20K行的实际数据集的示例。我在pyspark shell中将这个CSV文件作为数据帧读取。尝试在此数据上转换一些基本的SQL查询以获得实际操作。下面是一个我不能回答的问题： 1.还有一些我自己手动创建的查询，我可以用SQL执行，但我只是被困在理解其中的一个上。如果我对此有了一个想法，它将与解决其他问题相当相关。

浏览 17提问于2019-11-11得票数 0

回答已采纳

2回答

Oracle子查询的Pyspark sql

pyspark、pyspark-sql、pyspark-dataframes

如何将以下基于oracle的sql查询写到等价的pyspark sql中，因为这是不支持的，因为它嵌套在spark.sql(* query )下。有没有办法也用pyspark dataframe来写这个？

浏览 18提问于2020-01-11得票数 0

2回答

pyspark寄存器内置函数及其在spark.sql查询中的使用

apache-spark、pyspark、apache-spark-sql

在spark.sql查询中注册和使用pyspark version 3.1.2内置函数的正确方式是什么？下面是一个创建pyspark DataFrame对象并在纯SQL中运行简单查询的最小示例。For column literals, use 'lit', 'array', 'struct' or 'create_map' function...的pyspark内置<em

浏览 4提问于2021-08-19得票数 0

回答已采纳

1回答

无法在pyspark中导入parse_url

python、pyspark、hiveql

对于pyspark中的hiveql，我有以下sql查询：我想翻译成函数式查询，比如：

浏览 25提问于2019-11-07得票数 3

回答已采纳

1回答

pyspark.sql.functions.posexplode的等效函数在预置中？

apache-spark、pyspark、hive、presto

有没有人知道，如果有一个等价的函数，类似于火花放电函数，pyspark.sql.functions.posexplode()在预置？我试图用它的索引来爆炸和排列。我知道UNNEST()的存在。

浏览 17提问于2022-11-02得票数 1

回答已采纳

1回答

在pyspark中创建列的数组

python、apache-spark、pyspark、apache-spark-sql

这个问题回答了如何在scala中做到这一点，但我想用pyspark来实现。我试着用pyspark复制代码，但我没能做到。我无法将scala中的以下代码转换为python：var ColumnsAndValues: Array[Column] = df.columns.flatMap

浏览 18提问于2021-03-11得票数 0

回答已采纳

1回答

如何在pyspark dataframe中获取列的唯一值并存储为新列

python、pandas、pyspark

hpbrand_change_num')) .reset_index()),how='left',on=['msisdn']) 下面是我在pysparkhandset_brand").count().show() 错误消息 AttributeError: 'GroupedData' object has no attribute 'select' 如何在pyspark

浏览 76提问于2021-08-30得票数 0

回答已采纳

1回答

pySpark，聚合复函数(连续事件的差异)

python、pandas、apache-spark、pyspark

有没有办法用pySpark做同样的事情？

浏览 4提问于2016-12-10得票数 1

1回答

如何在spark中进行嵌套collect_list？

apache-spark、pyspark、apache-spark-sql

下面是我的星星之火sql查询 policy.CustomerId,不允许在另一个聚合函数的参数中使用聚合函数。请在子查询中使用内部聚合函数。 from pyspark import SparkConf from

浏览 4提问于2021-06-11得票数 2

回答已采纳

1回答

如何将udf添加到sqlContext中

python、apache-spark、user-defined-functions

我知道我可以注册一个UDFand函数，因为它可以在SQL查询中使用： return len(s)spark.sql("SELECT example_udf(col) FROM data")frompyspark.sql</

浏览 1提问于2018-04-13得票数 0

回答已采纳

2回答

等价于Scala Dataset#transform方法的Pyspark变换方法

apache-spark、pyspark、apache-spark-sql、apache-spark-dataset

.transform(myFirstCustomTransformation)我没有看到与transform方法等价的方法是否有一种链接自定义转换的PySpark方法？更新变换方法为 ( )。

浏览 0提问于2017-09-15得票数 7

回答已采纳

2回答

如何在SparkSQL /Scala中将Python函数注册为UDF？

apache-spark、apache-spark-sql

在Python中，我很少有非常非常简单的函数，我想在Spark中作为UDF使用它们。从Python注册和使用它们似乎很容易。我注意到在spark 1.2.1中有函数，但我不清楚如何使用它，也不清楚是否应该. 对怎么做有什么想法吗？我认为在1.3.0中可能会更容易，但我只限于1.2.1。

浏览 7提问于2015-03-19得票数 9

1回答

将Python代码转换为pyspark环境

pandas、pyspark、group-by、shift、cumsum

在火星雨中，我怎么能拥有与熊猫的shift()和累积量()相同的功能呢？ temp['transformed'] = tem

浏览 4提问于2022-09-18得票数 -1

回答已采纳

1回答

spark sql日期间隔sql查询不起作用

sql、apache-spark、pyspark、bigdata、sql-function

我提出的解决方案是一个sql查询，它创建我需要的数据： dateadd(minute, datediff(minute, 0, cast ([date] + ' ' + [time我知道它可能看不到sql函数，但我已经导入了：from pyspark.sql import SQLContextfrom pyspark.<

浏览 1提问于2018-09-06得票数 1

1回答

在pyspark* sql中使用current_timestamp()时没有可行的替代错误*

apache-spark、pyspark

简介我想在执行select查询时添加一列作为当前时间戳，如下所示： import pysparkfrom pyspark.sql.function", 'true') \ .config("spark.s

浏览 43提问于2021-09-27得票数 0

2回答

如何在PySpark中根据数组值进行过滤？

python、apache-spark、dataframe、pyspark、apache-spark-sql

| |-- score: double (nullable = true)我尝试使用下面的查询从vendorTags中选择嵌套字段如何在PySpark中查询如下所示的我尝试了上面的查询，只得到了下面的错误 df3 = sqlContext.<em

浏览 0提问于2016-03-15得票数 16

回答已采纳

1回答

使用regex语句的case语句

python、sql、apache-spark、pyspark、apache-spark-sql

然后，我将使用sql查询在最后一个查询中创建一个新字段。我想要创建的字段的代码最初来自postgresql，我想知道在pyspark中正确版本的case语句和regex是什么？代码：from pyspark.context import SparkContextfrom pyspark.<e

浏览 1提问于2021-04-16得票数 0

回答已采纳

1回答

如何使用PySpark* JDBC连接器在Postgres上远程执行Postgres函数？*

postgresql、apache-spark、jdbc、pyspark、apache-spark-sql

我想使用PySpark应用程序在远程Postgres服务器上使用执行以下查询问题是，我不能使用spark.sql(QUERY)对Pyspark执行这种查询，很明显，因为postgres_function不是ANSI函数。

浏览 3提问于2016-11-25得票数 0

回答已采纳

1回答

在pyspark中实现合并到sql

sql、merge、pyspark、apache-spark-sql

如何才能以有问题的方式(pyspark)实现sql MERGE INTO语句。我有两个表，我使用createOrReplaceTempView选项将它们转换为临时视图。原因可能是SPARK SQL不支持合并。有人能给出一个提示吗?如何在pyspark中以编程方式实现一个简单的MERGE INTO SQL等价语句(类似下面的内容)？

浏览 0提问于2018-08-05得票数 8

4回答

如何在Spark DataFrame中访问VectorUDT列的元素？

apache-spark、dataframe、pyspark、apache-spark-sql、apache-spark-ml

我试着做了以下几件事 from pyspark.sql.functions import udfdf.select

浏览 122提问于2016-09-18得票数 23

回答已采纳

点击加载更多