获取pyspark中数组列中所有True元素的索引

在pyspark中，要获取数组列中所有True元素的索引，可以使用pyspark.sql.functions中的expr函数结合pyspark.sql.functions.arrays_zip函数和pyspark.sql.functions.expr函数来实现。

具体的步骤如下：

使用pyspark.sql.functions.arrays_zip函数将数组列与自然数列进行配对，并将结果存储在一个新的列中。示例代码如下：

from pyspark.sql.functions import arrays_zip, expr

df = df.withColumn("indexed_array", arrays_zip(df.array_column, expr("sequence(size(array_column))")))

使用pyspark.sql.functions.expr函数结合lambda表达式来筛选出数组列中为True的元素。示例代码如下：

df = df.withColumn("filtered_array", expr("transform(indexed_array, x -> IF(x[0], x[1], NULL))"))

使用pyspark.sql.functions.expr函数结合pyspark.sql.functions.array_position函数来获取数组列中为True的元素的索引。示例代码如下：

df = df.withColumn("indexes", expr("transform(filtered_array, x -> array_position(array_column, x))"))

最终，可以通过访问"indexes"列来获取数组列中所有True元素的索引。

示例代码：

from pyspark.sql import SparkSession
from pyspark.sql.functions import arrays_zip, expr

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例数据
data = [("A", [True, False, True]),
        ("B", [False, True, True]),
        ("C", [False, False, False])]

df = spark.createDataFrame(data, ["id", "array_column"])

# 获取所有True元素的索引
df = df.withColumn("indexed_array", arrays_zip(df.array_column, expr("sequence(size(array_column))")))
df = df.withColumn("filtered_array", expr("transform(indexed_array, x -> IF(x[0], x[1], NULL))"))
df = df.withColumn("indexes", expr("transform(filtered_array, x -> array_position(array_column, x))"))

df.show(truncate=False)

运行结果如下：

+---+--------------+-----------------+-----------+
|id |array_column  |indexed_array    |indexes    |
+---+--------------+-----------------+-----------+
|A  |[true, false, true]|[[true, 0], [false, 1], [true, 2]]|[0, 2]     |
|B  |[false, true, true]|[[false, 0], [true, 1], [true, 2]]|[1, 2]     |
|C  |[false, false, false]|[[false, 0], [false, 1], [false, 2]]|[]         |
+---+--------------+-----------------+-----------+

上述代码中使用的是pyspark中的DataFrame API进行操作。需要注意的是，为了展示结果，使用了df.show()函数进行打印。

这是获取pyspark中数组列中所有True元素的索引的方法，可以根据实际需求进行调整和扩展。