pyspark -过滤包含一组特殊字符的行

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.appName("FilterLines").getOrCreate()

# 读取文本文件
lines = spark.read.text("file.txt").rdd.map(lambda x: x[0])

# 定义特殊字符集合
special_chars = ["@", "#", "$"]

# 过滤包含特殊字符的行
filtered_lines = lines.filter(lambda line: any(char in line for char in special_chars))

# 打印过滤结果
filtered_lines.foreach(print)

# 停止SparkSession
spark.stop()