Pyspark如何循环遍历目录，获取文件并计算行数

import os
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 定义函数来计算文件的行数
def count_lines(file_path):
    # 使用SparkSession的read.text方法读取文件内容
    lines = spark.read.text(file_path)
    # 使用count方法计算行数
    line_count = lines.count()
    return line_count

# 定义函数来遍历目录并获取文件
def process_directory(directory):
    # 遍历目录下的所有文件和子目录
    for root, dirs, files in os.walk(directory):
        for file in files:
            # 获取文件的绝对路径
            file_path = os.path.join(root, file)
            # 调用计算行数的函数
            line_count = count_lines(file_path)
            # 打印文件路径和行数
            print("文件路径：", file_path)
            print("行数：", line_count)

# 调用函数来遍历目录和计算行数
process_directory("目录路径")