在Spark/Scala ML中使用RegexTokenizer()后，StopWords()无法工作

import org.apache.spark.ml.feature.{RegexTokenizer, StopWordsRemover}
import org.apache.spark.sql.SparkSession

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("StopWordsExample")
  .getOrCreate()

// 创建一个示例数据集
val data = Seq(
  (0, "Hello world"),
  (1, "I am learning Spark"),
  (2, "Spark is great")
).toDF("id", "text")

// 创建RegexTokenizer实例
val tokenizer = new RegexTokenizer()
  .setInputCol("text")
  .setOutputCol("words")
  .setPattern("\\W") // 使用非单词字符进行分词

// 使用RegexTokenizer对文本进行分词
val tokenized = tokenizer.transform(data)

// 创建StopWordsRemover实例
val remover = new StopWordsRemover()
  .setInputCol("words")
  .setOutputCol("filtered")

// 使用StopWordsRemover过滤停用词
val filtered = remover.transform(tokenized)

// 打印结果
filtered.select("id", "filtered").show(false)