在Spark中工作时``stringr::str_detect``的替代方案

import org.apache.spark.sql.functions.{regexp_extract, isNotNull}

val df = // 获取你的DataFrame

// 使用regexp_extract函数匹配字符串并提取符合条件的部分
val regex = "<your_regex_pattern>"
val extractedCol = regexp_extract(df.col("<your_column>"), regex, 0)

// 使用isNotNull函数判断是否存在匹配的部分
val result = df.withColumn("hasMatch", isNotNull(extractedCol))
result.show()

import org.apache.spark.sql.functions._

val df = // 获取你的DataFrame

// 使用rlike函数进行正则表达式的匹配
val regex = "<your_regex_pattern>"
val result = df.withColumn("hasMatch", col("<your_column>").rlike(regex))
result.show()