Scala Spark:根据一列浮点数中的值过滤行

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Filter Rows by Float Values")
  .master("local")
  .getOrCreate()

import spark.implicits._

// 创建一个包含浮点数的DataFrame
val data = Seq(
  (1, 3.5),
  (2, 2.7),
  (3, 4.2),
  (4, 1.8),
  (5, 3.9)
).toDF("id", "value")

// 使用filter函数过滤浮点数大于3.0的行
val filteredData = data.filter($"value" > 3.0)

// 打印过滤后的结果
filteredData.show()

import org.apache.spark.{SparkConf, SparkContext}

val conf = new SparkConf()
  .setAppName("Filter Rows by Float Values")
  .setMaster("local")

val sc = new SparkContext(conf)

// 创建一个包含浮点数的RDD
val data = sc.parallelize(Seq(
  (1, 3.5),
  (2, 2.7),
  (3, 4.2),
  (4, 1.8),
  (5, 3.9)
))

// 使用filter函数过滤浮点数大于3.0的行
val filteredData = data.filter(_._2 > 3.0)

// 打印过滤后的结果
filteredData.foreach(println)