在Scala中创建SparkSession对象以同时在单元测试和火花提交中使用的最佳实践

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("YourAppName")
  .master("local[*]")  // 设置本地运行模式，[*]表示使用所有可用的CPU核心
  .config("spark.some.config.option", "some-value")  // 设置其他配置参数，根据需要添加
  .getOrCreate()

import org.scalatest.{BeforeAndAfterAll, FunSuite}

class YourTestSuite extends FunSuite with BeforeAndAfterAll {
  var spark: SparkSession = _

  override def beforeAll(): Unit = {
    spark = SparkSession.builder()
      .appName("YourTestAppName")
      .master("local[*]")
      .config("spark.some.config.option", "some-value")
      .getOrCreate()
  }

  override def afterAll(): Unit = {
    spark.stop()
  }

  test("YourTest") {
    // 在测试中使用spark对象进行操作
    val df = spark.read.csv("path/to/your/test/data.csv")
    // 进行断言等操作
    assert(df.count() == 10)
  }
}

import org.apache.spark.sql.SparkSession

object YourSparkJob {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("YourAppName")
      .getOrCreate()

    // 在火花提交中使用spark对象进行操作
    val df = spark.read.csv("path/to/your/data.csv")
    // 进行其他操作
    df.show()

    spark.stop()
  }
}