SparkSQL技巧——如何识别SQL语句 和 执行一个SQL文件

前言

这是一个非常小的技巧， 但是应该还是有点用。

怎么在SparkSQL中写SQL？

1. 如果我们直接使用，那么大概是如下这样： ss.sql("select * from xxxx") 这种直接写的方式当然是非常简单， 但是如果SQL很复杂的话， 那么就不太好控制了， 可读性也非常差
2. 通过IDEA注入语言特性 通过如下方式，我们可以将SQL语言注入SQL的特性

image.png

1. 选择Spark语言特性

image.png

1. 注入后的效果就如图了,这样就好看很多了 但是编辑起来还是不太友好，

image.png

1. 于是我们可以这样

image.png

1. 这样编辑起来就方便多了，在下面编辑，上面也sql也会动态进行转换 不过如果sql很复杂，一行看起来就显得很难阅读了。

image.png

1. 那么我们可以这样

image.png

1. 这样就可以将SQL语句进行分行处理了，不过SQL不支持这种 |,所以会有报错

image.png

1. 那么我们就去掉 |吧，最终效果就这样了

image.png

好了上面这些技巧你掌握了吗？ 那么还有没有更好的想法呢？ 如果我们可以写一个SQL文件直接执行这个SQL文件， 那样不是更优雅吗？

在SparkSQL中执行一个SQL文件

SparkSQL好像没有提供相关的Api， 至少我是没有找到。 于是我自己写了一个.... 代码很简单， 如下：

 def getSQL(fileName: String, fields: (String, String)*)(): String = {
   //我们将SQL文件放在Redsource目录下
    val stream = this.getClass.getClassLoader.getResourceAsStream(fileName)
    val buff: BufferedSource = Source.fromInputStream(stream)
    //读取拼装SQL
    val sql = buff
      .getLines()
      .mkString("\n")
   // 自定义属性注入
    StringUtils.replaceEach(sql
      , fields.map("${" + _._1 + "}").toArray
      , fields.map(_._2).toArray).trim()
  }

那么我们来使用一下：

val myDF = spark.sql(
val sql = getSQL("test.sql", ("date", "20200713"), ("field1", "hello"))
)
myDF .show()

这样我们就简单的将SQL文件 test 执行起来了， 并且自己注入了属性 date="20200713"和"field1"="hello" 注入的SQL的属性在SQL文件中以 ${date} 和 ${field1} 存在