spark sql 快速体验调试小例子

spark sql提供了更快的查询性能，如何能够更快的体验，开发和调试spark sql呢？按照正规的步骤我们一般会集成hive，然后使用hive的元数据查询hive表进行操作，这样以来我们还需要考虑跟hive相关的东西，如果我们仅仅是学习spark sql查询功能，那么仅仅使用IDEA的IDE环境即可，而且能够在win上快速体验，不需要hive数据仓库，我们直接使用数组造点数据，然后转成DF，最后直接使用spark sql操作即可。

首先，看下pom文件的核心依赖：

然后看一个例子spark sql的测试例子：

至此，一个涵盖spark sql比较全的功能例子的小工程就完成了，上面的代码直接可在win上运行，而且里面的数据随时自己添加删除，以便于可以测试spark sql与预期效果对比，上面的sql中还用到了分组里面的高级用法，分组后，收集组内数据，注意组内数据收集，如果是单个字段，直接用collect_list或者collect_set即可，但是如果是多个字段，这个时候必须用到struct类型了，最终转化后的类型就是row的集合，里面的每个结构体会被转成一个row对象，一个组的数据，就是List<Row>了，最终可以在代码里面遍历取出。spark sql结合scala编程语言之后可以变得非常灵活，sql不擅长的就用编程语言解决的，sql擅长的就用sql方便快速得到数据，用起来非常干净清爽！