Spark Sql 详细介绍

0. SparkSQL     SparkSQL完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。

1. DataSet     DataSet是分布式的数据集合。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的转换（map/flatmap/filter）进行多种操作。     DataSet是分布式的数据集合，DataSet提供了强类型支持，也是在RDD的每行数据加了类型约束。

    相比DataFrame，Dataset提供了编译时类型检查，这会节省调试bug的大量的时间，这也是引入Dataset的一个重要原因     Dataset也是一个分布式数据容器，简单来说是类似二维表，Dataset里头存有schema数据结构信息和原生数据，Dataset的底层封装的是RDD，当RDD的泛型是Row类型的时候，我们也可以称它为DataFrame。即Dataset<Row> = DataFrame。 2. DataFrame     DataSet包含了DataFrame的功能，Spark2.0中两者统一，DataFrame表示为DataSet[Row]，即DataSet的子集。

3. SparkSql 与Hive的整合     Spark SQL可以通过Hive metastore获取Hive表的元数据     Spark SQL自己也可创建元数据库，并不一定要依赖hive创建元数据库，所以不需要一定启动hive，只要有元数据库，Spark SQL就可以使用。但是如果要像hive一样持久化文件与表的关系就要使用hive，     SparkSQL支持对Hive的读写操作。然而因为Hive有很多依赖包，所以这些依赖包没有包含在默认的Spark包里面。如果Hive依赖的包能在classpath找到，Spark将会自动加载它们。需要注意的是，这些Hive依赖包必须复制到所有的工作节点上，因为它们为了能够访问存储在Hive的数据，会调用Hive的序列化和反序列化(SerDes)包。Hive的配置文件hive-site.xml、core-site.xml(security配置)和hdfs-site.xml(HDFS配置)是保存在conf目录下面。      当使用Hive时，必须初始化一个支持Hive的SparkSession，用户即使没有部署一个Hive的环境仍然可以使用Hive。当没有配置hive-site.xml时，Spark会自动在当前应用目录创建metastore_db和创建由spark.sql.warehouse.dir配置的目录，如果没有配置，默认是当前应用目录下的spark-warehouse目录。

4. Dataset 几种创建方式     读取json格式的文件创建Dataset     通过json格式的RDD创建Dataset     通过非json格式的RDD创建Dataset（反射，动态创建）     读取parquet文件创建Dataset     读取JDBC中的数据创建Dataset     读取hive中的数据加载成Dataset 5. RDD转换DataSet     使用反射机制推断RDD的数据结构         当spark应用可以推断RDD数据结构时，可使用这种方式。这种基于反射的方法可以使代码更简洁有效。

    通过编程接口构造一个数据结构，然后映射到RDD上         当spark应用无法推断RDD数据结构时，可使用这种方式。