发布于 2018-05-28 03:36:28
星火上的蜂巢不同于通过HiveContext使用Spark运行Hive查询。它不将查询转换为Spark原语,而是将它们转换为MapReduce原语,并在Spark.Its上执行,主要目的是利用火花执行引擎,而不影响Hive中的现有代码。
在内部,它将Hive的逻辑运算符转换为星火任务,这些任务主要是RDD转换和操作,目前还没有使用Dataframe (根据官方文档),因此它不使用钨或催化剂优化器。
下面的这份文件提到了在正式文档中提供的所有关于星火蜂巢的设计考虑-
https://stackoverflow.com/questions/50558276
复制相似问题