问Apache 3是否支持将GPU用于Spark？

EN

到目前为止，星火激流并不支持RDD接口的GPU使用。

来源：链接

Apache允许用户提供一个插件，可以替换用于3.0+和DataFrame操作的后端。这不需要用户更改API。这个插件将用GPU加速版本取代它支持的SQL操作。如果一个操作不受支持，它将返回到使用Spark版本。请注意，插件不能加速直接操作RDD的操作。

在这里，火花激流小组给出了答案

来源：链接

我们目前不支持在GPU上运行RDD。我们只支持SQL/Dataframe，甚至只支持操作符的一个子集。这是因为我们正在将单个催化剂操作符转换为启用GPU的等效操作符。我希望能够支持RDD API，但这需要我们能够获取任意的java、scala和python代码，并在GPU上运行它。我们正在研究实现其中一些目标的方法，但现在很难做到。对于像Hail这样使用python作为API的库来说尤其如此，但是数据分析是用C/C++完成的。