我期待的配置或参数,自动重新启动的火花作业,以防任何故障提交通过亚恩。我知道任务在失败时自动重新启动。我正期待着一个纱或火花配置,将触发重新运行整个工作。
现在,如果我们的任何作业因任何问题而中止,我们必须手动重新启动它,这会导致长数据队列处理,因为这些任务几乎是实时工作的。
目前的配置:
#!/bin/bash
export SPARK_MAJOR_VERSION=2
# Minimum TODOs on a per job basis:
# 1. define name, application jar path, main class, queue and log4j-yarn.pr
我最近开始通过Spark AR制作过滤器,上传到Instagram上。我做了一个过滤器,导出,并尝试上传到Spark AR集线器,但在上传我的文件时,我收到一条错误消息
"Your File Can't be Uploaded. Your effect uses capabilities which are not supported by the destination chosen on your effect: opticalFlow."
我以前没有遇到过这个问题,我不知道opticalFlow是什么,在Spark AR中也找不到任何与它相关的东西。尝试上传到In
因此,我执行必要的进口等
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.types._
import spark.implicits._
然后定义一些latlong点
val london = (1.0, 1.0)
val suburbia = (2.0, 2.0)
val southampton = (3.0, 3.0)
val york = (4.0, 4.0)
然后,我创建了一个这样的星火Dataframe,并检查它是否工作:
val exampleDF = Seq((List(lond