问亚马逊网络服务数据管道跳过S3中的远程JAR
EN

Stack Overflow用户

提问于 2018-02-23 02:17:44

回答 1查看 194关注 0票数 1

我有一个亚马逊网络服务数据管道，我试图在其中执行一个步骤，该步骤的代码位于S3存储桶中的JAR中。我指定了路径和类名，但是管道日志显示为"Warning: Skip remote jar“，并且我的代码永远不会执行。我的脚步的主体是：

command-runner.jar,spark-submit,--deploy-mode,cluster,--master,yarn,--class,com.myorg.myapp.MyClass,s3://MyBucket/my-jar.jar,myArg

现在，在documentation中，我似乎可以在远程jar中运行代码，但事实并非如此？有没有人经历过这种情况，并且已经做到了这一点？

发布于 2018-02-24 14:57:10

我是这样做的：

我将jar的路径指定为{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar，其中的input.directoryPath来自使用S3DataNode。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/48934580

复制

相似问题

问亚马逊网络服务数据管道跳过S3中的远程JAREN