Apache火花和Livy集群
Apache火花和Livy集群
提问于 2018-09-26 05:05:13
场景:
- 我有星星团 我也想使用Livy。
- 我对Livy很陌生
问题:
- 我用码头群建造了我的星星团 我也将为Livy创建一个服务。
- Livy能否与外部火花主沟通，并将作业发送给外部火花主？ 如果没有问题，需要执行哪种配置？ 或者Livy应该安装在火星主节点上？
回答 1
Stack Overflow用户
发布于 2018-11-30 18:47:22
我想有点晚了，但我希望这对你有帮助。
对不起，我的英语，但我是墨西哥人，您可以使用码头发送工作通过livy，也可以使用livy发送作业抛出Livy REST API。
livy服务器可以位于spark集群之外，您只需要向指向spark集群的livy发送一个conf文件即可。
看起来你运行的是火花独立的，配置livy工作的最简单的方法是livy生活在星火主节点上，如果您已经在集群机器上安装了纱线，那么您可以在任何节点上安装livy，并以纱线集群或纱线-客户端模式运行spark应用程序。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/52510274
复制相关文章
相似问题
腾讯云开发者
