问将Spark作业从Airflow (使用airflow Livy操作符)提交给Livy (在EMR中)
EN

Stack Overflow用户

提问于 2021-02-10 05:19:21

回答 1查看 162关注 0票数 1

我正在尝试使用airflow livy operator在电子病历中安排作业。这是我关注的example code。这里的问题是。没有指定Livy连接字符串(主机名和端口)。如何为操作员提供Livy Server主机名和端口？

此外，运算符还具有参数livy_conn_id，在本例中，该参数的值设为livy_conn_default。这是正确的值吗？或者我设置了其他值？

回答已采纳

发布于 2021-02-10 20:26:31

你应该在你的Airflow仪表板的管理选项卡中的连接下有livy_conn_default，如果设置好了，那么是的，你可以使用这个。否则，您可以更改此连接id或创建另一个连接id并在livy_conn_id中使用它

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/66127300

复制

相似问题

问将Spark作业从Airflow (使用airflow Livy操作符)提交给Livy (在EMR中)EN