【第十期】Apache DolphinScheduler 每周 FAQ 集锦

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。

所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：

关于 Apache DolphinScheduler 的使用问题和技术性问题；

在实际应用中遇到的瓶颈问题；

参与社区贡献遇到的困难；

关于社区发展的疑问。

资源有限，请勿提问项目无关问题。

【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手）

在社群里已经提问的问题，请勿在文档中重复提问，节约资源。

本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。

6月3日-6月9日

问

我们公司用的bigtop 集成的zk版本低于DolphinScheduler 3.1.0要求的zk版本3.8.0，DolphinScheduler可以依赖更换低版本zk吗？     

答

需要自己拉GitHub对应的tag，

然后自行编译，相关可见 https://github.

com/apache/dolphinscheduler

/blob/dev/CONTRIBUTING.

md#build-with-different-z

ookeeper-versions

问

DolphinScheduler是通过Yarn的接口读到Spark的日志的，Yarn日志被聚合了能查到么？ 

答

和你用 cli 调用是一样的，如果你 cli 没有的话这个也是没有的。         

问

3.1.1版本Spark3.3.0,测试数据质量，开始报错"Exception in thread "main" org.apache.spark.SparkException: No main class set in JAR; please specify one with --class. "  

答

请确保你的libs 中已经有我们数据质量的包，否则会报错 https://github.com/apache/dolphin

scheduler/blob/7ee66f2d029b8d

0d860b59d5dfe1e8224ccf6b44/

dolphinscheduler-common/src/

main/resources/common.proper

ties#L106 

问

DolphinScheduler 3.1.2版本里面我们该如何对任务做备份工作？或者说如何保障我们的结点故障的同时，任务不会找不回来呢？   

答

可以找回，都会持久化到db，只要任务是幂等可以被重复运行即可。   

问

DolphinScheduler 3.1.7 集成SeaTunnel，配置MySQL CDC 实时同步，任务开启后，怎么停止这个任务？目前点击工作流实例中的停止按钮后，SeaTunnel中的实时同步任务仍然在执行中。     

答

目前SeaTunnel的kill 是 soft kill，可能需要定制一个force kill 方式。   

问

3.1.3 版本任务执行成功后查看任务实例日志时，日志一直在加载 ，并Roll  view log error：connection to :Host fail一直加载中，这是什么原因，如何解决？ 

答

这个时候是任务没有被运行，可以查看 master 日志应该报错了。 

问

$ ，${datetime)为自定义参数，类型为in，${output)为自定义参数，类型为out，向后传递，为什么output打印为空？这种参数之间相互赋值支持吗？还是参数赋值只能赋值常量？ 

答

请确保你的 datetime 变量是有值的。   

问

PyDolphinScheduler 使用资源插件时resource_plugin=GitLab(prefix=”xxx”, username=”username”, password=”pwd”)；一直提示PyResPluginException: Incomplete path.；有没有使用gitlab插件的样例文件？使用github也是一样，只有local才正常。 

答

请确保你的 prefix 开头是 http url 形式的，

另外可以参考

https://github.com/apache/dolphins

cheduler-sdk-python/blob/05f87a9

9b1e007733ee83cf71d8768e404cf

ee9e/tests/resources_plugin/test_

gitlab.py#L63     

参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds)

添加小助手微信时请说明想参与贡献。

来吧，开源社区非常期待您的参与。