开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >PySpark结构化流测试支持

问PySpark结构化流测试支持
EN

Stack Overflow用户

提问于 2020-08-11 03:57:48

回答 1查看 600关注 0票数 2

我已经对进行了大量的研究，但没有得到任何帮助或资源，如何测试我的吡火花流流水线作业(从Kafka主题到S3)，以及如何构建持续集成(CI)/Continuous部署(CD)。

可以测试(单元测试，集成测试)火花放电结构化流吗？

如何构建持续集成(CI)/Continuous Deployment (CD)?

EN

回答 1

Stack Overflow用户

发布于 2020-08-11 08:05:56

(https://www.jenkins.io/)

指的是https://bartoszgajda.com/2020/04/13/testing-spark-structured-streaming-using-memorystream/ --代码在Scala中，但是您应该能够转换为PySpark
，从Jenkins
开始

票数 -1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63351280

复制

相似问题