我为我们对Spark的负载测试需求而探索了locust,但停留在一些非常基本的任务上;文档似乎也非常有限。 卡在如何/在哪里写我的设置和拆卸代码,这些代码只需要运行一次,而不管有多少用户。使用文档中给出的以下示例进行了尝试;但在events.test_start下编写的代码不能运行,似乎是因为我无法在SparkJob类下的任何地方使用属性'sc‘。知道如何在我的SparkJob类中访问在on_test_start方法下创建的spark实例吗?import events
from pys
是否可以在一个主spark作业中产生多个spark作业,我的主spark作业的驱动程序是在纱线集群上启动的,它将进行一些预处理,并基于它需要在纱线集群上启动多个spark作业。主spark作业将启动其他spark-job,类似于在Spark驱动程序中调用多个spark-submit。这些为新任务生成的线程将是完全不同的组件,因此不能使用spark操作来实现这些组件。Val future1=Future{
Val sparkjob= S
我是Kubernetes的新手。我正在尝试在我本地的mac机器上启动kubernetes集群。我使用以下命令启动Kubernetes:我收到以下错误:
/usr/local/bin/kubectl is version 1.14.7, and is incompatible with Kubernetes 1.17.0.will need