我的Spark流媒体客户有12个执行器,每个执行器都有一个核心。Spark streaming开始从Kafka读取每批数百万条消息,但由于Spark无法应对负载和创建未处理批量的队列,因此将消息数减少到数千。这很好,我的期望是Spark处理小批处理非常快,并恢复正常,但是我看到有时只处理数百条消息的一个执行器在从Kafka读取最后一个偏移量后会出现“请求超时”错误:
DEBUG o
当我向端口发送请求时,我想检查请求是否是超时。当请求超时时,我只想打印一个错误。this.myService.checkStatus.subscribe(() => {}, // if the timeout error is print error}
当超时错误被修复时,我只希望将错误从屏幕上删除。如果错误404或其他