在我们的项目中将spark版本升级到2.4.5 (作为常规1.5.1产品升级的一部分)之后,当在评分批处理模块中运行测试套件时,我们得到以下错误。$.DEFAULT_URL_STREAM_HANDLER_FACTORY_ENABLED()Lorg/apache/spark/interna at org.apache.spark.sql.internal.SharedStateorg.apache.spark.sql.inter
$$anonfun$2.apply(sharedParams.scala:201) at org.apache.spark.ml.param.Param.validate(params.scala:72)at org.apache.spark.ml.param.ParamPair.<init>(params.scala:656)
所以,我试着使用这个叫做DAg的东西来查看spark history-server,我知道它可以帮助我查看过去的作业。我可以轻松地访问端口18080,并且可以看到历史服务器UI。我知道我在运行历史服务器,因为当我执行sudo service --status-all时,我看到所以我已经尝试过这个问题的意思