Apache Spark 2.2 JobProgressListener替代方案

文章/答案/技术大牛

发布

1回答

scala、apache-spark

从Apache Spark 2.2.0开始，JobProgressListener就被弃用了。我应该用哪一个来代替那个呢？

浏览 13提问于2018-08-01得票数 0

1回答

spark 2.0并行JobProgressListener不幸失败

scala、apache-spark、parallel-processing、apache-spark-sql、scala-collections

: Job completed for unknown job 77316/09/20 14:10:05 WARN org.apache.spark.ui.jobs.JobProgressListener: Task start for unkn

浏览 4提问于2016-09-20得票数 2

回答已采纳

1回答

新4j-mazerunner，如何在docker-come.yml中增加内存大小

apache-spark、docker、neo4j、hdfs、neo4j-mazerunner

$$anonfun$onJobStart$5$$anonfun$apply$9.apply(JobProgressListener.scala:200)mazerunner_1 | at org.apache.spar

浏览 1提问于2016-11-29得票数 0

回答已采纳

1回答

无法使用Bahir启动Spark应用程序

scala、apache-spark、activemq、apache-bahir

当我在我的built.sbt中使用Bahir2.2时，应用程序运行正常，但在将其更改为Bahir3.0或Bahir4.0时，应用程序无法启动，并且它给出一个错误： [error] (run-main-0我可以在我的Spark-Structured-Streaming中使用Bahir的替代方案来连接到ActiveMQ主题吗？" , "org.apache.spark" %% "spark-mllib" % &quo

浏览 24提问于2020-12-09得票数 1

回答已采纳

5回答

火花Scala:如何将Dataframe[vector]转换为DataFrame[f1:Double，.，fn: Double)]

scala、apache-spark、apache-spark-sql、apache-spark-ml

我只是使用Standard来规范ML应用程序的特性。在选择了缩放的特性之后，我想把它转换回双倍的数据，尽管向量的长度是任意的。我知道如何通过使用但不是为了任意数量的特性。有什么简单的方法吗？val testDF = sc.parallelize(List(Vectors.dense(5D, 6D, 7D), Vectors.dense(8D, 9D, 10D), Vectors.d

浏览 4提问于2016-06-29得票数 8

回答已采纳

1回答

ApacheSparka-Kafka.TaskCompletionListenerException&本地集群上的KafkaRDD$KafkaRDDIterator.close NPE (客户端模式)

java、hadoop、apache-spark、apache-kafka、spark-streaming

at org.apache.spark.TaskContextImpl.markTaskCompleted(TaskContextImpl.scala:76)2015-06-29 16:13:56 WARN JobProgressListener:71 - Task startfor unknown stage 308 2015-06-29

浏览 2提问于2015-06-15得票数 5

1回答

如何正确安装齐柏林飞艇并加载PySpark？

apache-spark、pyspark、apache-zeppelin

%pyspark我得到了一个错误： at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:148) at org.<

浏览 1提问于2018-03-16得票数 1

回答已采纳

1回答

如何在Spark中执行简单的t测试？

apache-spark、t-test

我的目标是使用上记录的方法在Spark Scala中执行t测试。val df = Seq((1, 3), (-2, 5), (0, 4), (3, -1), (2, -1)).toDF("group1", "group2")import org.apache.spark.mllib.stat.test但这给我带来了一个错误：<console>:29: error: object StudentTTest in package test cannot be accessed

浏览 0提问于2018-05-02得票数 1

2回答

如何在PySpark中将向量类型的列转换为数组/字符串类型？

python、apache-spark、pyspark、apache-spark-sql

考虑以下pyspark中的dataframe：| Col A|| [0.5, 0.6]| | [1.1, 1.5]| A列的类型是向量，如何创建一个值为A列但类型为数组或字符串的新列？+-----------+-----------++-----------+-----

浏览 1提问于2020-03-04得票数 1

1回答

使用Apache* Spark的Time类/类型*

scala、apache-spark、apache-zeppelin

注意:我使用的是Spark 2.2.0。尝试从Zeppelin笔记本运行Scala代码时出现错误import org.apache.spark.SparkConf...case class Record(time: Time, topic: Strin

浏览 1提问于2017-12-07得票数 1

1回答

Spark和SparklyR错误“超过64 KB”

apache-spark、sparklyr

在使用SparklyR和Spark 2.0.2调用逻辑回归后，我在Spark上得到以下错误。ml_logistic_regression(Data, ml_formula)Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 13 in stage/spark/sql

浏览 0提问于2017-04-05得票数 2

1回答

如何在Java中使用赋值器来使用org.apache.spark对PMML进行评分？

apache-spark-mllib、apache-spark-ml、scoring、pmml

现在，我正在考虑替换jpmml-evaluator spark库，它是AGPL许可的，类似的东西可能捆绑在org-apache-spark (或任何其他完全开源的选项)中，我看不到用于对org.apache.spark请确认这是否正确，并建议一些替代方案。https://github.com/jpmml/jpmml-evaluator-spark 这是用于Apache Spark</em

浏览 14提问于2019-11-07得票数 0

1回答

是否有连接到Apache* Spark的OSI PI适配器或连接器？*

interface、apache-spark、streaming、connector

如何将OSI PI中的数据导入Apache Spark？特别是在数据流传输的情况下？如果没有直接适配器，有什么替代方案可以将osi pi中的数据转换为spark？

浏览 2提问于2015-08-06得票数 0

2回答

将一个元组组成的列添加到一个dataframe中

apache-spark、dataframe、apache-spark-sql、spark-dataframe

我正在使用Spark1.6，我想向dataframe添加一个列。

浏览 3提问于2017-03-23得票数 3

2回答

如何从spark* java数据集中删除某些记录？*

java、apache-spark、dataset

有没有什么具体的方法可以从Apache Spark上的数据集中删除记录？或者，有什么替代方案可以实现它吗？

浏览 40提问于2017-01-31得票数 0

回答已采纳

1回答

JavaInputDStream不工作

java、apache-kafka、spark-streaming

:46)at org.apache.spark.internal.Logging:40)at org.apache.spark</em

浏览 0提问于2018-05-29得票数 1

1回答

在scala中将CSV文件转换为AVRO

scala、avro

我是斯卡拉的新手。我正在尝试将CSV文件转换为avro格式。我试着用谷歌搜索这件事，却找不到任何东西。我已经提供了我的样本输入文件使用和AVSC格式(同样来自谷歌)。 "type": "record", "fields": [ {&#

浏览 3提问于2017-06-02得票数 0

回答已采纳

1回答

Cassandra Spark* Connector版本与spark *2.2冲突

apache-spark、cassandra、cassandra-3.0、spark-cassandra-connector

下面是我的build.sbt scalaVersion := "2.11.8" "org.apache.spark" %% "spark-streaming" % "2.2.0-cdh6.0.1" % "provided", "org.apache.spark" %% "spark-co

浏览 20提问于2019-01-28得票数 2

1回答

星星之火无法在从氨化脚本运行时找到“星火版本信息属性”

scala、apache-spark、ammonite

`org.apache.spark:spark-core_2.11:2.0.1` Exception in thread "main" java.lang.ExceptionInInitializerError Caused by: org.apache.spark.SparkException: Error while locating file spa

浏览 8提问于2016-10-22得票数 2

回答已采纳

1回答

org.apache.spark.SparkException:任务不可序列化。Scala Spark

scala、apache-spark

将现有应用程序从Spark1.6迁移到Spark2.2*(最终)会带来错误“org.apache.spark.SparkException:任务不可序列化”。为了演示同样的错误，我过度简化了代码。一个固有的问题与Spark 2.2返回数据集而不是dataframe这一点有关。[String] in Scala Spark var d1 = hive.executeQuery(st) d1: org.apache.spark</

浏览 13提问于2020-05-01得票数 1

回答已采纳

点击加载更多