使用apache spark和scala将数据推送到Nifi Flow

文章/答案/技术大牛

发布

2回答

scala、apache-spark、apache-spark-sql、spark-streaming、apache-nifi

我想从nifi flow中获取数据，然后做一些事情。之后，我想再次将结果发送到nifi flow。这是我的nifi流，使用输出端口将数据发送到spark。 ? 为了从Nifi flow中获取数据，我编写了以下函数。.setMaster("local[*]") .setAp

浏览 30提问于2020-04-09得票数 1

1回答

在安全群集中使用Nifi

java、serialization、spark-streaming、apache-nifi

我正在尝试使用星火流来读取安全集群中的Nifi数据。我通过在SSLContext中添加SSLContext来进行身份验证，但是SSLContext是不可序列化的。org.apache.nifi.remote.client.SiteToSiteClientConfig) - object (class org.apache.nifi.spark.NiFiReceiver, org.apache.nifi

浏览 4提问于2016-10-11得票数 1

回答已采纳

2回答

如何将Java依赖项添加到Scala项目的sbt文件

scala、sbt、spark-streaming、scala-ide、apache-nifi

我有一个火花流Scala项目，使用阿帕奇NiFi接收器。这些项目在Eclipse/Scala IDE下运行良好，现在我想将其打包以进行部署。当我添加它为sbt假设它是一个Scala库，并试图解析它如何将</

浏览 1提问于2015-11-30得票数 4

1回答

运行实例化NiFi接收器的Spark应用程序时出现依赖项错误

java、scala、apache-spark、sbt、apache-nifi

我正在用Scala编写一个简单的Spark应用程序，它实例化了一个NiFi接收器，尽管它使用SBT成功地构建了，但当我尝试使用spark-submit运行该应用程序时，我收到了以下错误： at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala(S

浏览 4提问于2016-07-19得票数 2

1回答

org/apache/http/nio/protocol/HttpAsyncResponseConsumer和NiFi集成错误: java.lang.NoClassDefFoundError：

spark-streaming、classnotfoundexception、apache-nifi

在NiFi中将随机数据推送到输出端口 import java.nio.charset._ import org.apache.nifi.spark.

浏览 2提问于2018-07-30得票数 1

1回答

星星之火会话返回一个错误: Apache NiFi

scala、apache-spark、apache-nifi、livy

我们正在尝试使用NiFi运行一个spark程序。，我们试图跟踪。 2020-04-13 21:50:49,9

浏览 10提问于2020-04-03得票数 6

1回答

这怎么可能呢？Kafka队列中是否存在重复记录？

scala、apache-kafka、spark-streaming、apache-nifi、spark-streaming-kafka

我使用Apache Nifi、Spark和Kafka在它们之间发送消息。首先，我使用Nifi获取数据，并将其发送到Spark进行处理。然后，我再次将数据从Spark发送到Nifi，以将其插入到DB中。我的问题是，每次我运行Spark，我都会得到同样的3.142条记录。我停止了Nifi的第一部

浏览 15提问于2020-02-14得票数 0

1回答

Apache Beam与Apache Nifi的区别

apache-nifi、apache-beam

Apache和Apache的用例是什么？两者似乎都是数据流引擎。如果两者都有相似的用例，哪一个更好？

浏览 2提问于2017-04-05得票数 18

回答已采纳

2回答

是否可以直接将数据从Nifi发送到Spark结构化流/Storm，而不丢失数据？

apache-spark、apache-storm、apache-nifi、spark-structured-streaming

在我当前的场景中，Nifi收集数据，然后发送给Kafka。然后，任何流媒体引擎都会消耗卡夫卡的数据，并对其进行分析。在这种情况下，我不想在Nifi和流媒体引擎之间使用卡夫卡。因此，我想将数据从Nifi直接发送到流引擎。但是，我不知道一些细节。例如，结构化流；如果我直接将数据从Nifi发送到Spark结构化流，Spark收到了这

浏览 0提问于2019-02-14得票数 0

回答已采纳

2回答

如何使用流创建正在运行的nifi* docker镜像*

docker、apache-nifi

我启动了一个apache/nifi容器，构建并配置了一个流。我不清楚是什么文件(nar、xml等)需要对用户要运行的映像可用。

浏览 5提问于2020-09-22得票数 1

1回答

星火结构流+ Kafka集成: MicroBatchExecution PartitionOffsets错误

scala、apache-spark、apache-kafka、spark-streaming

使用下面的scala代码，我使用Spark结构化流分别处理来自Apache的和发送到Apache的数据流。我可以使用kafka源成功地读取数据流，但是，在试图将流写入Kafka接收器时，我得到了以下错误：

浏览 0提问于2018-10-29得票数 4

回答已采纳

4回答

接收TimeoutException的可能原因是什么:当使用火花时期货在[n秒钟]之后超时

scala、apache-spark、apache-spark-sql

:150) at org.apache.spark.sql.execution.Unionat org.apache.spark.sql.execution.Union.doExecute(basicOperators.scala:144) at org.apache

浏览 5提问于2016-11-07得票数 22

回答已采纳

1回答

AWS EMR Airflow: Postgresql连接器

postgresql、amazon-web-services、airflow、amazon-emr

我通过Airflow启动AWS EMR作业，这依赖于将数据保存到PostgreSQL数据库。(RDDOperationScope.scala:151) at org.apache.spark.sql.execu

浏览 36提问于2021-10-13得票数 0

回答已采纳

2回答

尝试在PySpark中使用partitionBy写入csv时出错

apache-spark、pyspark

我有一个数据帧，我希望根据现有的日期列按年、月和日进行分区。最后，我想把分区的csv写到某个目录中。但是在写入目录时，当我调用partionBy()函数时，它会抛出下一个异常。当使用coalesce()时，我可以像预期的那样写入目录。19805|2014| 4| 1|| 19805|2014| 4| 1| | 19805|2014| 4| 1| 使用") .mode("overwrite") .s

浏览 32提问于2019-03-02得票数 1

回答已采纳

2回答

Apache和Nifi集成

apache-spark、apache-nifi

我想将Nifi流文件发送到Spark，并在Spark中进行一些转换，然后再次将结果发送回Nifi，以便我能够在Nifi中进一步操作。我不想写流文件写到数据库或HDFS，然后触发火花作业。我想直接发送流文件到星火和接收结果直接从火花到尼菲。我试过在Nifi中使用ExecuteSparkInteractive处理器，但我被卡住了。任何例子都会有帮助。

浏览 1提问于2018-10-31得票数 8

回答已采纳

1回答

如何在NiFi中使用SAN生成有效的自签名证书

docker、docker-compose、apache-nifi、traefik

我使用Traefik作为代理，将请求重定向到NiFi服务，由于SANs不可用，握手不成功。image: apache/nifi:latest environment: networks:

浏览 49提问于2022-10-18得票数 1

1回答

在快活的工作中随机获得java.lang.ClassCastException

apache-spark-sql、snappydata

在工作中，我们从hbase获取数据，使用Dataframe使用分析元数据丰富数据，并将其推送到SnappyData中的表中。我们使用的是Snappydata 1.2.0.1。(BlockManager.scala:936)在org.apache.spark。(BlockManager.scala:700) at org.apache.spark.rdd.RDD.g

浏览 14提问于2019-01-18得票数 0

回答已采纳

1回答

为什么在流数据集中使用缓存会导致"AnalysisException:必须用writeStream.start()执行流源查询“而失败？

scala、apache-spark、apache-spark-sql、apache-spark-2.0、spark-structured-streaming

QueryExecution.scala:69)at org.apache.spark.sql.execution.QueryExecution.optimizedPlan(QueryExecution.scala:73) at org.apache.spark.

浏览 1提问于2017-02-06得票数 13

回答已采纳

2回答

链接到NiFi连接器

scala、apache-flink、apache-nifi

在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。package flinkTest import

浏览 0提问于2017-07-17得票数 0

回答已采纳

1回答

使用spark解析NiFi数据包

scala、apache-spark、streaming、spark-streaming、apache-nifi

我正在为大学做一个小项目，使用Apache NiFi和Apache Spark。我想用NiFi创建一个从HDFS读取TSV文件的工作流程，使用Spark Streaming，我可以处理这些文件并将我需要的信息存储在MySQL中。我已经在NiFi中创建了我的工作流，并且存储部分已经在工作。问题是我不能解析NiFi包，所以我可以使用它们。Entertainment 424 1302

浏览 12提问于2017-01-09得票数 3

回答已采纳

点击加载更多