Spark Structred Streaming Pyspark Sink Csv不附加

文章/答案/技术大牛

发布

1回答

python-3.x、apache-spark、pyspark、apache-kafka、spark-structured-streaming

但我必须接收/写入文件csv。但是我不能。我只写了一次csv，但没有附加。你可以在下面看到我的代码。谢谢!import pysparkfrom pyspark.sql.types import *spark = SparkSession.builder\

浏览 23提问于2020-01-11得票数 1

回答已采纳

1回答

Spark Flume streaming -包丢失？

python、apache-spark

_2.10-1.6.2.jar spark-streaming-flume-sink_2.10-1.6.0.jar/bin/pyspark --master ip:7077 --total-executor-cores 1 --packages com.databricks:spark-csv_2.10:1.4.0from

浏览 3提问于2016-08-11得票数 0

1回答

在尝试了许多更改之后，我仍然遇到了将Flume自定义接收器和Spark Stream绑定到同一端口的问题。我使用的是Flume 1.6.0和Spark 2.0.0。使用Spark+flume集成指南，我构建了.conf文件和spark .py文件。我首先启动flume代理，但当我尝试在同一端口上使用Spark-streaming (读取)时，它显示fail to bind。我尝试了多个端口，但据我所知，无法找到任何网络限制(完全权限)。

浏览 17提问于2016-09-28得票数 0

1回答

TypeError：'JavaPackage‘对象不可调用&在类路径中找不到Spark Streaming的Kafka库

apache-spark、pyspark、apache-kafka、spark-streaming

我使用pyspark流来读取kafka数据，但它出错了：from pyspark.streaming.kafka import KafkaUtilssc = SparkContext(appName="test"

浏览 0提问于2020-01-05得票数 0

2回答

OSError：[Errno 22]火花流PySpark中的参数无效

apache-spark、pyspark、spark-streaming

from pyspark.sql import SparkSessionfrom pyspark.streaming import[*]', appName="Spark Kafka streaming test") ssc = StreamingContext(sc, 60) 最后一行是错误来自： Traceback (most-2.4.4-bin-hadoop2.7/pytho

浏览 37提问于2019-12-16得票数 0

1回答

只能在流式数据集/数据帧上调用Spark :writeStream

apache-spark、elasticsearch、pyspark、apache-kafka、spark-structured-streaming

我正在尝试从我的Kafka集群中检索tweet到Spark Streaming，在Spark Streaming中我执行一些分析，将它们存储在ElasticSearch索引中。import os os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_# Spark

浏览 82提问于2020-11-04得票数 2

1回答

执行Spark* streaming从Kafka主题读取数据时出错*

windows、apache-spark、pyspark、apache-kafka

spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.4.7 Streaming Example.pyfrom pyspark import SparkContextfrom pyspark.streaming importStreamingContext f

浏览 15提问于2021-05-27得票数 0

2回答

如何将电火花数据发送到卡夫卡主题？

python、pyspark、apache-kafka、spark-structured-streaming、spark-kafka-integration

import findsparkfrom pyspark.sql import SparkSession ''' To open a spark sessi

浏览 21提问于2022-06-13得票数 0

2回答

无法使用运动流在spark-streaming中创建流

pyspark、spark-streaming、amazon-kinesis

我是kinesis的新手，我正在尝试使用spark-streaming (Pyspark)处理kinesis流数据，并面临以下错误from pyspark import Spark

浏览 0提问于2019-07-20得票数 2

1回答

将Flume twitter流连接到python中火花时出现的UTF-8编码错误

apache-spark、pyspark、spark-streaming、flume-ng、flume-twitter

usr/local/spark/python/lib/pyspark.zip/pyspark/worker.py", line 172, in main File "/usr/python/lib/pyspark.zip/pyspark/streaming/flume.py", line

浏览 5提问于2017-01-01得票数 2

回答已采纳

1回答

在MultilayerPerceptronClassifier类中添加预测阈值

machine-learning、pyspark、classification、cross-validation、apache-spark-ml

$$anonfun$2.apply(sharedParams.scala:201) at org.apache.spark.ml.param.Param.validate(params.scala:72)at org.apache.spark.ml.param.ParamPair.<init>(params.scala:656)

浏览 1提问于2020-06-24得票数 1

1回答

吡火花流和实用程序导入问题

python、pyspark、apache-kafka

'--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.3.0 pyspark-shell' importtimefrom pyspark import SparkContext, SparkConf from pyspark.streamingimport

浏览 1提问于2021-10-18得票数 0

回答已采纳

1回答

由于文件格式不匹配，PySpark数据不能保存在Hive中

apache-spark、pyspark、apache-spark-sql、spark-streaming

我可以通过阅读kafka主题来创建数据格式，但是由于文件格式不匹配，数据没有被写入Hive表。): table = kafka_sink_name kafka_config = { ..

浏览 10提问于2022-03-23得票数 0

回答已采纳

1回答

如何使用多个输入流和多个输出流在一个单一的电火花会话？

apache-spark、pyspark、apache-spark-sql、spark-streaming、spark-structured-streaming

下面是我的代码，from pyspark.sql.types import StructType, StructField,StringType

浏览 3提问于2021-07-18得票数 0

1回答

Pyspark结构化流处理

apache-spark、pyspark、spark-structured-streaming

我正在尝试用spark做一个结构化的流媒体应用程序，主要思想是从kafka源读取，处理输入，写回另一个主题。我已经成功地让spark读写了kafka，但是我的问题出在处理部分。以下是我的代码.builder \.getOrCreate() .readStream \ .option(&

浏览 37提问于2019-07-17得票数 0

回答已采纳

1回答

spark流式传输到pyspark json文件中的数据帧

python、json、pyspark、spark-streaming

from __future__ import print_functionimport csvfrom pyspark import SparkContextfrom pyspark.streaming import StreamingContextfrom pyspark.sqlimport SparkSession fro

浏览 3提问于2017-07-30得票数 0

1回答

Spark streaming一个接一个地处理RDDs？

apache-spark、pyspark

我用pyspark写了一个Spark Streaming程序。这是Spark的默认行为吗?有什么

浏览 1提问于2015-04-29得票数 0

1回答

如何在结构化查询中使用scikit学习模型？

apache-spark、scikit-learn、pyspark、spark-structured-streaming

AttributeError: 'numpy.ndarray' object has no attribute 'isnull'inputPath = "/FileStore/df_training/streaming_df_1_nh_nd/"from pyspark.sql.types import * data_schema = data_

浏览 4提问于2019-11-20得票数 1

回答已采纳

1回答

如何加载已经从Kafka发布的所有记录？

pyspark、apache-kafka、spark-structured-streaming

我有一个pyspark结构的流媒体python应用程序，设置如下 from pyspark.sql import SparkSession .builder\ .getOrCreate() .format(": Streaming query made pr

浏览 7提问于2019-03-05得票数 2

回答已采纳

1回答

PySpark RDD与Scala的转换

apache-spark、pyspark、rdd

TL;DR -我在PySpark应用程序中有一个看起来像字符串的DStream。我想将它作为一个DStream[String] 发送到Scala库。但是，Py4j不转换字符串.。下面是我想出的最简单的Python代码：ssc = StreamingContext(sparkContext=sc, batchDuration=int(1)) from pyspark.streaming.kaf

浏览 4提问于2016-09-12得票数 5

回答已采纳

点击加载更多