在spark官方文档中，我发现： # ConnectionPool is a static, lazily initialized pool ofconnections for record in iter:但是我找不到任何用火种设置<
浏览 11提问于2019-07-22得票数 1
1回答
我想知道通过backpressure在spark streaming中通过pyspark启用pyspark的正确方法是什么。看起来我在很短的时间内收到了太多来自Kafka的消息，然后就爆炸了。下面是我的spark streaming代码。
浏览 1提问于2018-05-13得票数 2
回答已采纳
1回答
电火花流卡夫卡偏移管理
、、、、
我一直在做星火流工作，这些工作是通过卡夫卡( kafka )来消费和生产数据的。我使用了directDstream，所以我不得不自己管理偏移量，我们用redis编写和读取offsets.Now有一个问题，当我启动我的客户端时，我的客户需要从redis获得偏移量，而不是使用itself.how中存在的偏移量来显示我编写的代码?现在我已经编写了下面的代码： ssc, kafkaParams={"boots
浏览 0提问于2018-04-12得票数 2
回答已采纳
2回答
bin/pyspark --packages org.apache.spark:spark-streaming-kafka_2.10:1.5.2基于中的示例。from pyspark.streaming import StreamingContext
ssc =/streaming/util.py", line 62
浏览 3提问于2015-11-15得票数 3
2回答
我试图运行以下PySpark流在木星笔记本。下面是我在笔记本中使用的代码的第一部分：from pyspark.streaming import StreamingContextfrom pyspark.streaming.kafka import KafkaUtils
sc = pyspark.SparkContext(master='local[*]',appName="
浏览 0提问于2018-06-29得票数 1
回答已采纳
不确定如何继续。下面是我正在运行的命令和错误。/opt/spark/bin/spark-submit --jars spark-streaming_2.10-2.0.0.jar test_kafka.py broker.txt "localhostKafkaUtils.createDirectStream(ssc, [topic], {"metadata.broker.list": brokers})
File "/opt/spark/p
浏览 9提问于2016-08-29得票数 3
我试图通过环境变量PYSPARK_SUBMIT_ARGS中设置的PYSPARK_SUBMIT_ARGS选项导入库。(如果我试图在pyspark-shell之前指定--packages选项，则根本无法实例化spark上下文)
我不知道这些下载的jars (或一般的jars//spark.apache.org/docs/latest/api/python/pyspark.h
浏览 0提问于2019-12-11得票数 0
我可以运行火星雨和运行一个脚本的木星笔记本。但是，当我试图使用submit从终端运行文件时，会得到以下错误：有人能帮我一下我的配置有什么问题吗？
浏览 2提问于2017-09-30得票数 9
如何在Pyspark中使用带有特定Topic偏移量的KafkaUtils.createDirectStream？
浏览 0提问于2015-10-22得票数 12
1回答
如何使从卡桑德拉流到星火？
、、、、
print_function
import sysfrom random import randomfrom pyspark.streamingimport StreamingContextfrom pyspark.streaming.kafka importKafkaUtils
from pyspark</em
浏览 1提问于2016-01-26得票数 7
回答已采纳
我已经设置了一个Kafka代理，并且我设法用pyspark读取记录。import osimport pysparkfrom pyspark import SparkConf, SparkContext, SQLContext, Rowfrom pyspark.
浏览 12提问于2020-05-20得票数 0
我正在学习如何将spark与kafka集成。目前，我创建了一个virtualenv并安装了pyspark、py4j包。我还配置了以下环境：
from pyspark.streaming import StreamingContext
from pyspark.<e
浏览 0提问于2019-07-15得票数 0
回答已采纳
我正在尝试从我的Kafka集群中检索tweet到Spark Streaming，在Spark Streaming中我执行一些分析，将它们存储在ElasticSearch索引中。import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.3.0,org.elasticsearch:elasticsearch-hadoop:7.6.2
浏览 82提问于2020-11-04得票数 2
我尝试将MQTT与PySpark结构流结合使用。from pyspark.sql import SparkSessionfrom pyspark.sql.functions$apache$spark$sql$execution$streaming$StreamExecution$$runStream(StreamExecution.scala:295)
at org.apache.spark.sql.execut
浏览 5提问于2018-07-26得票数 3
1回答
我想使用Apache和Spark流来设置一个流应用程序。Kafka运行在一个单独的unix机器版本0.9.0.1上，Sequv1.6.1是hadoop集群的一部分。我用python编写了代码，并使用以下命令执行：/opt/mapr/spark/spark-1.6.1/python/lib/
浏览 6提问于2016-08-24得票数 1
回答已采纳
我有一个包含以下代码的PySpark作业InitiatorSpark.py： .readStream
.format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider.load("tcp://{}&
浏览 10提问于2018-07-23得票数 1
我的设置：Scala 2.11火花2.2.1我甚至不能运行示例脚本：from pyspark import SparkContext, SparkConffrom <em
浏览 1提问于2018-02-09得票数 3
2回答
无法看到星火中卡夫卡流的信息
、、、、
我一直在Jupyter Notebook上运行整个设置。我正在尝试从Twitter Streaming获取数据。(auth, CustomStreamListener(api))火花流代码from pyspark.streaming
浏览 4提问于2017-09-30得票数 0
我如何在pyspark上(在emr上)读取这个流？我希望能够在此数据流上执行操作。JavaPackage' object is not callable File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/streaming/kinesis.py", line 8
浏览 35提问于2020-07-03得票数 1
1回答
我正在处理来自卡夫卡的火花流(PySpark)中的连续数据，现在我想将处理过的数据发送到Tensorflow。如何用Python在Tensorflow中使用这些转换后的DStreams？谢谢。以下是py代码：from pyspark import SparkContextfrompyspark.streaming.kafka import KafkaU
浏览 0提问于2018-12-18得票数 3
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号