我想建立一个应用程序，这将运行在本地支持实时数据处理，并需要使用python构建。 需要实时提供的输入，并且是google电子表格的形式(多个用户同时提供数据)。此外，需要将代码的实时输出写回其相邻列中的电子表格。 也请帮帮我。 谢谢
浏览 17提问于2020-11-05得票数 0
我正在将Spark结构化流应用程序部署到Google引擎，在使用gs:// URI方案访问桶时，我面临以下例外情况： at org.apache.spark.sql.execution.streaming.MicroBatchExecution:466)
at
浏览 2提问于2021-02-04得票数 2
回答已采纳
1回答
任何人都可以帮助我，我如何才能分析基于‘键’的twitter数据，无论我写什么。我找到了这段代码，但这是给我一个错误。import java.io.Fileimport org.apache.spark.streaming.twitter.TwitterUtilsimport org.apache.spark.streaming.Spark Context...")})
ssc.start()
浏览 0提问于2015-10-26得票数 0
Spark从kafka获取数据。我想通过spark-streaming限制记录消耗。关于卡夫卡的数据非常庞大。我使用spark.streaming.kafka.maxRatePerPartition=1属性来限制spark中的记录。但是仍然在5分钟内，我收到了13400条消息。我的spark程序每5分钟不能处理超过1000条消息。Kafka topic有3个分区。我的spark驱动内存是5 3GB，有3个执行器，每个
浏览 17提问于2018-02-06得票数 0
不确定如何继续。下面是我正在运行的命令和错误。/opt/spark/bin/spark-submit --jars spark-streaming_2.10-2.0.0.jar test_kafka.py broker.txt "localhostkvs = KafkaUtils.createDirectStream(ssc, [topic], {"metadata.broker.list": brokers})
File
浏览 9提问于2016-08-29得票数 3
我正在使用下面的pom.xml来构建我的项目。当我使用spark submit运行结果jar时，它给出了以下错误。java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils
但是，如果我包含--packages "org.apache.spark:spark-streaming-kafka-0-8-as
浏览 38提问于2017-08-29得票数 0
回答已采纳
已启用线程"main“java.io.NotSerializableException: DStream检查点中的异常，但DStreams及其函数是不可序列化的 - object (class org.apache.spark.streaming.dstream.ForEachDStream, org.apache.spark.streaming.dstream.ForEachDStream: org.apache.
浏览 6提问于2016-08-25得票数 2
1回答
火花卡夫卡流误差
、、、
我遵循了下面提到的教程，并在shell中执行Scala代码，并获得了下面提到的错误。火花: 2.2 Kafka : 2.12
import org.apache.spark.streaming.StreamingContextscala> import org.apache.spar
浏览 1提问于2018-03-07得票数 0
your installation and try again at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethodssun.launche
浏览 0提问于2017-03-27得票数 9
1回答
我正在为一个用python编程的项目使用kafka和spark streaming。我想将kafka producer的数据发送到我的流媒体程序中。当我使用指定的依赖关系执行以下命令时，它可以顺利地工作：是否有任何方法可以指定依赖项并直接运行流代码(例如，不使用spark-submit或使用spark-submit但不指定依赖项)。指定的依赖项为: 1.org.apache.
浏览 2提问于2017-06-26得票数 0
当我尝试使用spark streaming使用来自kafka主题的消息时，得到以下错误错误：
`missing or invalid dependency
浏览 4提问于2018-07-05得票数 1
在Google Cloud Storage上使用带有Kafka检查点的Dataproc 1.1 (Spark 2.0.2)时，我收到了很多警告。:194)atorg.apache.spark.streaming.scheduler.ReceivedBlockTracker.writeT
浏览 1提问于2016-12-12得票数 2
1回答
使用，使用Cloudera解决方案，我使用的是3个执行器，但是当我启动应用程序时，使用的执行器只有一个。如何使用多个执行器？--conf spark.dynamicAllocation.enabled=false \
--conf spark.streaming.backpressu
浏览 0提问于2018-04-27得票数 2
回答已采纳
我开始做一个spark流媒体工作，并为kinesis endpoint找到了一个制片人。在开始工作后，我开始制作一个消费者，但我在构建它时遇到了问题。"org.apache.spark" %% "spark-streaming" % "1.
浏览 1提问于2015-07-18得票数 4
我试图读取卡夫卡的数据，并将其上传到格林梅利的数据库使用火花。我使用的是格林梅-火花连接器，但我正在获取数据源，io.pivotal.greenplum.spark.GreenplumRelationProvider不支持流写入。是否格林梅源不支持流媒体数据？我曾尝试将数据源命名为“绿梅”，并将"io.pivotal.greenplum.spark.GreenplumRelationProvider“转换为.format(”数据源“)
val EventStream= spark.readStr
浏览 0提问于2019-04-04得票数 0
回答已采纳
1回答
如何在DataProc UI上指定多个jar文件(我指的是在Web上)。/spark-streaming-twitter_2.11/jars/spark-streaming-twitter_2.11-2.0.1.jar,/home/xxx/.ivy2/cache/org.twitter4j\
target/scala-2.11/spark-twitter-stream-exam
浏览 0提问于2018-07-06得票数 0
我正在尝试执行下面的火花流示例代码。
我正在一个AWS EMR集群上运行它，它的版本为SparkVersion2.0.2。下面的依赖项被添加到星火提交中。at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$org$apache$spark$sql$execution$streaming$spark$sql$execution$streaming$StreamExecution$$run
浏览 2提问于2017-06-06得票数 0
回答已采纳
我试图在Shell中使用twitterUtils (默认情况下它们是不可用的)。我在spark-env.sh中添加了以下内容我现在可以执行
impo
浏览 7提问于2014-08-01得票数 9
回答已采纳
我已经通过spark批处理作业在hdfs中持久化了机器学习模型，我在我的spark streaming中使用了这个模型。基本上，ML模型是从spark驱动程序广播给所有执行器的。有人能建议我如何在不停止spark streaming作业的情况下实时更新模型吗？基本上，当有更多的数据点可用时，将创建一个新的ML模型，但不知道如何将新模型发送到spark executors。
浏览 11提问于2018-02-12得票数 2
2回答
火花流吞吐量监测
、、、、
是否有一种方法可以监视Spark集群的输入和输出吞吐量，以确保群集不会被传入的数据淹没和溢出？在我的例子中，我在AWS EC2上设置了Spark集群，因此我考虑使用AWS CloudWatch来监视集群中每个节点的NetworkIn和NetworkOut。更新：Spark1.4发布，在端口4040上的监视显着地增强了图形显示
浏览 3提问于2015-05-01得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
