Spark Streaming在哪里运行？
Spark Streaming可以在各种环境中运行，包括本地环境、云环境和集群环境。
- 本地环境：Spark Streaming可以在个人计算机或开发者的本地环境中运行。在本地环境中，可以使用Spark的本地模式来运行Streaming应用程序。本地模式适用于开发和测试目的，可以在单个计算机上模拟分布式计算。
- 云环境：Spark Streaming可以在各种云计算平台上运行，如腾讯云、AWS、Azure等。在云环境中，可以使用云服务提供商提供的Spark集群来运行Streaming应用程序。云环境提供了弹性扩展和高可用性的优势，可以根据需求自动调整计算资源。
- 集群环境：Spark Streaming最常见的运行方式是在分布式集群环境中。可以使用各种集群管理工具，如Apache Mesos、Hadoop YARN或Standalone模式来管理Spark集群。在集群环境中，可以将Streaming应用程序提交到集群中，并利用集群的计算和存储资源来处理实时数据。
总结起来，Spark Streaming可以在本地环境、云环境和集群环境中运行，具体选择哪种环境取决于应用程序的需求和资源可用性。在腾讯云上，可以使用Tencent Spark Streaming服务来运行Streaming应用程序，详情请参考：https://cloud.tencent.com/product/spark
相关·内容
1回答
Spark Streaming在哪里运行？
apache-spark、spark-streaming
据我所知，Spark可以使用Spark Streaming分析流。Kafka可以从多个来源接收数据。我不明白的是，如果我有一个Kafka集群从多个来源接收数据，数据会被发送到一个运行Spark Streaming的数据库吗？或者Spark Streaming是否在应用服务器上运行？
浏览 5提问于2017-01-25得票数 0
回答已采纳
1回答
NotSerializableException:已启用DStream检查点，但DStreams及其函数是不可序列化的
serialization、apache-spark、spark-streaming
======================================================= - object (class org.apache.spark.streaming.dstream.ForEachDStream, org.apache.spark.streaming.dstream.ForEach
浏览 6提问于2016-08-25得票数 2
1回答
Spark Streaming中的RDD分布
apache-spark、spark-streaming、rdd
在spark streaming中，接收到的数据在集群中工作节点的多个Spark executors之间复制(默认复制系数为2)()。但是，如何才能获得特定RDD的复制位置？
浏览 2提问于2015-06-17得票数 0
2回答
spark streaming和kafka，增加spark来自kafka的消息数量
apache-kafka、spark-streaming
我向Kafka发送消息，我希望在其他应用程序中通过spark streaming接收这些消息，但Spark接收的消息速率约为40,000。我想增加Spark每个间隔接收的消息数，我该怎么做呢？
浏览 0提问于2017-03-11得票数 1
1回答
火花2.1.0错误- kafka.cluster.BrokerEndPoint不能转换为kafka.cluster.Broker
apache-spark、apache-kafka、spark-streaming
我正在使用Spark2.1.0，而且org.apache.spark.spark-sql_2.11org.apache.spark.spark-streaming_2.11
作为作业jar中的依赖项，我试图通过spark</em
浏览 5提问于2017-04-06得票数 0
2回答
用Scala将水槽倒入火花
java、scala、apache-spark、sbt、flume
source_agent.sinks.spark.type=org.apache.spark.streaming.flume.sink.SparkSink import org.apache.spark.streaming.StreamingContext._
import org.apache.spark</em
浏览 1提问于2016-04-11得票数 0
回答已采纳
1回答
星火流卡夫卡消费者不喜欢DStream
apache-spark、apache-kafka、spark-streaming、kafka-consumer-api、spark-streaming-kafka
我正在使用Shell (Scala2.10和星火流org.apache.spark:spark-streaming-kafka-0-10_2.10:2.0.1)来测试星火/卡夫卡消费者：import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.streaming.kafka010.Consume
浏览 1提问于2016-11-15得票数 0
回答已采纳
2回答
Spark无法下载kafka库
apache-spark、apache-kafka
我正在使用Python 3.5和Spark 2.2流媒体与Kafka，脚本无法运行，因为缺少kafka库。artifactId = spark-streaming-kafka-0-10_2.11我运行了"spark-submit在下一次运行时，我<em
浏览 22提问于2018-08-27得票数 6
回答已采纳
3回答
持续信息JobScheduler:59 -在我的Spark独立集群中添加作业时间*毫秒
apache-spark、spark-streaming、apache-spark-standalone
我们正在使用具有8核和32 We的Spark独立集群，具有相同配置的3个节点集群。
有时批处理流在不到1秒的时间内完成。在某些情况下，控制台中会出现以下日志，该时间超过10秒。
浏览 0提问于2016-03-29得票数 3
1回答
Spark Streaming +卡夫卡"JobGenerator“java.lang.NoSuchMethodError
java、apache-spark、apache-kafka、streaming、spark-streaming-kafka
我是spark streaming和kafka的新手，我不理解这个运行时异常。我已经设置好kafka服务器了。(Lorg/apache/spark/streaming/Time;Lorg/apache/spark/streaming/scheduler/StreamInputInfo;)V
at org.apache.spark.streaming</em
浏览 1提问于2015-12-14得票数 1
2回答
为什么Spark结构化流不允许改变输入源的数量？
apache-spark、pyspark、apache-kafka、spark-structured-streaming
load()df = sparksubscribePattern", "topic.*") \df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
在进一步研究后我的理解是Sp
浏览 6提问于2020-06-09得票数 2
2回答
这个奇怪的异常终止了我的spark任务，有什么想法吗？at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner:84)
at org.apache.spark.util.ClosureCleaner$.clean(Closu
浏览 0提问于2015-06-23得票数 3
1回答
无法将Eventhub数据写入Databricks中的ADLS，出现运行时错误
pyspark、spark-streaming、azure-databricks、azure-eventhub
当我在databricks中运行writeStream代码时，如下所示： df_out = cdf.writeStream\ .outputMode("appendcheckpointLocation", "/path/to/checkpoint/directory")\
.start("/mnt/container-name/folder-name") 我
浏览 35提问于2021-10-21得票数 0
1回答
运行星星之火-提交: java.lang.NoSuchMethodError: com.couchbase.spark.streaming.Mutation.key()
scala、apache-spark、sbt、spark-submit
import org.apache.spark.SparkConf "org.apache.spark" %% "spark-streaming" % "2.4.0",
"org.apache.spark</em
浏览 0提问于2019-02-22得票数 0
1回答
火花流+ Kafka集成0.8.2.1
scala、apache-spark、apache-kafka、spark-streaming
这是我的密码：import org.apache.spark.streaming._import org.apache.spark.streaming.kafka" % "
浏览 1提问于2019-01-14得票数 0
回答已采纳
2回答
无法使用Spark结构化流在Parquet文件中写入数据
scala、apache-spark、spark-structured-streaming
我有一个星火结构的流： .readStream .option("kafka.bootstrap.serverswriteStream .format("parquet")但是在data只有_spark_metadata
浏览 5提问于2017-05-25得票数 4
回答已采纳
1回答
使用java.lang.AbstractMethodError的cloudera上的spark kinesis失败
apache-spark、spark-streaming、cloudera-cdh、amazon-kinesis、amazon-kinesis-kpl
我正在用aws kinesis写一篇spark streaming <groupId>org.apache.spark</groupId> </dependency>17/04/27
浏览 3提问于2017-04-27得票数 5
1回答
Flume+Spark -在HDFS中存储DStream
apache-spark、spark-streaming、flume
我有水槽流，我想把它存储在HDFS通过火花。下面是我正在运行的火花代码 def main(args: Array[String]) { System.err.println)}[root@sandbox ~]# hadoop fs -cat /user/root/spark/flu
浏览 3提问于2016-04-01得票数 2
回答已采纳
1回答
用于Twitter流的Spark依赖项配置
scala、apache-spark、twitter、sbt
我正在尝试运行一个带有Twitter流的Spark应用程序。然而，我经常遇到依赖关系的问题。当我使用org.apache.bahir spark-streaming-twitter时，我得到这样一个错误： "org.apache.spark" %% "spar
浏览 0提问于2018-04-08得票数 1
0回答
使用Java和Kafka的Apache Spark流
java、apache-spark、apache-kafka
我正在尝试运行中的Spark Streaming示例<dependency> <artifactId;import org.apache.spark.streaming.ap
浏览 5提问于2018-07-16得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
