foreachRDD不执行
foreachRDD是Apache Spark Streaming中的一个函数，用于对DStream中的每个RDD执行指定的操作。但是如果foreachRDD不执行，可能有以下几个原因：
- DStream没有被启动：在Spark Streaming中，DStream需要通过调用start()方法来启动。如果没有启动DStream，那么其中的操作，包括foreachRDD，将不会执行。可以通过调用streamingContext.start()来启动DStream。
- 没有设置输出操作：foreachRDD需要在DStream中设置输出操作，才能执行。输出操作可以是将数据保存到文件系统、数据库或其他外部系统中。如果没有设置输出操作，foreachRDD将不会执行。可以通过调用DStream的saveAsTextFiles()、foreach()等方法来设置输出操作。
- 没有触发计算：Spark Streaming是基于微批处理的，需要通过调用streamingContext.awaitTermination()或streamingContext.stop()来触发计算。如果没有触发计算，foreachRDD将不会执行。可以在代码的最后添加streamingContext.awaitTermination()来触发计算。
总结起来，如果foreachRDD不执行，需要确保DStream已经启动、设置了输出操作，并且触发了计算。如果仍然无法执行，可能需要检查代码中是否存在其他问题，例如数据源是否正确、数据处理逻辑是否正确等。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 MySQL 版（CDB）：https://cloud.tencent.com/product/cdb
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（移动推送）：https://cloud.tencent.com/product/umeng
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云游戏多媒体引擎（GME）：https://cloud.tencent.com/product/gme
- 腾讯云音视频处理（VOD）：https://cloud.tencent.com/product/vod
- 腾讯云网络安全（DDoS 高防 IP）：https://cloud.tencent.com/product/ddos
相关·内容
请描述您的问题
标题：存储桶概述 - 对象存储 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/436/6244
浏览 979提问于2018-01-31
1回答
火花流textFileStream表输出的RDD.saveAsTextFile
scala、apache-spark、spark-streaming
运行Spark1.6.2(纱线模式)
首先，我有一些从这篇文章到的代码，所以这可能是问题所在，但希望不是。
基本上，我有第一份工作。
import org.apache.spark.SparkContext
import org.apache.spark.streaming.{StreamingContext, Seconds}
import org.apache.hadoop.io.{LongWritable, Text}
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat
def getStream(ssc: Stre
浏览 1提问于2017-02-01得票数 0
回答已采纳
3回答
智能联想的使用示例呢？详见API/SDK使用？？ 没有啊，示例代码也没有？
云 API、官方文档
智能联想的使用示例呢？详见API/SDK使用？？ 没有啊，示例代码也没有
标题：智能联想 - 云搜 - 文档首页 - 腾讯云文档平台 - 腾讯云
地址：https://cloud.tencent.com/document/product/270/1201
浏览 424提问于2018-03-13
7回答
怎么导出腾讯云服务器镜像并下载到本地？
导出的镜像，我能在本地环境正常使用么，我想把这个镜像再安装到我本地的电脑上，请问这个操作是都能成功
浏览 14488提问于2020-08-03
3回答
如果视频过大 是否支持分段上传？
云点播、官方文档
请描述您的问题
标题：PHP SDK - 点播 - 文档首页 - 腾讯云文档平台 - 腾讯云
地址：https://cloud.tencent.com/document/product/266/9725
浏览 467提问于2018-03-16
3回答
spark流检查点恢复非常非常慢
apache-spark、amazon-s3、spark-streaming、amazon-kinesis、checkpointing
目标:通过spark streaming.Situation:从Kinesis读取数据并以拼图格式存储到S3应用程序最初运行良好，运行批处理时间为1小时，平均处理时间不到30分钟。由于某些原因，假设应用程序崩溃，我们尝试从检查点重新启动。现在，处理过程将持续很长时间，并且不会继续进行。我们尝试以1分钟的批处理间隔测试相同的内容，处理运行正常，批处理需要1.2分钟才能完成。当我们从检查点恢复时，每批大约需要15分钟。注意:我们对检查点使用s3，每个执行器使用19g内存和3个内核
附加截图：
首次运行-在检查点恢复之前
尝试从检查点恢复的：
Config.scal
浏览 76提问于2016-07-15得票数 21
回答已采纳
2回答
尝试理解spark streaming流
apache-spark
我有一段代码：
val lines: org.apache.spark.streaming.dstream.InputDStream[(String, String)] = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](
ssc, kafkaParams, topics)
lines.foreachRDD { rdd =>
val df = cassandraSQLContext.read.json(rdd.map(x => x._2))
浏览 0提问于2017-04-22得票数 0
1回答
如何在齐柏林飞艇中用Spark sql查询spark StreamingContext？
scala、apache-kafka、apache-spark-sql、spark-streaming、apache-zeppelin
我正在尝试使用spark sql来查询来自kafka的数据，使用zeppelin进行实时趋势分析，但没有成功。
下面是我在zeppelin中运行的简单代码片段
//Load Dependency
%dep
z.reset()
z.addRepo("Spark Packages Repo").url("http://repo1.maven.org/maven2/")
z.load("org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.1")
z.load("
浏览 0提问于2016-12-03得票数 1
2回答
安全组已经解禁可还是拒绝连接？
云服务器、bash、bash 指令、网络安全
我在腾讯云商购买了三台服务器的使用权限，怎么用我本机通过xshell连接云服务器，安全组已经解禁可还是拒绝连接
浏览 273提问于2021-12-05
9回答
如何利用腾讯云冷迁移工具将主机迁移至云主机CVM中？
云服务器、数据迁移
想要使用腾讯云的CVM服务器并把原主机数据迁移至CVM。请问使用冷迁移是如何操作，相比起其他迁移方式呢？
浏览 2533提问于2018-09-05
1回答
Pyspark -将控制转移出Spark会话(sc)
pyspark、spark-streaming、dstream
这是关于的后续问题
要记录一天或一小时内收到的错误消息/警告消息的数量--如何设计工作。
我尝试过的：
from __future__ import print_function
import sys
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
def counts():
counter += 1
print(counter.value)
if __name__ == "__main__"
浏览 0提问于2017-02-13得票数 0
1回答
关于轻量服务器windows server 2012升级server2016,问题，升级重启蓝屏？
windows、系统架构、server、服务器
关于轻量服务器windows server 2012升级server2016,问题，在升级过程中重新就蓝屏，有人遇到这个问题的没有啊，这个要怎么解决呢，我用我家里的电脑，就能升级成功，但这个轻量云，就不得行。应该是驱动上边的问题，希望高手解决一下。
浏览 209提问于2023-11-27
2回答
为什么spark streaming速度很慢？
apache-spark、spark-streaming
我使用了github仓库中的spark streaming示例程序，并尝试使用kafka和自定义接收器。在这两种情况下，我都会在20-30秒后得到输出。在自定义接收器代码中，我立即获得数据，但输出需要20-30秒。我在单个节点上运行这段代码。
是我做错了什么，还是有优化，我需要执行，还是因为我在单节点上运行。
如果有人可以指导我，这将是一个很大的帮助。
我使用了spark存储库中的代码，以下是代码：
import scala.Tuple2;
import com.google.common.collect.Lists;
import org.apache.spark.SparkConf;
i
浏览 0提问于2014-10-24得票数 4
1回答
在jscc.start()处出错
java、apache-spark、spark-streaming
这是我的火花代码和pom.xml。这个程序的问题是JavaStreamingContext只流第一批记录，它不再流了，而且我在jscc.start()上出错了。有人能告诉我为什么会发生这种事吗。我的火花依赖有什么问题吗？
17/04/11 10:32:20错误StreamingContext:启动上下文错误，将其标记为已停止java.lang.IllegalArgumentException:需求失败:未注册输出操作，所以在org.apache.spark.streaming.DStreamGraph.validate(DStreamGraph.scala:163)，org.apache.s
浏览 4提问于2017-04-11得票数 0
回答已采纳
1回答
火花流重复网络呼叫
apache-spark、apache-kafka、pyspark、spark-streaming、twitter-streaming-api
我正在用火花放电和卡夫卡接收器来处理一系列的推文。我的应用程序的一个步骤包括调用，以获得每条推文的情感评分。但是，我看到API在每个处理过的tweet上得到几个调用(我看到Google控制台中的调用数)。
另外，如果我打印tweetID(在映射函数中)，我会得到相同的ID 3或4次。在我的应用程序的末尾，tweet被发送到Kafka中的另一个主题，在那里我得到了正确的tweet计数(没有重复ID)，所以原则上一切正常工作，但我不知道如何避免在每条推特上多次调用Google。
这与火花或卡夫卡中的一些配置参数有关吗？
下面是我的控制台输出的一个示例：
TIME 21:53:36: Google
浏览 3提问于2016-11-22得票数 1
回答已采纳
5回答
云托管解决方案的最大成本(AWS、Azure、Google等)
amazon-web-services、amazon-ec2、azure、google-cloud-platform
有人知道在使用实例(例如EC2)托管一些可公开访问的内容时的理论上最坏的情况支出吗？我的意思是，实例成本本身是可以估计的，但如果恶意实体开始以比正常(例如通过僵尸网络)高出数量级的速度开始下载，会发生什么。出站流量是计费的，除非由主机具体实现，否则不能被控制--这很少是这样的，让我们说实话吧。我想在某种程度上，DDoS保护和类似的东西会起作用，但这也可能需要一段时间。
在我看来，没有云提供商支持硬预算限制(他们愿意避免，这又意味着它必须花费大量的客户)，所以我的问题是，有人考虑过这一点，甚至经历过这样的情况吗？是否有来自云提供商的任何技术保护，还是完全留给用户？
奇怪的是，在CS中，我们总是谈
浏览 0提问于2019-06-17得票数 3
1回答
是否可以使用火花流来流数据库表数据？
java、apache-spark、apache-spark-sql、spark-streaming
试图流SQLServer表数据。因此，我们用main类创建了一个简单的java程序。创建一个sparkconf并使用它，启动一个JavaStreamingContext并从中检索SparkContext。使用JdbcRDD和JavaRDD的Spark接收数据库中的数据，启动inputQueue，然后编写JavaInputDStream。因此，完成了先决条件并启动了JavaStreamingContext。因此，我在准备inputQueue时收到了第一组数据，但没有为进一步的流获取数据。
package com.ApacheSparkConnection.ApacheSparkConnectio
浏览 1提问于2020-05-07得票数 0
7回答
检查Spark流作业是否挂起的最佳方法
apache-spark、apache-spark-sql、bigdata、spark-streaming
我有Spark streaming应用程序，它基本上从Kafka获得触发消息，这启动了批处理，这可能需要2个小时。
有一些事件，其中一些作业无限期地挂起，并且没有在通常的时间内完成，目前我们无法在不手动检查Spark UI的情况下确定作业的状态。我想知道当前正在运行的spark作业是否挂起的方法。所以基本上，如果它挂起超过30分钟，我想通知用户，这样他们就可以采取行动。我有哪些选项？
我知道我可以使用驱动程序和执行器的度量标准。如果我要选择最重要的一个，它将是最后收到的批处理记录。当为StreamingMetrics.streaming.lastReceivedBatch_records ==
浏览 6提问于2018-10-18得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
