我们有一个管理时间序列数据的特定功能。该功能已经作为REST API提供，并在Cloudfoundry上运行。我们希望提供对使用Spark Streaming和kafka摄取时间序列数据的支持，以便解决方案更具可扩展性和健壮性。从spark streaming内部调用REST API在spark中原生构建功能有什么缺点？
浏览 8提问于2017-02-16得票数 0
我正在用Scala2.12(用SBT构建)构建一个Spark (3.0.0)流应用程序。我如何从Twitter中获得tweet，因为所有的库都是针对Scala <= 2.11的。编辑:我在尝试用libs构建时获得的示例输出：[error]import org.apache.spark.streaming.tw
浏览 2提问于2020-08-26得票数 2
;)Lscala/Option; at org.apache.spark.streaming.kinesis.KinesisBackedBlockRDD.getBl
浏览 2提问于2017-04-03得票数 0
回答已采纳
我收到以下错误：
new Duration(2000), System.getenv("SPARK_HOME
浏览 3提问于2017-06-28得票数 0
回答已采纳
我已经下载了为Hadoop2.6和更高版本预先构建的Apache Spark 1.4.1。我有两台Ubuntu 14.04机器。其中一台我设置为Spark主机，只有一台从机，第二台机器运行一台Spark从机。当我执行./sbin/start-all.sh命令时，主设备和从设备都成功启动。我已经创建了一个Java应用程序，并尝试将其配置为在需要时运行Spark作业。我在pom.xml文件中添加了spark依赖项。&l
浏览 0提问于2015-11-09得票数 5
回答已采纳
-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming --> <groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</art
浏览 0提问于2019-01-11得票数 1
回答已采纳
Query ===\nIdentifier: [id = 60exxxxxxxxxxxxxspark-tags_2.11-2.4.0.jar,spark-streaming_2.11-2.4.0.jar,amazon-kinesis-client#######
spark-tags_2.11-2.4.3
浏览 0提问于2020-09-08得票数 0
我已经创建了一个fat jar并将其上传到hdfs，我只是从Livy调用它的main方法。" : "yarn","spark.executor.extraClassPath" :
"/etc/hbase/conf/","spark.executor.extraJavaOptions" :/Livy/SampleFile.json -H "Content-Type: applica
浏览 22提问于2019-10-02得票数 0
对于处理，我们目前使用的是google cloud dataproc & spark-streaming。我想使用REST API提交一个Spark作业，但是当我使用api-key调用URI时，我得到了以下错误！caller does not have permission", }URI :- *
我从google console>
浏览 2提问于2016-06-13得票数 0
然而，本周我们不能再构建了，因为这个已经从Redhat回购中删除了。我将管道升级为BeamVersion2.32.0。我们的管道使用SparkRunner，Spark的版本是: 3.2.0。(TranslationUtils.java:271)at o
浏览 4提问于2022-07-12得票数 0
1回答
我正在构建一个使用Scala/SQL启动用户构建查询(业务规则)的过程。其中一个要求是，如果SQL执行的速度比预期的慢(每条规则都有一个预期的性能(以秒为单位)属性)，我需要为将来的引用将它们标记为这样，并终止长时间运行(缓慢)的进程/作业，
如果线程没有在预期的时间内完成，则终止作业并将其报告为一个缓慢的进程。
浏览 1提问于2017-05-01得票数 2
2回答
我正在尝试部署与Spark示例提供的相同文件，但我希望构建并部署此特定示例，作为独立应用程序。;import org.apache.spark.api.java.StorageLevels;import org.apache.<em
浏览 1提问于2015-07-28得票数 1
回答已采纳
2回答
如何使用Spark上下文？
、、、、
我将值赋值为sc = pyspark.SparkContext()。它在jupyter笔记本上运行了很长时间，没有响应，因为出现了星号，并且没有显示任何错误。
浏览 1提问于2019-05-29得票数 0
我们正在试图找到一种加载Spark (2.x) ML训练模型的方法，这样我们就可以根据请求(通过REST接口)查询它并获得预测，例如
有一些现成的库可以将模型加载到Spark中(假设它是在使用MLWritable训练后存储在某个地方)，然后将其用于预测，但由于SparkContext的初始化，将其包装在作业中并在每次请求/调用时运行它似乎有些过分。然而，使用Spark的好处是我们可以保存我们的管道模型并执行相同的功能转换，而不必在SparkContext外部实现它。经过一些挖掘
浏览 1提问于2017-02-14得票数 5
我想调用一个web服务来获取Spark Structured Streaming中的一些数据。有可能吗？多么?
浏览 0提问于2019-12-07得票数 5
我正在构建spark 2.4.3，使其与最新的hadoop 3.2.0兼容。生成命令为./build/mvn -Pyarn -Phadoop-3.2 -Dhadoop.version=3.2.0 -DskipTests clean package[INFO] Spark ProjectSUCCESS [ 1.558 s]
[INFO] Spark Project Shuffle Strea
浏览 41提问于2019-07-31得票数 3
回答已采纳
我使用Spark2.0.2(在DSE / DataStaX企业版5.1中)来运行一些流媒体应用。我的Spark streaming应用程序为每个微批处理调用了一些RDD.persist()，而RDD.unpersist()从未被调用过(到目前为止，我们依靠缓存空间的LRU功能来解除持久化)。我想我会在Spark UI的"Storage“选项卡中看到持久化RDD的列表增长了很多。
然而，在Spark UI的"
浏览 0提问于2019-07-05得票数 0
在调用时，是什么导致Apache Spark 1.4.0中的序列化错误：引发此异常：Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope)
从
浏览 7提问于2015-06-25得票数 19
回答已采纳
1回答
在星火流中，设置StreamingContext以将检查点设置为可靠的数据存储(S3、HDFS、.)是可能的(如果要使用有状态操作，也是强制性的)。(和)：
另一方面，可以通过在每个DataStream上调用checkpoint(timeInterval)来设置它们的沿袭检查点间隔。实际上，建议将沿袭检查点间隔设置为DataStream滑动间隔的
浏览 4提问于2015-12-31得票数 13
回答已采纳
;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.<
浏览 0提问于2016-06-01得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
