腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(360)
视频
沙龙
1
回答
创建新StreamingContext时的AbstractMethodError
scala
、
apache-spark
、
spark-streaming
、
spark-streaming-kafka
我一直在尝试实例化Spark Streaming的新StreamingContext时遇到问题。下面是我正在尝试执行的代码import org.apache.spark.streaming.{Seconds, Stream
浏览 28
提问于2019-08-01
得票数 0
回答已采纳
1
回答
object StreamingContext不是package org.apache.spark [error] import org.apache.spark.StreamingContext的成员
scala
、
apache-spark
、
spark-streaming
我正试图在SBT上的spark中运行nc wordcount程序,我得到以下错误,记录我的spark版本:- 1.6.3,scala版本是2.10.0[warn] * commons-net:commons-net:2.2 is selected over 3.1 [warn] +- org.apache.spark:spark-core_2.10:1.6.3
浏览 2
提问于2018-08-18
得票数 0
1
回答
主线程java.lang.NoClassDefFoundError异常: org/apache/spark/streaming/StreamingContext
scala
、
apache-spark
、
intellij-idea
、
sbt
、
spark-streaming
"org.apache.spark" %% "spark-sql" % "2.2.0" // https://mvnrepository.com/artifact/org.apache.spark/
spark-streaming
libraryDependencies += "org.apache.spark" %% "
spark-streaming
" % "2.2.0"
浏览 20
提问于2018-03-03
得票数 3
回答已采纳
3
回答
为什么不单独使用
spark-streaming
real-time
、
apache-kafka
、
spark-streaming
、
lambda-architecture
我没有太多使用Kafka/
Spark-Streaming
的经验,但我读过很多关于组合在为分析/仪表板构建实时系统方面有多棒的文章。有人能给我解释一下为什么
spark-streaming
不能单独完成吗?换句话说,为什么Kafka在数据源和
spark-streaming
之间? 谢谢
浏览 1
提问于2016-01-11
得票数 1
1
回答
无法优雅地完成气流DAG
apache-spark
、
spark-streaming
、
airflow
我有一个
spark-streaming
作业,运行在EMR上,由气流排定。我们每周都要优雅地终止这个电子病历集群。但是,当我向运行中的kill应用程序发出SIGTERM或
spark-streaming
信号时,它在气流DAG中报告为“失败”任务。这将阻止DAG进一步移动,防止下一次运行触发。有什么方法可以杀死正在运行的
spark-streaming
应用程序来标记成功,或者让DAG完成,即使它认为任务失败了?
浏览 1
提问于2018-07-23
得票数 0
1
回答
Spark app [error] (*:assembly)重复数据删除:在以下位置找到不同的文件内容:
apache-spark
、
sbt
有人知道如何避免下面的重复文件错误吗? [warn] Merging 'META-INF\taglib.tld' with strategy 'discard'C:\Users\osadmin\.ivy
浏览 2
提问于2016-04-13
得票数 0
2
回答
SBT包只包含几个外部jars,而不是全部
scala
有没有办法让我可以使用sbt包来包含一些外部jars,但不是全部。我知道sbt组装,但这将包括在build.sbt中配置的所有jars
浏览 1
提问于2020-05-04
得票数 1
1
回答
“`sbt”在添加依赖项后编译时会导致错误
scala
、
apache-spark
、
ubuntu
、
sbt
dependencies path:[error] Not found [error] not found: /home/hayat/.ivy2/localorg.apache.spark/
spark-streaming
/3.1.2/ivys
浏览 1
提问于2021-09-16
得票数 3
回答已采纳
1
回答
在linux中运行eclipse上的spark
eclipse
、
scala
、
apache-spark
、
apache-kafka
我在eclipse中运行应用程序,其中spark将从kafka producer读取数据。我使用的是linux。它会启动,但随后会关闭。我的scala和spark版本是兼容的。我在后台运行zookeeper和kafka。这是我的代码。eclipse中没有可见的错误。我尝试以root用户身份运行eclipse,但结果相同。有人能帮上忙吗?import org.apache.spark.streaming.StreamingContextimp
浏览 18
提问于2018-02-05
得票数 1
1
回答
如何为星火流程序编写单元测试?
scala
、
unit-testing
、
apache-spark
、
spark-streaming
、
scalatest
我对使用火花流相对来说还是比较新的。我一直在寻找为我的星火应用程序编写单元测试的最佳方法,并遇到了TestSuiteBase特性。下面是与此问题相关的代码片段:import org.apache.spark.rdd.RDD import org.apache.spark.streaming.TestSuiteBase... ... 但是,在运行s
浏览 2
提问于2015-10-19
得票数 1
1
回答
代码给出了“线程中的异常"main”java.lang.NoClassDefFoundError“
scala
、
maven
、
apache-spark
、
spark-streaming
我添加了以下依赖项。当我将spark-streaming_2.12更改为spark-streaming_2.11时,出现以下错误这些是我的依赖项: <groupId>org.apache.spark</groupId> <artifactId>spark-streami
浏览 0
提问于2019-07-24
得票数 0
1
回答
使用Spark API在Scala中运行独立应用程序示例时出错
scala
、
apache-spark
我无法运行spark示例()。sbt包的输出[info] Updating {file:/home/raghuveer/Spark/}default-13c61e...[info] Done updating. [info] Compiling
浏览 2
提问于2014-02-27
得票数 0
2
回答
作业提交时Scala胖jar依赖问题
scala
、
sbt
、
spark-streaming
connectorVersion , "org.apache.spark" %% "
spark-streaming
浏览 1
提问于2018-03-12
得票数 2
1
回答
如何在sbt构建中包含流测试jar?
scala
、
apache-spark
、
sbt
但是,我无法在我的构建中使用以下配置来拉动jar: libraryDependencies += "org.apache.spark" %% "
spark-streaming
" % "1.4.1" %
浏览 1
提问于2016-01-06
得票数 1
回答已采纳
1
回答
未知的文物。未解析或未索引“
scala
、
apache-spark
、
twitter
version := "1.0.0" "org.apache.spark" % "
spark-streaming
浏览 7
提问于2020-12-14
得票数 0
1
回答
Spark Streaming - StreamingContext sc未定义错误
apache-spark
、
spark-streaming
、
jupyter-notebook
当我试图从Jupyter运行
Spark-Streaming
时,我得到了上面的错误。有谁知道怎么解决这个问题吗?
浏览 9
提问于2017-07-07
得票数 0
回答已采纳
2
回答
build.sbt:如何添加spark依赖项
scala
、
apache-spark
、
sbt
、
spark-streaming
您好,我正在尝试下载以下build.sbt文件中的spark-core、
spark-streaming
、twitter4j和spark-streaming-twitter: name := "hello
浏览 5
提问于2016-06-22
得票数 40
回答已采纳
1
回答
如何在
Spark-streaming
中连接MySQL数据库?
apache-spark
、
spark-streaming
但是,如何在
Spark-streaming
中连接MySQL数据库呢? 谢谢。
浏览 0
提问于2016-06-07
得票数 0
1
回答
Kafka
Spark-Streaming
偏移问题
java
、
maven
、
apache-kafka
、
spark-streaming
、
kafka-producer-api
使用Kafka
Spark-Streaming
。能够读取和处理生产者发来的数据。我在这里有一个场景,让我们假设生产者正在产生消息,而消费者被关闭了一段时间,然后打开了。
浏览 3
提问于2017-02-06
得票数 0
1
回答
尝试让Apache与IntelliJ一起工作
scala
、
apache-spark
、
intellij-idea
、
sbt
libraryDependencies ++= Seq( "org.apache.spark" %% "
spark-streaming
浏览 1
提问于2017-08-03
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark Streaming源码分析:DStream的内置和运行
Spark Streaming源码分析——DStream的内置和运行
干货 | 百万QPS,秒级延迟,携程基于实时流的大数据基础层建设
SparkStreaming-1
广告大数据平台核心架构设计
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券