Java KCL SPark流无法导入org.apache.spark.streaming.kinesis
Java KCL (Kinesis Client Library) 是亚马逊AWS提供的一种用于处理Kinesis数据流的Java库。它提供了一种简化的方式来编写Java应用程序，以从Kinesis数据流中读取数据并进行处理。
Spark流 (Spark Streaming) 是Apache Spark项目的一部分，它提供了一种实时处理大规模数据流的能力。Spark流可以与各种数据源集成，包括Kinesis数据流。然而，由于Spark流不是直接支持Kinesis数据流的，因此在导入org.apache.spark.streaming.kinesis时会出现无法导入的错误。
解决这个问题的一种方法是使用Spark与Kinesis集成的另一种方式，即使用Spark的Kinesis连接器。这个连接器是通过Spark的外部包机制提供的，可以通过在Spark应用程序中添加相应的依赖来使用。
以下是使用Spark的Kinesis连接器来处理Kinesis数据流的一般步骤：
- 在Spark应用程序的构建工具（如Maven或Gradle）中添加Spark的Kinesis连接器依赖。
- 在应用程序中创建一个Spark Streaming上下文（StreamingContext）对象。
- 使用KinesisUtils.createStream方法创建一个输入数据流，指定Kinesis数据流的相关参数，如AWS访问密钥、Kinesis流名称等。
- 对输入数据流进行转换和处理，例如应用map、reduce等操作。
- 启动Spark Streaming上下文并等待处理完成。
以下是一些腾讯云相关产品和产品介绍链接地址，可以用于处理Kinesis数据流的云计算解决方案：
- 云消息队列 CMQ：提供可靠的消息传递服务，可用于处理Kinesis数据流中的消息。产品介绍链接：https://cloud.tencent.com/product/cmq
- 云函数 SCF：提供事件驱动的无服务器计算服务，可用于处理Kinesis数据流中的事件。产品介绍链接：https://cloud.tencent.com/product/scf
请注意，以上只是一些腾讯云的解决方案示例，其他云计算品牌商也提供类似的解决方案。
相关·内容
我在运行无法连接到Kinesis数据源的胶水流式作业时遇到以下错误：
错误：
WARNING:root:StreamingQueryException caught. Retry number 10 ERROR:root:Exceeded maximuim number of retries in streaming interval,
exception thrown Parse yarn logs get error message:
StreamingQueryException: 'Error while Describe Streams\n=== Streaming Q
浏览 0提问于2020-09-08得票数 0
1回答
如何将火花数据写入动态流？
、、、、
我正在创建一个Dataframe从一个卡夫卡主题使用火花流。我想把“Dataframe”写成一位动作制作人。据我所知，目前还没有官方的API。但互联网上有多种API，但遗憾的是，它们都不适合我。火花版本: 2.2 Scala : 2.11
我尝试使用并构建jar。但是由于这个jar和spark之间的包名相互冲突而导致的错误。请帮帮忙。
###########这里是其他人的代码：
spark-shell --jars spark-sql-kinesis_2.11-2.2.0.jar,spark-sql-kafka-0-10_2.11-2.1.0.jar,spark-streaming-kafka
浏览 0提问于2019-07-08得票数 2
回答已采纳
2回答
我正在寻找一种方法来触发我的Databricks笔记本，一次处理Kinesis并使用下面的模式
import org.apache.spark.sql.streaming.Trigger
// Load your Streaming DataFrame
val sdf = spark.readStream.format("json").schema(my_schema).load("/in/path")
// Perform transformations and then write…
sdf.writeStream.trigger(Trigg
浏览 4提问于2020-12-13得票数 4
回答已采纳
时间序列数据库可以完成流分析系统(如spark streaming / flink / kinesis analytics)所能做的一切吗？
其中一个包含另一个吗？我并不是在寻找哪一个更好。只需了解它们支持哪些不同的用例。
浏览 11提问于2017-08-18得票数 3
我是Apache Spark Streaming的新手。正在尝试构建Spark以从Kinesis Stream中读取值。这是我的python脚本
import settings
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kinesis import KinesisUtils, InitialPositionInStream
spark_context = SparkContext(master="local[2]"
浏览 1提问于2016-11-25得票数 0
我开始做一个spark流媒体工作，并为kinesis endpoint找到了一个制片人。在开始工作后，我开始制作一个消费者，但我在构建它时遇到了问题。
我使用组装插件来创建一个包含所有依赖项的jar。项目的依赖项如下所示。
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.4.1" % "provided",
"org.apache.spark" %% "spark-sql" % "1.4.1"
浏览 1提问于2015-07-18得票数 4
事情背景是 2018年建立了网站，网站有工信部备案号。主域名、IP都正常在用。网站接入方式是 租赁虚拟空间。等保备案号、等保级别、等保系统都没有。系统软件版本是 windows 2008，路由器、交换机、服务器、安全设备都 “为虚拟机，不是独立单台服务器”
网站现在需要整改(公安部备案、达到等保要求等等)
问题：
1、对网站数据进行迁移腾讯云支不支持？
2、腾讯云有没有最低等保2资质？
3、完成迁移和后续持续运行对腾讯云的配置有什么要求？
4、迁移和持续运行每年需要大概多少费用？
浏览 285提问于2022-03-08
在scala中运行一个带有动态应用程序的简单香草火花流时，我遇到了一些问题。我在一些教程(如和 )中遵循了基本指南。
然而，我仍然无法使它工作，因为这个动作工作者错误：
16/11/15 09:00:27 ERROR Worker: Caught exception when initializing LeaseCoordinator
com.amazonaws.services.kinesis.leases.exceptions.DependencyException: com.amazonaws.AmazonClientException: Unable to load AWS crede
浏览 2提问于2016-11-15得票数 0
回答已采纳
1回答
我正在尝试运行一个简单的程序，它从一个动态流中读取，做一个琐碎的转换，并将结果写入另一个动态流。
在Flink 1.4.0上本地运行(这是目前EMR支持的版本，因此无法升级)。
以下是代码：
def main(args: Array[String]) {
val env = StreamExecutionEnvironment.getExecutionEnvironment
val consumerConfig = new Properties()
consumerConfig.put(AWSConfigConstants.AWS_REGION, "us-east-1&#
浏览 1提问于2018-06-13得票数 0
回答已采纳
2回答
我正在构建一个应用程序，它不断地附加到缓冲区中，而许多读者则独立地使用这个缓冲区(写一次读-多/蠕虫)。一开始，我想使用Apache，但由于我更喜欢作为服务选项，我开始研究AWS Kinesis + KCL，看来我可以用它们完成这项任务。
基本上，我需要两个特性:排序(所有读取器必须以相同的顺序读取事件)，以及从读取器开始使用的缓冲区中选择偏移量的能力。
现在我也在评估Google平台。当我阅读文档时，Google Pub/Sub似乎被认为相当于AWS Kinesis，但在更详细的层次上，这些产品似乎有很大的不同：
动态保证在碎片内订购，而在Pub/Sub订购是在最努力的基础上；
Ki
浏览 6提问于2017-09-11得票数 22
我有一些严重的困难，试图运行一个火花运动流应用到亚马逊的EMR集群(1名主人，3名工人)。
我试图实现的是使用sbt程序集插件来构建一个胖jar，以便在主节点上运行一个星火提交命令。我使用的命令如下：
火花-提交-类MyClass -主纱线-部署模式集群-执行器-内存1g -执行器-核心2 hdfs://url:端口/my.jar
这个应用程序接收来自动态流的传入数据，并基于它执行对我可以跟踪的url的请求(回发)。我已经在本地测试了我的应用程序，通过在SparkConfig上运行主程序来进行本地测试。
此外，这是我的代码和我的构建sbt。我的项目是使用Scala2.11.8和SBT0
浏览 2提问于2017-01-18得票数 0
我已经安装了spark，并尝试使用python示例运行submit命令，用于wordcount找到的
下面是我运行的火花提交命令：-
bin/spark-submit --packages org.apache.spark:spark-streaming-kinesis-asl_2.12:2.4.0 /Users/amitdhawan/Downloads/kinesis_wordcount_asl.py [appname] [streamname] [https://kinesis.us-west-1.amazonaws.com] [us-west-1]
我得到的错误如下：-
Traceba
浏览 0提问于2019-03-30得票数 0
回答已采纳
使用以下命令将使用scala编写的spark应用程序部署到EMR集群，但我无法确定为什么在部署到EMR集群实例时会收到缺少依赖项的错误消息。
错误消息：
User class threw exception: java.lang.NoClassDefFoundError: com/amazonaws/services/kinesis/clientlibrary/lib/worker/InitialPositionInStream
aws emr add-steps --cluster-id j-xxxxxxx --steps Type=spark,Name=ScalaStream,Args=[
浏览 14提问于2020-02-06得票数 0
2回答
我知道这可能是个比较普通的问题，但我想看看如何才能把我引向正确的方向.
我正在尝试构建一个实时人脸识别应用程序，使用AWS Rekognition。我对API相当满意，并且使用上传到S3的静态图像来执行面部识别。然而，我正试图找到一种将实时数据流到Rekognition中的方法。在阅读了Amazon提供的各种文章和文档之后，我发现了这个过程，但似乎无法跨越一个障碍。
根据医生的说法，我可以用Kinesis来完成这个任务。看起来很简单:创建一个Kinesis视频流，并通过Rekognition处理该流。制作人将流数据生成到动态流中，而我是金色的。
我遇到的问题是制片人。我发现AWS有一个可用的J
浏览 0提问于2018-03-30得票数 4
回答已采纳
我正在运行一个开箱即用的EMR集群，使用Spark1.6.0和Zeppelin 0.5.6在AWS上。我的目标是获得一个简单的星火流上下文初始化和指向一个内部的动态流，就像一个概念的证明。然而，当我运行它时，我得到：
Py4JJavaError: An error occurred while calling o89.loadClass. :
java.lang.ClassNotFoundException: org.apache.spark.streaming.kinesis.KinesisUtilsPythonHelper
at java.net.URLClassLoader$1
浏览 0提问于2016-03-24得票数 1
回答已采纳
我有一个用Scala编写的简单spark (1.4.1版本)应用程序，它使用一个动态流中的数据。如果我使用submit命令运行应用程序，并将主服务器的值设置为local*，一切都正常。如果我选择使用作为主要纱线客户端，我有以下例外：
15/11/24 14:22:09 ERROR ReceiverTracker: Deregistered receiver for stream 1: Error starting receiver 1 - java.lang.NoClassDefFoundError: org/joda/time/format/DateTimeFormat
at com
浏览 1提问于2015-11-24得票数 0
我正尝试在AWS提供的jupyter笔记本电脑中使用spark / python读取kinesis流。我从AWS文档中获取了代码，但当我尝试使用kinesis创建数据帧时，我得到了一个依赖错误。我认为所有的依赖项都很好，因为我创建了一个笔记本"SparkMagic PySpark“。下面是我的代码：
import sys
from datetime import datetime
import boto3
import base64
from pyspark.sql import DataFrame, Row
from pyspark.context import SparkConte
浏览 10提问于2021-07-20得票数 0
我有一个使用kinesis的spark streaming应用程序，在EMR 6.0.0中运行，它在本地运行得很好，但当部署到AWS EMR时，它总是失败，并出现NoClassDefFoundError异常 20/11/17 15:26:56 INFO Client:
client token: N/A
diagnostics: User class threw exception: java.lang.NoClassDefFoundError: com/fasterxml/jackson/dataformat/cbor/CBORFactory
at com.a
浏览 190提问于2020-11-18得票数 1
我们有一个传统的批处理应用程序，我们从多个来源(Oracle、Salesforce、FTP文件、Web日志等)获取数据。我们将传入的数据存储在S3存储桶中，并在EMR上运行Spark来处理数据，并加载到S3和Redshift上。
现在，我们正在考虑通过引入AWS Kinesis，然后使用电子病历中的Spark Structured Streaming来处理流数据并将其加载到S3和Redshift，从而使该应用程序接近实时。假设我们有不同种类的数据，例如来自甲骨文的100+表、100+ salesforce对象、来自FTP location的20+文件、网络日志等，那么在这里使用AWS Kine
浏览 20提问于2018-09-10得票数 1
我目前正在对我的Spark流媒体应用程序进行性能测试。总而言之，我通过套接字连接接收JSON消息，每秒一条消息。然后，我使用Spark Streaming方法将消息作为RDDs处理，最后将生成的RDDs打印到数据库。
这是我的问题:每当我想要检查块处理时间或调度延迟等时，我需要转到端口4040上的Spark UI。
我想做的是在程序运行时使用这些值创建一个Log，并将其作为txt文件存储在某个目录中。
现在我知道，对于SparkContext，我可以使用addSparkListener方法或Logger。
如何在Spark Streaming上下文中执行此操作？
非常感谢，如果我弄糊涂了，很抱
浏览 0提问于2016-05-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
