1回答
spark streaming kafka :获取主题分区数据时出现未知错误
apache-spark、apache-kafka、apache-spark-sql、spark-structured-streaming
我正在尝试阅读Spark集群中的Kafka主题，该集群使用结构化流式API与Spark中的Kafka集成 .masterSTRING)") .writeStream .start()使用以下命令运行它/usr/
浏览 3提问于2018-09-28得票数 0
1回答
Spark structured streaming read from kafka json编码问题
json、apache-spark、apache-kafka、apache-kafka-connect、spark-structured-streaming
我很难使用Spark Structured Streaming在kafka主题中读取我的JSON数据。上下文： 我正在构建一个简单的管道，在这里我使用kafka从MongoDb读取数据(这个数据库通常是从另一个应用程序中填充的)，然后我想在Spark中获取这些数据。为此，我使用了Spark Structured Streaming，这似乎是可行的。下面是我的代码： import org.apache.spar
浏览 13提问于2019-03-11得票数 0
回答已采纳
1回答
是否有可能将dataframe注册为spark结构化流数据流上的一个临时视图？
apache-spark、pyspark、apache-spark-sql、spark-structured-streaming
我使用星火结构流从kafka主题读取数据，我想对这些流数据运行sql查询。to run sql queries on data frame but it is giving error spark = spark_session() spark.sql("select *
浏览 0提问于2019-07-17得票数 0
回答已采纳
2回答
Spark Cassandra连接器错误: java.lang.NoClassDefFoundError: com/datastax/spark/ Connector /TableRef
apache-spark、pyspark、spark-structured-streaming、spark-cassandra-connector
Spark version:3.00Cassandra::3.11.4 .builder \
.config("spark.jars","spark-streaming-kafka-0-10_2.12-3.0.0.jar,spa
浏览 27提问于2020-06-27得票数 2
回答已采纳
2回答
为什么火花提交失败与"AnalysisException:卡夫卡不是一个有效的星火SQL数据源“？
apache-spark、apache-kafka、apache-spark-sql、spark-structured-streaming
我使用星火2.1.0和Kafka 0.10.2.1。import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.Dataset:spark-sql
浏览 8提问于2017-06-29得票数 1
回答已采纳
1回答
卡夫卡和.NET核火花任务中的错误
apache-spark、.net-core、apache-kafka
我正在尝试使用.Net Core3.1读取星火中卡夫卡的数据。我得到了NullPointerException，却找不到理由。也许有人遇到了这个错误，并找到了解决方案？ at org.apache.spark.sql.kafka010.SubscribeStrategy.createConsumer(ConsumerStrategy.scala:106)
at org.apache.spark.sql
浏览 10提问于2022-01-09得票数 0
2回答
如何将电火花数据发送到卡夫卡主题？
python、pyspark、apache-kafka、spark-structured-streaming、spark-kafka-integration
我在互联网上遇到了很少的资源，但我仍然无法弄清楚如何向kafka经纪人发送一个火花放电数据帧。我需要写一个制片代码。我正在从一个csv文件中读取数据，并试图将其发送到kafka主题。import findsparkfrom pyspark.sql import SparkSession
from pyspark.streaming.kafkaimpo
浏览 21提问于2022-06-13得票数 0
1回答
Spark streaming 2.4.0获取org.apache.spark.sql.AnalysisException:找不到数据源: kafka
scala、apache-spark、apache-kafka
尝试从Kafka读取数据时出现以下错误。我使用docker-compose来运行kafka和spark。Exception in thread "main" org.apache.spark.sql.AnalysisException: Failed to find data source: kafka." %% "spark-sql" % "2.4.0&q
浏览 1提问于2020-12-07得票数 0
1回答
如何在连接到kafka集群时禁用结构化流中的'spark.security.credentials.${service}.enabled‘
apache-spark、apache-kafka、spark-structured-streaming
我正在尝试使用星火结构流从安全的Kafka集群中读取数据。此外，我还使用下面的库来读取数据--“0-10_2.12”：“3.0.0-预览”，因为它具有指定自定义组id的功能(而不是星火设置它自己的自定义组id)。代码中使用的依赖项： <artifactId>spark-sql-k
浏览 1提问于2020-01-08得票数 0
回答已采纳
1回答
无法使用spark sql读取kafka
java、maven、apache-spark、apache-kafka、spark-streaming
我正在尝试使用spark阅读kafka，但我想可能会遇到一些与库相关的问题。 我正在向kafka主题推送一些事件，我可以通过kafka控制台消费者阅读，但无法通过spark阅读。我使用的是spark-sql-kafka库，该项目是用maven编写的。Scala版本是2.11.12，spark版本是2.4.3。-- https://mvnrepository.co
浏览 46提问于2019-06-21得票数 0
回答已采纳
1回答
在Spark structured streaming中使用来自Kafka的Avro事件
apache-spark、avro、spark-structured-streaming
虽然Kafka part运行良好，但Spark Structured streaming无法读取Avro事件。它失败，并出现以下错误。代码import org.apache.spark.sql.types.{import org.apache.spark._
import spark.impl
浏览 19提问于2019-07-19得票数 0
1回答
电火花卡夫卡readStream
apache-spark、pyspark、apache-kafka、spark-structured-streaming
我正在使用下面的代码从kafka主题中读取数据。,org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.3 pyspark-shell'
df = spark.readStream.format("kafka$sql$kafka010$KafkaSourceProvider$$validateBatchOptions(KafkaSourc
浏览 7提问于2022-03-30得票数 0
2回答
PySpark - NoClassDefFoundError: kafka/公共/主题划分
java、apache-spark、pyspark、apache-kafka、spark-kafka-integration
我正在使用Python3.6.8在Ambari上运行Spark版本2.3.0.2.6.5.1175-1。appcache/application_1655212331279_0010/container_e170_1655212331279_0010_01_000001/pyspark.zip/pyspark/sqlpy4j.protocol.Py4JError: An error occurred while calling o93.createDirectStreamWithMessag
浏览 34提问于2022-06-15得票数 0
回答已采纳
2回答
Kafka在Kubernetes上的Spark Job
java、apache-spark、kubernetes、apache-kafka
我们有一个Spark Java应用程序，它从数据库中读取并在Kafka上发布消息。local:///opt/spark/jars/spark-sql-kafka-0-10_2.11-2.3.0.jar local:///opt/spark/jars/data-ingestion-1.0-SNAPSHOT.jar
spark<
浏览 22提问于2020-02-27得票数 0
5回答
如何从Kafka读取XML格式的流数据？
apache-spark、xml-parsing、pyspark-sql、spark-structured-streaming
我正在尝试使用Spark结构化流从Kafka主题读取XML数据。df = spark \ .format("kafka") \
.format
浏览 19提问于2017-09-01得票数 6
回答已采纳
1回答
Apache Spark Structured Streaming (DataStreamWriter)写入配置单元表
apache-spark、apache-kafka、apache-spark-sql
我希望使用火花结构流从卡夫卡读取数据，并处理它，并写入蜂窝表。val spark = SparkSession .appName("Kafka Test") .readStream .opti
浏览 5提问于2018-02-06得票数 1
1回答
如何在使用Spark结构化流媒体读取Kafka时跳过ssl.truststore.password属性？
scala、apache-spark、ssl、apache-kafka、spark-structured-streaming
我正在尝试从Kafka中读取，并使用Spark Structured Streaming写入Kudu Sink。下面是读写的代码。 .readStream
.format("org.apache.spark.sql.kafka010.KafkaSourceProvider(KafkaOffsetReader.sc
浏览 0提问于2020-05-07得票数 0
1回答
Apache Spark无法在群集上反序列化`TopicPartition`
apache-spark、apache-spark-sql
我使用Spark 2.4和scala 2.11.12从卡夫卡中读取批处理。因此，我的build.sbt文件具有以下依赖关系。"org.apache.spark" %% "spark-core" % sparkVersion % "provided",
"org.apache.spark" %% "spark-sql" %sparkVersion %
浏览 45提问于2019-01-21得票数 1
回答已采纳
1回答
对apache-kafka的正常写入，但无法读取火花作业中的主题数据。
python、apache-spark、apache-kafka、hdp
我正在为kafka中的特定主题编写数据，并试图运行python代码来读取和显示kafka的数据。在火花放电壳中：
from pyspark.sql import SparkSession, SQLContext, HiveContextspark = SparkSession.builder.enableHiveSupport().ge
浏览 1提问于2020-05-12得票数 1
2回答
测试Spark Sql查询本地
java、python、apache-spark、hbase
最近我在一个Spark应用程序中工作，作为项目的一部分，数据集从Kafka服务器读取，Spark HBase修改读取的数据并保存到Kafka。有没有一种方法或其他工具可以通过从HBase读取数据来在本地测试spark sql？
我尝试了hbaseExplorer，但它不能解决问题
浏览 0提问于2020-11-20得票数 1
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号