我正在尝试通过kafka将json文件解析为spark流。 parseAVROToString(rdd)要使用parseAVROToString，我需要Array[Byte]。我收到以下错误消息：
found : org.apache.spark.rdd.RDD[Array
浏览 3提问于2016-07-13得票数 1
回答已采纳
我正在尝试创建kafka直接流，在我的星火流模块中外部提供偏移，但是它会导致下面的编译错误。(mmd: MessageAndMetadata[Array[Byte], Array[Byte]]) => mmd.message())
下面是我遇到的编译错误。[kafka.message.MessageAndMetadata[Array[Byte],Array[Byte]],Array</
浏览 1提问于2016-06-03得票数 1
回答已采纳
我使用的方法如下： (mmd.message(), mmd.offset)
val messagesAndMetadata = KafkaUtils.createRDD[String, Array[Byte], StringDecoder, DefaultDecoderString,String], offsetRanges: Arr
浏览 1提问于2016-08-04得票数 1
我使用Cloudera的SparkOnHBase模块从HBase获取数据。我用这种方式得到了一个RDD：基于此，我得到的是一个类型的对象。RDD[(Array[Byte], List[(Array[Byte], Array[Byte], Array[Byte
浏览 4提问于2015-10-21得票数 1
回答已采纳
我有两个RDDs和一个case类，如下所示：case class Elem(id: Long, content: Map[Byte, Int])rdd2:RDD[Elem]
我怎么才能加入他们呢？我应该如何指示Elem有一个应该用于join操作的id:Long？有可能做到这一点吗？
浏览 0提问于2019-11-20得票数 0
我正在尝试修改KafkaWordCount spark streaming示例以接受字节流。这是我到目前为止的代码： if (args.length < 4) {val lines = KafkaUtils.createStream[String, Array[Byte], Defaul
浏览 4提问于2015-10-25得票数 2
0回答
我正在执行一个Spark Streaming作业，我想发布我的DStreamGenericData.Record类型的result_dstream，所以我使用了下面的代码来实现这个目的，但是得到的任务不是可序列化的异常val byte : Array[Byte] = recordInjection.apply(record)
val prod_record : ProducerRecord[String, Array[
浏览 2提问于2017-06-19得票数 1
回答已采纳
是否有一种方法可以使用模式将消息从与转换为？DataFrame之外，我找不到其他方法。我正在使用Spark 1.6.2和Kafka 0.10。import org.apache.avro.Schemaimport org.apache.spark.rdd.RDDimport org.apache.spark.
浏览 6提问于2016-08-20得票数 14
回答已采纳
我有一个Array[Byte]，我想把它转换成Array[Int]:val x : Array[Byte] = Array(192.toByte, 168.toByte, 1.toByte,9.toByte)
如何将x转换为y？
浏览 10提问于2018-07-16得票数 0
在我的星火应用程序中，我以如下方式从一个Kafka主题创建了一个DStream： .createDirectStream[String, Array[Byte], StringDecoder, DefaultDecoder, (String, Array[Byte])]( kafkaParams,
offset.get,{ message: MessageAndMetadata[String, <em
浏览 3提问于2017-05-30得票数 1
回答已采纳
我正在使用spark读取压缩文件这为我提供了RDD[string]形式的数据。如何在scala中将其转换为RDD[(Array[Byte], Array[Byte])]？我在spark上使用terasort。TextOutputFormat[Text,IntWritable]],
classOf[o
浏览 3提问于2016-10-26得票数 0
at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366) at scala.util.Either.fold(Either.scala:97)
at or
浏览 0提问于2016-04-22得票数 1
回答已采纳
我正在使用spark streaming & cassandra连接器，我有一些Da类(使用Scala)。在这个道中，我想创建"CassandraTableScanRDD“。问题是我没有sparkContext。我不能忽略它，因为它是不可序列化的。[Byte]]] = KafkaUtils.createDirectStream[String, Array[Byte]](
浏览 8提问于2016-09-07得票数 0
1回答
我在Spark2.2.0中有一个不可序列化的类异常。以下是我在Scala中要做的工作：
从HDFS读取一组JPEG图像。使用Array[Array[Int]]方法将org.apache.spark.rdd.RDD[Array[Array[Int]]]转换为org.apache.spark.rdd.RDD[Array[Array通过转换初始org.apache.spark
浏览 7提问于2018-01-16得票数 1
回答已采纳
简单到此，我如何在UnmanagedMemoryStream中将VBNET转换为Byte-Array？Dim bytes() As Byte = My.Resources.AudioFileValue of type 'System.IO.UnmanagedMemoryStream' cannotbe converted to '1-dimensional array of Byte'.
浏览 0提问于2013-07-13得票数 2
回答已采纳
1回答
我有一个自引用的protobuf模式： uint64 timestamp = 1; }def main(args : Array[String]) {
v
浏览 14提问于2018-07-18得票数 3
回答已采纳
1回答
我正在尝试使用Spark Streaming从Kafka读取avro数据，但收到以下错误消息：=== Streaming Query ===
Identifier代码如下(灵感来自xebia-france spark-structured-<em
浏览 14提问于2020-07-31得票数 0
回答已采纳
如何在openCV中将array<System:Byte>^转换为Mat。我在c++/cli中收到了一个array<System:Byte>^，但我需要将它转换为Mat才能读取和显示它。
浏览 1提问于2013-06-28得票数 0
回答已采纳
有人能检查一下我的代码，看看哪里出了问题吗？") .config("spark.streaming.kafka.maxRatePerPartition", 2170)
.config("spark.streaming.kafka.maxRetri
浏览 4提问于2020-03-20得票数 1
回答已采纳
我需要读取[100]byte来传输一堆string数据。
因为并不是所有的string都是100个字符，所以byte array的其余部分用0s填充。如果我通过：string(byteArray[:])将[100]byte转换为string，尾部的0将显示为^@^@s。在C中，string将在0上终止，那么在Go中将此byte array转换为string的最佳方法是什么？
浏览 128提问于2013-01-09得票数 531
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
