1回答
我想从一个基于蚊子的MQTT主题中读取数据流到我的Spark 3.0应用程序中。<Row> df = sparkSession .format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProviderlocalhost:1883"); 不幸的是，这已经失败了： Exception in thread &
浏览 87提问于2021-01-27得票数 0
3回答
我没有太多使用Kafka/ Spark-Streaming的经验，但我读过很多关于组合在为分析/仪表板构建实时系统方面有多棒的文章。有人能给我解释一下为什么spark-streaming不能单独完成吗？换句话说，为什么Kafka在数据源和spark-streaming之间？
谢谢
浏览 1提问于2016-01-11得票数 1
我正在创建一个spark scala代码，在其中我从MQTT服务器读取一个连续的流。我在纱线集群模式下运行作业。我想在HDFS中将此流保存并附加到单个文本文件中。任何人都能帮上忙。
浏览 30提问于2017-02-08得票数 3
3回答
我使用Spark结构化流API从MQTT流源读取数据。val lines:= spark.readStream .option("clientId", "employee11")
.load(&
浏览 0提问于2018-12-05得票数 2
回答已采纳
当Spark结构化流代码时，我将得到以下异常
.readStream
.format("org.apache.bahir.sql.str
浏览 1提问于2018-12-05得票数 1
回答已采纳
我对bluemix和Apache Spark都是新手。我只想使用IBM analytics for Apache Spark做一个小任务，我想使用Bluemix的虚拟传感器()创建一个虚拟传感器，并使用生成的数据作为spark流服务的输入，并根据输入数据进行一些分析
浏览 1提问于2015-11-28得票数 2
我在spark的POM.xml中添加了依赖项，如下链接所示：
再次使用maven建立火花。但正如我们所看到的，它显示只有Java和Scala支持从mqtt获取数据。我想从python中的mqtt获取流数据。在早期版本中，我们有一个相同的pyspark.streaming.mqtt。什么是类似于在火花2.2.0的火花。我用蚊子做mqtt经纪人。
浏览 3提问于2017-09-06得票数 5
回答已采纳
我想向ActiveMQ或Mosquitto broker订阅Spark。我该怎么做呢？
浏览 1提问于2013-10-06得票数 0
我正在尝试将一个ApacheSpark结构化流连接到一个MQTT主题(在这个例子中，IBM平台在IBM上)。我创建结构化流如下所示： .format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvidervoltage/fmt/json")
.load("tcp://vy0z2s.messaging.
浏览 5提问于2017-02-06得票数 0
回答已采纳
1回答
我正在开发DataBricks (Spark2.0.1DB1(Scala2.11))，我正在尝试使用星火流函数。我正在使用图书馆：
val lines = spark.readStream.format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourc
浏览 3提问于2016-10-19得票数 1
回答已采纳
我正在尝试将Apache结构化流连接到一个MQTT主题(本例中是IBM平台上的IBM)。我创建结构化流如下所示： .format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvidervoltage/fmt/json")
.load("tcp://vy0z2s.messaging.internetof
浏览 5提问于2017-02-03得票数 0
回答已采纳
1回答
我试图将mqtt作为apache中的一个流来使用，使用的库是apache、sql流-mqtt。此库使用paho mqtt库。我使用的库如下： .builder .master("local[4]").getOrCreate()
// C
浏览 2提问于2016-10-11得票数 1
回答已采纳
大家好，
我需要从Azure EventHub中读取流数据，并将其转储到blob位置。根据成本优化，我不能偏爱流分析或火花流。我只能使用Spark批处理作业，我需要探索如何从Azure EventHub中将数据作为批处理读取(最好是前一天的数据)并将其转储到blob。我的Azure EventHub保存了4天的数据，我需要确保每次从Azure EventHub<
浏览 12提问于2020-03-17得票数 0
2回答
我使用MQTT在Arduino上将传感器数据发送到Javascript页面。我可以使用什么格式来发送更复杂的结构化数据？例如：我想把它发到一条MQTT信息上。
ArduinoJso
浏览 1提问于2014-08-22得票数 2
2回答
我的目标是从OpenCV (C++)向MQTT发布(x，y)坐标的JSON流。对于如何从OpenCV将JSON数据传输到MQTT，我感到困惑。我目前有一个MQTT代理，它管理计算机1上的publisher脚本和计算机2上的Javascript客户端脚本之间的JSON消息队列。我有一个运行OpenCV的计算机3，需要向MQTT代理发送许多几乎实时的(x，y)坐标的JSON小块。我最初考虑将坐标从OpenCV连续写入本地文本文件，然后由并
浏览 4提问于2017-05-15得票数 1
回答已采纳
5回答
我正在尝试使用Spark结构化流从Kafka主题读取XML数据。df = spark \ .format("kafka") \
浏览 19提问于2017-09-01得票数 6
回答已采纳
我正在尝试构建一个能够读取unix实用程序的输出流的Spark流媒体应用程序。从标准输入创建DStream的最佳方法是什么？如何将外部实用程序的流输出重定向/管道到Spark Streaming DStream？我使用Scala，我意识到rdd.pipe()可能没有帮助，因为它首先使用从rdd读取数据的命令。谢谢!我最初的问题发布在Spark用户的邮件列表中：
浏览 0提问于2015-06-12得票数 2
现在我正在尝试从mqtt消息连接到kafka (实际上是kafka中的spark streaming )和Spark-2.1.0，Kafka - 0.10.1.1({"schema":{"type":"string","optional":false},"payload":"mqtt"
浏览 18提问于2017-02-11得票数 0
回答已采纳
JavaStreamingContext，brokerUrl: String，topic: String，storageLevel: StorageLevel)：JavaDStreamString创建一个输入流，用于接收由MQTTString，storageLevel: StorageLevel = StorageLevel.MEMORY_AN
浏览 2提问于2015-01-05得票数 1
1回答
我正在尝试在Scala中运行一个Spark应用程序来连接到ActiveMQ。出于这个目的，我正在使用Bahir format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")。当我在我的built.sbt中使用Bahir2.2时，应用程序运行正常，但在将其更改为Bahir3.0或Bahir4.0时，应用程序无法启动，并且它给出一个错误： [error] (run-main-0" ,
"org.apa
浏览 24提问于2020-12-09得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
