1回答
需要实现对spark流代码的测试。这段特定的代码使用在单独的jvm中运行，上面应用程序的输入是hdfs。如果我要成功测试spark streaming代码，那么模拟hdfs输入的最佳方法是什么？
我一般地解释了上面的场景。真正的需求是实现一个成功的测试。
浏览 7提问于2018-08-14得票数 1
我在寻找是否有一种方法可以使用spark streaming而不使用Flume将流数据从Kafka直接加载到HDFS中。我已经用Flume(Kafka源和HDFS接收器)试过了。
提前感谢！
浏览 0提问于2017-10-19得票数 0
我有一个服务器，每1秒生成一些日志文件，我想使用Apache Spark处理这个文件。
我使用python编写了一个spark应用程序，并在while循环中处理了一组日志文件。
浏览 0提问于2017-04-18得票数 0
问题摘要：当然，我希望使用配置单元上下文将数据馈送到HDFS。我们可以直接将数据写入HDFS，这要归功于spark streaming API。我们也在考虑这一点，因为我们可以
浏览 0提问于2019-06-19得票数 1
下面提到的路径在HDFS中已经存在。at org.apache.hadoop.hdfs.DFSClient.primitiveCreate(DFSClient.java:1750)at org.apache.hadoop.fs.Hdfs.createInternal(Hdfs.java:58)
at org.apache.h
浏览 2提问于2020-08-21得票数 1
我基本上是想使用Kafka中的数据，并将其写入HDFS。但是发生的情况是，它没有在hdfs中写入任何文件。它会创建空文件。import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContextimport org
浏览 4提问于2017-10-08得票数 0
1回答
我希望在火花流中使用fileStream来监视多个hdfs目录，例如： at org.apache.spark.streaming.dstream.DStream$$$$anonfun$getOrCompute$1.apply(DStream.scala:299)
at org.apache.
浏览 1提问于2015-05-13得票数 0
1回答
diagnostics: User class threw exception: org.apache.spark.sql.streaming.StreamingQueryException: Job:410)
at org.apache.spark.sql.execution.streaming.state.HDFSBackedStateStoreProvider$$anonfun$org$apache$spark$sql$execution$streaming$state$H
浏览 0提问于2018-02-02得票数 8
1回答
:48) at org.apache.spark.sql.execution.streaming.HDFSMetadataLog.(StreamExecution.scala:69)
at org.apache.spark.sql.execution.streaming<
浏览 5提问于2021-11-29得票数 0
回答已采纳
$.read(StreamMetadata.scala:51) at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryManager.scala:232)
at o
浏览 8提问于2017-02-02得票数 9
回答已采纳
我经常使用HDFS和Kafka，我注意到Kafka比HDFS更可靠。所以现在使用Spark-structured-streaming，我很惊讶检查点只有HDFS。用Kafka来勾点会更快更可靠。那么，有没有可能在没有HDFS的情况下使用spark structured？奇怪的是，我们只能在Kafka中将HDFS用于流数据。Spark 2.4.7 谢谢
浏览 39提问于2021-05-07得票数 2
我有水槽流，我想把它存储在HDFS通过火花。)}[root@sandbox ~]# hadoop fs -cat /user/root/spark/flume_Maporg.apache.spark.streaming.flume.SparkFlumeEvent@f9ed85f!!!!org.apache.spark.streaming.f
浏览 3提问于2016-04-01得票数 2
回答已采纳
1回答
在这和内部网络之间有一道防火墙。
我需要构建一个实时服务器环境，在这个环境中，所有新生成的IIS日志、apache日志都将同步到内部大数据环境。
浏览 4提问于2015-12-28得票数 0
回答已采纳
尝试以下操作时：我得到了一个错误：我尝试使用下面的命令添加jar文件spark-streaming_2.10-1.5.1.jar：
z.load("/jars/spark-s
浏览 0提问于2016-08-25得票数 1
1回答
我有一个基本的Spark - Kafka代码，我尝试运行以下代码：import org.apache.spark.streamingimport java.util.regex.Matcherimport kafka.serializer.StringDecoder" %% "spark-core
浏览 0提问于2018-09-16得票数 0
集群模式下的星火流正在抛出FileNotFoundException和linux文件系统(GFS -跨所有节点共享文件系统)，但是在HDFS作为输入时工作得很好。在此路径上，所有工作节点上的数据实际上是可用的和可访问的。at org.apache.hadoop.hdfs.DistributedFileSystem.listStatusInternal(DistributedFileSystem.java:697)at org.apache.hadoop.hdfs.DistributedFileSystem
浏览 0提问于2015-06-03得票数 1
回答已采纳
我正在尝试从Kafka读取JSON消息，并使用spark structured将它们存储在HDFS中。/path").start(/data")
然后，我得到hdfs中具有二进制值的行。{"value":"BINARY DATA","topic":"test_hdfs2","partition":0,"offset":3463075,"timestamp&
浏览 43提问于2018-07-25得票数 1
我们有来自kafka的spark streaming在HDFS服务器中创建检查点，但它没有得到清理，现在我们在HDFS中有数百万个检查点。有没有办法从spark中自动清除它？Spark版本1.6 HDFS 2.70
浏览 8提问于2017-07-19得票数 3
回答已采纳
1回答
我想从命令行停止我的工作(如果可能的话) import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.dstream
import org.apache.spark.streaming.Duratio
浏览 2提问于2017-04-13得票数 0
回答已采纳
1回答
" -> "hdfs://localhost:9000/user", //我已经设置了hdfs和vertica。20/04/27 01:55:50 INFO
浏览 4提问于2020-04-26得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号