通过spark从kafka到hdfs

文章/答案/技术大牛

发布

0回答

scala、apache-spark、hdfs、spark-streaming

也许有人在一些项目中使用过:我在Spark中给Cassandra写信，在Spark中我使用kafkaUtils.createDirectStream。通过Spark-Cassandra连接器，我们可以使用Dstream.saveToCassandra方法。但对于保存/附加到hdfs，我使用： val conf = new Configuration() conf.set("fs.default

浏览 0提问于2017-06-15得票数 2

回答已采纳

1回答

可以在没有HDFS的情况下使用Spark Structured吗？

spark-structured-streaming

我经常使用HDFS和Kafka，我注意到Kafka比HDFS更可靠。所以现在使用Spark-structured-streaming，我很惊讶检查点只有HDFS。用Kafka来勾点会更快更可靠。那么，有没有可能在没有HDFS的情况下使用spark structured？奇怪的是，我们只能在Kafka中将HDFS用于流数据。Spark 2.4.7 谢谢

浏览 39提问于2021-05-07得票数 2

3回答

如何从kafka向hive发送数据

hive、apache-kafka

我想从Kafka (做一些MapReduce工作)发送数据到hive。或者一些更好的方法？

浏览 2提问于2018-05-15得票数 2

1回答

Spark Structured Streaming with Kafka source，在查询运行时更改主题分区的数量

apache-spark、apache-kafka、partitioning、spark-structured-streaming、spark-streaming-kafka

我设置了一个从Kafka主题读取的Spark结构化流查询。如果在Spark查询运行时更改了主题中的分区数量，Spark似乎不会注意到，并且不会消耗新分区上的数据。除了停止和重新启动查询之外，有没有办法让Spark检查同一主题中的新分区？spark .format("kafka</e

浏览 32提问于2019-11-08得票数 0

1回答

如何将自定义库部署到Apache？

apache-spark、java-native-interface

如果我有一个自定义库(用Scala编码，但它通过JNI在内部调用本机库)，那么如何将它部署到Apache节点，以便集群中的其他应用程序可以使用它？基本上，我想用我的自定义功能扩展Spark，以便任何作业都可以使用它。提前谢谢。

浏览 0提问于2016-04-22得票数 1

回答已采纳

1回答

Spark Streaming清理RDD检查点目录

apache-spark、hdfs、spark-streaming

我们有来自kafka的spark streaming在HDFS服务器中创建检查点，但它没有得到清理，现在我们在HDFS中有数百万个检查点。有没有办法从spark中自动清除它？Spark版本1.6 HDFS 2.70

浏览 8提问于2017-07-19得票数 3

回答已采纳

1回答

使用flume将数据从kafka主题导入hdfs文件夹

apache-kafka、hdfs、flume、flume-ng

我使用水槽从kafka主题HDFS文件夹加载消息。所以, 代码执行将停止，不会出现错误，也不会向HDFS

浏览 0提问于2018-02-14得票数 1

回答已采纳

1回答

使用Java将zip文件解压缩到HDFS

java、apache-spark、zip4j

我使用Java-Spark，我从Kafka主题得到消息，表明在压缩文件路径上，我想将这个压缩文件提取到HDFS中。我有从Kafka与火花结构化流读取消息的代码。解压文件到HDFS的方法是什么？

浏览 82提问于2019-02-14得票数 1

2回答

用于NRT数据应用的Google

apache-spark、apache-kafka、google-cloud-platform、google-cloud-dataflow、bigdata

我正在评估Kafka/Spark/HDFS，用于开发NRT (子秒级) java应用程序，该应用程序接收来自外部网关的数据，并将其发布到桌面/移动客户端(使用者)，用于各种主题。同时，数据将通过用于分析和ML的流和批处理(持久)管道提供。独立的TCP客户端从外部TCP服务器读取流数据。客户端根据数据包(Kafka)发布不同主题的数据，并将其传递给流式分析管道(Spark)。Kafka</

浏览 2提问于2016-02-16得票数 0

2回答

spark (java) -打开的文件太多

apache-spark

我正尝试在spark2中运行一个批处理作业，它接受一个巨大的列表作为输入，并在该列表上迭代以执行处理。(BypassMergeSortShuffleWriter.java:128) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53) at

浏览 0提问于2017-06-22得票数 0

2回答

Spark Streaming和Phoenix Kerberos问题

hadoop、hbase、spark-streaming、kerberos、phoenix

很抱歉这个问题，因为这个问题已经提出了无数次，但我仍然无法找到解决我的问题后，通过每个相关的帖子。我在HDP 2.4.2上的Kerberos env上使用Spark Streaming (1.6.1)和Phoenix (4.4)，在尝试从HBase读取或写入时遇到异常。即使在从spark-submit中跳过key-ph.conf文件之后，我也得到了同样的问题。:/home/user/user.headless.keytab demoArrDataFrame

浏览 2提问于2016-12-05得票数 0

2回答

有没有办法在没有Flume的情况下使用Spark将Kafka中的流数据加载到HDFS中？

apache-spark、apache-kafka、hdfs、flume

我在寻找是否有一种方法可以使用spark streaming而不使用Flume将流数据从Kafka直接加载到HDFS中。我已经用Flume(Kafka源和HDFS接收器)试过了。提前感谢！

浏览 0提问于2017-10-19得票数 0

1回答

没有权限的Uri : hdfs:/data/_ spark* _metadata错误当在hdfs上使用spark流写入parquet文件时*

apache-spark、hdfs

我正在尝试从kafka中读取数据并保存到hdfs上的拼图文件中。我的代码类似于下面的代码，不同的是我是用Java编写的。val df = spark .format("kafka") .option("kafka.bootstrap.servers", "host1/sparkcheckpoint1/").outputMode("appen

浏览 4提问于2018-03-08得票数 2

2回答

并发追加到spark中的hdfs文件

hadoop、apache-spark、hdfs

我得到的ex是append_file失败的文件是忙hdfs_non_map_reducefs.append.write(rdd.collect.mkstring.getBytes)hdfs中的复制因子为1，我使用一个节点群集spark</e

浏览 2提问于2017-06-24得票数 0

1回答

使用while循环中的Spark处理日志文件

apache-spark、pyspark

我有一个服务器，每1秒生成一些日志文件，我想使用Apache Spark处理这个文件。我使用python编写了一个spark应用程序，并在while循环中处理了一组日志文件。

浏览 0提问于2017-04-18得票数 0

4回答

来自Kafka的Spark流，并以Avro格式写入HDFS

scala、apache-spark、hdfs、spark-streaming、avro

我基本上是想使用Kafka中的数据，并将其写入HDFS。但是发生的情况是，它没有在hdfs中写入任何文件。它会创建空文件。import org.apache.kafka.common.serialization.StringDeserializer importimport org.apache.spark.streaming.<em

浏览 4提问于2017-10-08得票数 0

1回答

是否允许通过合并或重新分区来合并HDFS中的小文件(但合并后会很大)？

apache-spark、hadoop、pyspark、apache-spark-sql、hdfs

我正在使用HDFS -接收器-连接器来使用Kafka的数据进入HDFS。这个目录是按日期创建的；所以我想通过每天的批处理将许多小文件合并到一个大文件中是很棒的。(我预计HDFS将自动将一个大文件分割成块大小。)我知道有很多答案说我们可以使用spark

浏览 7提问于2022-03-22得票数 0

回答已采纳

1回答

Scala中使用Kafka的Spark流媒体

scala、apache-spark、apache-kafka

我正在尝试使用IntelliJ在Scala中构建一个Kafka消费者，以便从Kafka主题读取消息并将它们保存在hdfs上。我使用的是spark 1.6.2，kafka_2.10-0.10，scala 2.10.5和hdp 2.5.3。我得到以下错误： Exception in thread "main" java.lang.NoSuchMethodError: kafka.consumer.SimpleConsumer.<init>(L

浏览 0提问于2018-04-06得票数 0

1回答

将单个DStream拆分为多个Hive表

apache-spark、optimization、apache-kafka、spark-streaming

火花流从卡夫卡获得数据。数据采用json格式。样本输入 {“tableA”："tableA"，"Product_ID"："AGSVGF.upf"，"file_timestamp"：file_timestamp "hdfs_file_name"："但有些时间-很多时间我使用spark.streaming.kafka.maxRatePerPartition=10控制输入。我已经将rdd重新划分为9个分区，但是在<em

浏览 0提问于2018-07-29得票数 6

2回答

自动将数据从Csv文件获取到Datalake的最佳方法

hadoop、hbase、hdfs、datamart、bigdata

我需要从csv文件中获取数据(每天从不同的业务数据库中提取)到HDFS，然后将其移动到Hbase，最后将这些数据聚集到数据仓库(sqlServer )。

浏览 3提问于2017-09-12得票数 0

点击加载更多