腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1573)
视频
沙龙
1
回答
删除星火JavaPairDStream / JavaDStream中的副本
apache-spark
、
spark-streaming
我正在构建一个星火流应用程序,它通过SocketTextStream接收数据。问题是,发送的数据有一些重复的。我想移除他们在火花边(没有预先过滤发送方)。我可以通过DStream的foreach使用JavaPairRDD的不同功能吗?我需要“过滤”的Java(对)DStream用于以后的操作..。
浏览 3
提问于2015-08-25
得票数 0
回答已采纳
1
回答
不能在星火中联合两个CassandraJavaRDD<CassandraRow>
java
、
apache-spark
、
cassandra
、
spark-cassandra-connector
类型不匹配:无法从
JavaRDD
转换为CassandraJavaRDD( 2)或将某个RDD的类型更改为
JavaRDD
浏览 2
提问于2016-03-07
得票数 1
回答已采纳
1
回答
将可迭代转换为RDD
java
、
elasticsearch
、
apache-spark
、
spark-streaming
、
elasticsearch-plugin
当我执行groupByKey时,结果是<key(index), Iterable<value>>的元组,但是为了使用elasticsearch-spark插件保存到elasticsearch,我需要将值作为
JavaRDD
我知道有一个从list创建
JavaRDD
的sparkContext.parallelize(list)选项,但它只能在驱动程序上执行。有没有其他选项可以创建可以在executor上执行的
JavaRDD
?或者我可以用另一种方式来实现在executor上工作的Tuple2<key(index), <
浏览 7
提问于2016-08-08
得票数 1
1
回答
映射星火DataFrame Colunm值与
JavaRdd
<Row >
java
、
apache-spark
、
spark-dataframe
JavaRDD
<Row> ff = vertex_dataframe.
javaRDD
().zipWithIndex().map(new SerialiFunJRdd<Tuple2<Row, Long>,
浏览 1
提问于2017-01-19
得票数 1
回答已采纳
2
回答
使用Java Spark逐行读取大型文本文件
java
、
apache-spark
public static void jsonConversion() { String newrows下面是我正在使用的库的列表import org.apache.spark.SparkConf; import org.apache.spark.api.java.
JavaRDD
浏览 70
提问于2019-11-15
得票数 5
回答已采纳
1
回答
foreachRDD不接受
JavaRDD
<String>作为返回类型
apache-spark
、
spark-streaming
、
apache-spark-mllib
当我试图将
JavaRDD
作为新函数()的第二个参数而不是Void时。stream.foreachRDD( new Function<
JavaRDD
<String>,
JavaRDD
<String> >() { }} 方法foreachRDD(Function,Void>)在Abs
浏览 2
提问于2017-08-01
得票数 1
回答已采纳
1
回答
如何在Spark Java中使用StructType模式从
JavaRDD
<String>中读取csv格式的数据
java
、
apache-spark
、
apache-spark-sql
通过使用Spark Java,我尝试使用StructType动态模式读取
JavaRDD
格式的具有逗号分隔值的数据。我知道我可以使用下面的方法传递模式(其中schemaStr->StructType和
JavaRDD
->
JavaRDD
)来读取json: Dataset<Row> df = spark.read().schema(schemaStr).json(
javaRDD
);
javaRDD
has value as: name1,address11,city111 请建议如何使
浏览 82
提问于2019-10-11
得票数 1
2
回答
如何将对象转换为星火中的字符串?
apache-spark
但是在这一行上得到编译错误-> input.planmap(s-> Arrays.asList( s.split(“”)) );代码:-{ // Load the i
浏览 2
提问于2017-09-25
得票数 0
回答已采纳
2
回答
JavaRDD
<String>到
JavaRDD
<Row>
java
、
apache-spark
、
rdd
我使用以下命令将txt文件读取为
JavaRDD
:现在,我想将其转换为
JavaRDD
,因为在txt我也试过这个:但是说我不能将map函数分配给"Object“RDD。如何从
JavaRDD
中创建
JavaRDD</e
浏览 0
提问于2019-03-21
得票数 2
回答已采纳
1
回答
如何从JavaPairInputDStream生成JavaStreamingContext?
java
、
apache-spark
、
spark-streaming
、
dstream
、
java-pair-rdd
String, String> lines = jssc.queueStream(inputQueue, true); 类型为queueStream(Queue<
JavaRDD
浏览 2
提问于2017-12-18
得票数 0
回答已采纳
5
回答
星星之火:
JavaRDD
<Tuple2>到JavaPairRDD<>
java
、
mapreduce
、
apache-spark
我有一个
JavaRDD
<Tuple2<String, String>>,需要将它转换为JavaPairRDD<String, String>。目前,我只是简单地编写映射函数,然后按原样返回输入元组。
浏览 11
提问于2014-11-19
得票数 12
回答已采纳
1
回答
如何在JAVA中将RDD转换为DStream?
apache-spark
我已经检查了,并希望在JAVA中也这样做。正确的方法是什么?
浏览 1
提问于2016-03-18
得票数 2
回答已采纳
1
回答
spark是否创建了两个工作在相同逻辑上的数据集或阶段?
cassandra
、
dataset
、
apache-spark
、
rdd
JavaSparkContext sc = new JavaSparkContext(conf); sc.stop();
JavaRDD
lines = sc.textFile(“PersonAggregation1_500.csv”, 1);return lines; public void aggregateData
浏览 3
提问于2015-05-29
得票数 0
1
回答
Spark中两个DStream的笛卡尔乘积
apache-spark
、
spark-streaming
我如何在像cartesian(RDD<U>)这样的Apache流中生成两个元素,当对类型T和U的数据集调用时,将返回(T,U)对(所有元素对)的数据集。 JavaPairDStream<Integer, String> xx = DStream_A.mapToPair(s -> { }); JavaPairDStream<Integer, String> yy = DStream_
浏览 1
提问于2016-06-11
得票数 0
1
回答
如何在星火Java中使用sortby
apache-spark
List<Integer> data1 = Arrays.asList(1, 3, 5);
JavaRDD
<Integer> rdd1 = sc.parallelize(data1);
JavaRDD
浏览 3
提问于2017-11-25
得票数 2
回答已采纳
1
回答
如何将
JavaRDD
<List<String>>转换为
JavaRDD
<String>并在不使用"[“和"]”的情况下写入文件
java
、
apache-spark
我有一个
JavaRDD
<List<String>>,当我使用 javacontext.parallelize(rdd).coalesce(1, true).saveAsTextFile("dirname"); 我们可以将
JavaRDD
<List<String>>转换为
JavaRDD
<String>并将其写入文件吗?
浏览 37
提问于2019-12-14
得票数 0
回答已采纳
1
回答
Spark中的access广播变量
apache-spark
、
apache-spark-sql
、
lookup
、
rdd
、
broadcast
ArrayList<Integer>(); list.add(2);
JavaRDD
<Integer> listrdd = ctx.parallelize(list);
JavaRDD
<Object> mapr = listrdd.map(x -> broadcastVar.value
浏览 3
提问于2016-12-21
得票数 0
回答已采纳
1
回答
Spark Streaming -有没有一种方法可以联合两个JavaInputDstreams,在统一流上执行转换并提交偏移
java
、
apache-spark
、
apache-kafka
、
spark-streaming
spark使用者必须从不同的Bootstrap服务器读取具有相同名称的主题。因此需要创建两个JavaDstreams,执行联合,处理流并提交偏移量。问题是JavaInputDStream不支持dStream.Union(stream2);JavaDStream<ConsumerRecord<String, GenericRecord>
浏览 0
提问于2018-04-04
得票数 2
1
回答
将
JavaRDD
<ArrayList<T>>转换为
JavaRDD
<T>
java
、
apache-spark
是否有一种直接的方法可以使用Apache的Java将
JavaRDD
<ArrayList<T>>转换为
JavaRDD
<T>?baseRDD = sc.newAPIHadoopFile(args[2], InputFormat2.class, NullWritable.class,ArrayList.class, conf); 我想把
JavaRDD
&l
浏览 0
提问于2015-11-02
得票数 0
回答已采纳
1
回答
在
JavaRDD
中使用Text数据类型并在FlatMap中返回空
java
、
hadoop
、
apache-spark
但我有两个疑问,首先,
JavaRDD
似乎不使用文本,我在这方面遇到了一些问题。其次,将文本转换为形状的函数不会返回任何内容。但我不能使用flatMap或任何其他映射技术。setMaster("local");
JavaRDD
JavaRDD
可以与用户定义的类一起使用(据我所知)。我甚至不确定我是否已经将字符串行转换为文本文本,如果这在RDD中是允许的。我对Spa
浏览 14
提问于2017-02-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark SQL DataFrame与RDD交互
使用 Apache Spark 构建商品推荐引擎
贝壳基于Spark的HiveToHBase实践
Spark踩坑记:Spark Streaming+kafka应用及调优
Spark性能优化:开发调优篇
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券