从JavaRDD生成直方图

文章/答案/技术大牛

发布

1回答

apache-spark、rdd

我正在尝试编写代码来将Java RDD中的数据转换为直方图，这样我就可以以某种方式对数据进行bin。例如，对于数据，我想创建一个大小的直方图，这样我就可以找出哪个bin包含多少个特定大小范围的条目。entriesand so on EntryWithSize { String entryId;} JavaRDD</em

浏览 20提问于2019-03-25得票数 0

1回答

Java中的直方图

java、apache-spark、spark-dataframe

是否有可能从Dataset<Row>表中用JavaSpark2.1生成直方图数据？

浏览 6提问于2017-07-18得票数 0

1回答

如何在Spark Java中使用StructType模式从JavaRDD<String>中读取csv格式的数据

java、apache-spark、apache-spark-sql

通过使用Spark Java，我尝试使用StructType动态模式读取JavaRDD格式的具有逗号分隔值的数据。我知道我可以使用下面的方法传递模式(其中schemaStr->StructType和JavaRDD->JavaRDD)来读取json： Dataset<Row> df = spark.read().schema(schemaStr).json(javaRDD); javaRDD has value as: name1,address11,city111 请建议如何使

浏览 82提问于2019-10-11得票数 1

1回答

如何使用Spark生成复杂的XML

apache-spark、apache-spark-sql、spark-dataframe、apache-spark-dataset、apache-spark-xml

我正试图从我的JavaRDd<图书和JavaRdd<评论中生成一个复杂的xml，我如何才能让这两个人一起生成下面的xml呢？下面是我如何生成图书和评论数据DataFrame reviewFrame= sqlCon.createDataFrame(reviewRDD, Review.class); 我知道如何生成xml，尤其是

浏览 0提问于2018-04-09得票数 5

回答已采纳

2回答

JavaRDD<String>到JavaRDD<Row>

java、apache-spark、rdd

我使用以下命令将txt文件读取为JavaRDD：现在，我想将其转换为JavaRDD，因为在txt我也试过这个：但是说我不能将map函数分配给"Object“RDD。如何从JavaRDD中创建J

浏览 0提问于2019-03-21得票数 2

回答已采纳

2回答

从颜色直方图中生成随机图像的最快方法是什么？

python、image、colors、pixel、pixels

假设我有一个颜色直方图。在蟒蛇中是否有一种从颜色直方图中随机生成图像的巧妙方法？谢谢!

浏览 5提问于2018-07-13得票数 3

回答已采纳

1回答

ArcMap 10.2创建栅格值而不是颜色值的直方图

gis、histogram、raster、arcmap

我正在为几个光栅制作像素值的直方图，以便比较它们并产生相当好的图形。我正在使用Spatial analyst工具栏为栅格创建直方图，但它提供的是栅格中颜色值的直方图，而不是实际的像素值。

浏览 14提问于2015-05-28得票数 1

1回答

如何在MATLAB中根据信号数据计算直方图时应用标准差阈值

matlab、histogram、feature-extraction、threshold、standard-deviation

我正在使用MATLAB从EMG信号中计算特征，方法是将EMG信号分割成200个样本的窗口，然后计算每个窗口的特征。 binCount = 9;然而，我正在进行的实验表明，直方图沿着3标准差(sigma)阈值被划分为9个柱状图。我对阈值如何与直方图箱的生成相适应感到困惑。是

浏览 1提问于2016-06-01得票数 0

1回答

使用Java合并来自多个RDDs的数据

java、csv、apache-spark、rdd

我不知道从哪里开始。有什么建议吗？JavaRDD<String> file1 = sc.textFile("D:\\tmp\\file1.csv");JavaRDD<String> file3 = sc.textFile("D:\\tmp\\file3.csv"); JavaRDD<S

浏览 0提问于2018-05-11得票数 0

1回答

如何将数据hive (从hive表中获得)写入hadoop SequenceFile和RCFile？

apache-spark、apache-spark-sql、spark-dataframe

我能把它写进直接和 <dependency> <artifactId>spark-csv_2.10</artifactId> </dependency> <dep

浏览 2提问于2016-10-03得票数 6

回答已采纳

1回答

将JavaPairRDD转换为JavaRDD

java、elasticsearch、apache-spark、rdd、apache-spark-mllib

我正在使用从ElsticSearch中获取数据。使用RDD，我将再次转换为JavaRDDJavaRDD</em

浏览 4提问于2015-10-08得票数 2

回答已采纳

2回答

Spark / Cassandra / Datastax连接器:如何调试JavaRDD内容？

cassandra、apache-spark、rdd

当我尝试用这段代码在JavaRDD中存储这个表的内容时： JavaRDD<String> cassandraRowsRDD = javaFunctions(sc).cassandraTable("

浏览 2提问于2015-01-02得票数 2

1回答

类型不匹配:无法从JavaRDD<Object>转换为JavaRDD<String>

java、apache-spark

根据我的理解，我编写了以下代码：我也试过 JavaRDD<String> dictionary = lines.flatMap(l -> Arrays.asList

浏览 2提问于2017-03-24得票数 0

回答已采纳

1回答

如何在HDFS上使用SparkStreaming时获取文件名

apache-spark、spark-streaming

我想在HDFS上收听文件更新，我可以通过以下方式获取输入流我可以同时获得新文件的文件名字符串吗？

浏览 15提问于2016-09-09得票数 0

2回答

从照片中生成漂亮的直方图？

image-processing、imagemagick、photo、gnuplot、histogram

我目前正在寻找一种从照片中生成“漂亮”直方图的解决方案。我想要一个用于linux的命令行工具。我知道，imagemagick可以生成直方图，这不会那么糟糕，但我希望用直方图标记轴。

浏览 6提问于2010-11-28得票数 0

1回答

如何从正常图像生成HSL或HSI直方图？

java、c#、image、histogram、hsl

为此，我需要一个代码来从一个普通的.JPEG .PNG或.BMP图像生成3个直方图。第一个直方图是色调直方图，第二个是饱和度直方图，第三个是亮度或强度直方图。我正在处理HSL和HSI，所以第三个直方图无论是亮度还是强度都会很有用。我更喜欢Java或C#实现，如果有的话。Thx all；

浏览 0提问于2015-03-04得票数 0

3回答

如何按多个字段对JavaRDD<Row>进行排序，并保留Java中的特定数据

java、apache-spark、spark-dataframe

我有一个JavaRDD<Row>类型的输入数据。Row有两个字段。-73b997c0cc64 1737.7186292370193候选方法： @Override

浏览 2提问于2016-07-15得票数 0

回答已采纳

1回答

如何从直方图matlab中求出概率值

matlab、math、histogram、probability

这是一个数学/matlab问题然后，我使用代码生成数据集的直方图。我想用直方图中的概率来表示方程的另一幅图。ln(probabilty of angle) = constant(angle) + constant 谢谢

浏览 5提问于2015-06-25得票数 0

回答已采纳

1回答

如何使用Gnuplot从CSV文件中的二进制数据创建直方图？

csv、gnuplot、data-visualization

我有一个CSV文件，它是由一个进程生成的，该进程输出预定义的bin中的数据(比如从-100到+100，以10为一步)。问题是，Gnuplot似乎需要原始数据才能生成直方图，而我只有频率分布。在这种情况下，我该如何处理？我正在寻找可能最简单的直方图，它可能使用垂直条形图显示数据。

浏览 2提问于2015-06-12得票数 0

2回答

从Spark2.0中的列表创建JavaRDD

spark-java

从列表创建JavaRDD的常用方法是使用JavaSparkContext.parallelize(List) 然而，在Spark2.0中，SparkSession被用作入口点，我不知道如何从列表创建JavaRDD

浏览 2提问于2016-06-28得票数 1

点击加载更多