如何从objectFile加载spark graphx

文章/答案/技术大牛

发布

1回答

apache-spark、spark-graphx

{SparkConf, SparkContext} graph.vertices.saveAsObjectFile("/Users/test/vertices") val vertices = sc.objectFile[(VertexId, Map[String, String])]("/Users/test&#x

浏览 17提问于2017-06-23得票数 1

1回答

如何将org.apache.spark.sql.Column转换为像Long或String这样的数据类型

scala、apache-spark、apache-spark-sql、spark-graphx

我试图从Spark 加载数据以构建graphX顶点，但是我面临一个不知道如何解决的错误。这是代码：这是一个错误： <console>:36: error:

浏览 6提问于2022-05-03得票数 0

回答已采纳

0回答

如何实现HDRF算法？

scala、apache-spark、spark-graphx

我需要在Scala中使用Apache Spark Graphx实现HDRF:幂律图算法的基于流的分区，我有以下数据集- 1 3 2 4 3 4如何实现该算法？然而，现在我已经能够加载这个图，但是我不知道如何在hdrf中进行分区。我尝试在graphx的partitionStrategy类中实现该算法，但结果很差import org.apache.s

浏览 9提问于2017-11-30得票数 1

1回答

火花:如何从CompactBuffer中读取objectFile？

scala、apache-spark、object-files、sequencefile

我正在从一个对象文件中读取以下结构：如果我试着这样读： println(p.toString()) t我得到了以下错误： java.lang.ClassCastException: org.apache.spark.util.collection.CompactBuffercannot be cast to scala.collection

浏览 0提问于2015-08-22得票数 2

回答已采纳

1回答

我们可以导出星火GraphX图形数据到土卫六图形数据库吗？

scala、apache-spark、titan、spark-graphx

我正在检查将星火GraphX图输出到土卫六图形数据库的可行性。***Used below code to construct graph in Spark GraphX and writing graph to a json file :***val graph = Graph(users, relationships)在运行上

浏览 2提问于2016-02-10得票数 1

1回答

如何在scala中将graphX变量声明为全局变量

scala、global-variables、spark-graphx

我是scala和spark-graphX的新手。我有一个用spark-graphX创建图形的方法，它是成功的。

浏览 20提问于2016-08-27得票数 0

4回答

图形可视化

apache-spark、visualization、spark-graphx

我正在寻找一种方法来可视化在Spark的Graphx中构建的图形。据我所知，Graphx没有任何可视化方法，所以我需要将数据从Graphx导出到另一个图形库，但我被困在这里了。我应该使用哪个库，以及如何导出图形。

浏览 7提问于2016-08-03得票数 9

1回答

Neo4j作为火花放电的数据源

python、apache-spark、neo4j、pyspark、apache-kafka

我有一个要求，我必须从Neo4j中提取数据，并从这些数据中创建Spark。我在我的项目中使用Python。连接器具有相同的用途，但它是用Scala编写的。所以我现在可以想出解决办法- Neo4j ->

浏览 7提问于2018-01-09得票数 2

1回答

我们如何得到在graphX图中具有最大权重的整个边？

apache-spark、max、spark-graphx

我想知道如何在graphx图中获得具有最大权重(Attr)的整个边？

浏览 0提问于2016-06-28得票数 0

1回答

星火Scala GraphX:两个顶点之间的最短路径

scala、apache-spark、spark-graphx

我在星火GraphX (Scala)中有一个有向图G。我想找出从已知的顶点v1开始到另一个顶点v2的交叉边的数目。换句话说，我需要从顶点v1到以边数计算的顶点v2的最短路径(不使用边的权重)。

浏览 5提问于2016-05-10得票数 4

回答已采纳

2回答

使用Hbase表作为输入的Spark Graphx

apache-spark、spark-graphx

我将键/值存储在Hbase中，我可以像所有键一样使用GRaphX将这些键值对转换为图形吗?将列限定符作为->节点，而将所有值->作为连接节点的边的属性？任何指针都会有很大帮助

浏览 1提问于2014-11-18得票数 1

1回答

阿帕奇星火GraphX* java.lang.ArrayIndexOutOfBoundsException*

java、scala、hadoop、apache-spark、spark-graphx

我试着理解如何使用Spark，但总是有一些问题，所以也许有人可以建议我读什么等等。我试着阅读火花文档和学习火花-O‘’Reilly媒体书，但找不到任何解释，我们需要多少内存来处理不同大小的网络等等。/bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.0.12:7077

浏览 1提问于2015-05-04得票数 0

1回答

查找特定节点的连接组件，而不是整个图(GraphFrame/GraphX)

apache-spark、spark-dataframe、spark-graphx、graphframes

是否可以使用GraphFrame/GraphX获取给定特定节点ID的断开连接子图中的所有节点

浏览 7提问于2016-05-26得票数 6

1回答

Neo4J和用例

scalability、graphs、neo4j

星星之火有GraphX项目，我在过去没有使用过。有没有人从Neo4J转到GraphX？除了可伸缩性之外，用例是否重叠？或者，GraphX是否解决了与Neo4J完全不同的问题集？

浏览 0提问于2014-12-10得票数 4

回答已采纳

1回答

为什么sbt更新失败与“冲突的跨版本后缀”与火花GraphX？

scala、apache-spark、sbt、spark-graphx

/spark-graphx_2.10 // https:jackson-module-scala, org.json4s:json4s-core,org.apache.spark:spark-unsafe, org.apache.<e

浏览 2提问于2017-10-14得票数 0

回答已采纳

1回答

java 3d对象位置

java、position、java-3d

以下是java3d如何做这件事：，我该怎么做？

浏览 0提问于2013-06-07得票数 0

回答已采纳

3回答

因此，可能的解决方案可以是分布式云，使用Hadoop/Giraph、Spark/GraphX、Neo4j等。但是，由于我是一个初学者，有人能给我一些建议吗？我不知道什么时候使用Spark/GraphX和什么时候使用Neo4j？现在我考虑Spark/GraphX，因为它有更多类似Python的语法，而neo4j有自己的Cypher。我不明白为什么要使用额外级别的软件(neo4j)，还是只使用Spark/Graph

浏览 6提问于2015-02-19得票数 21

1回答

强制maven使用本地依赖

maven、apache-spark、dependency-management、spark-graphx

我陷入了一个看似愚蠢的问题，但我不知道如何解决它。我也在网上看了看，但没有一个解决方案对我有效。 <artifactId>spark-

浏览 0提问于2018-11-28得票数 0

1回答

iOS如何从相机加载照片来解析Swift

ios、swift、parse-platform

如何从相机或电话库中加载照片以进行解析，比如PFFile？如何从我知道的资产中加载映像，我的代码： let query = PFQuery(className: "_User") query.findObjectsInBackgroundlet objectFile = firstObject?.object(forKey: "avatar") as!PFFil

浏览 0提问于2018-04-13得票数 1

回答已采纳

1回答

Graphx从顶点id获取顶点标签

scala、apache-spark、graph、spark-graphx、connected-components

7722304331424482609,6109253945443866644)我找不到在ccGraph中找到(vertexID，vertexID)的顶点标签/顶点名称的方法，这样输出就会从graph.vertices.lookup(arr(0))(k1,k2) <console>:51: error: (org.apache.spark.graphx</e

浏览 2提问于2016-07-04得票数 0

点击加载更多