我正在尝试实现一种加权最短路径算法,该算法来自Michael和Robin的SparkGraphX in Action书。讨论的部分是清单6.4“执行使用面包屑的最短路径算法”(第6章 )。我可以使用本机GraphX库执行未加权最短路径计算,并且我对图的构造很有信心。$.dijkstra$1(GraphX.scala:51)
at GraphX$.main
我是sparkGraphX的新手,正在尝试分布式地计算特定节点(例如ID =1的节点)与sparkgraphx中的邻居之间的交集。我已经用路径加载了边缘列表(sc,“GraphLoader.edgeListFile”)。然后,我使用collectNeighborIds找到节点ID =1的邻居id,并对其执行映射函数,以找到每个邻居并计算与选定节点( ID =1的节点)邻居的交集。下面是代码。但是我不能把它们打印出来,看看里面是什么。请帮我解决这个计算交集和打印结果的
我正在检查将星火GraphX图输出到土卫六图形数据库的可行性。***Used below code to construct graph in SparkGraphX and writing graph to a json file :***val graph = Graph(users, relationships)在运行上
我试着理解如何使用Spark,但总是有一些问题,所以也许有人可以建议我读什么等等。我试着阅读火花文档和学习火花-O‘’Reilly媒体书,但找不到任何解释,我们需要多少内存来处理不同大小的网络等等。在我的测试中,我使用了几个示例数据集。我在Spark中的一个主节点(~16 on )上运行它们::load /home/ubuntu/spark-1.2.1/bin/script.scala
我还没有使用HD