如何度量Spark GraphX应用程序的执行时间？
度量Spark GraphX应用程序的执行时间可以通过以下步骤进行：
- 使用Spark内置的性能监控工具：Spark提供了一些内置的性能监控工具，可以帮助度量应用程序的执行时间。其中包括Spark Web UI和Spark History Server。通过这些工具，可以查看应用程序的任务执行时间、数据倾斜情况、资源利用率等信息。
- 使用Spark自带的计时器：Spark提供了计时器API，可以在应用程序中嵌入计时器代码，来度量特定代码块的执行时间。可以使用
System.currentTimeMillis()或System.nanoTime()来获取时间戳，并在代码块开始和结束处分别记录时间戳，计算差值即可得到执行时间。 - 使用日志记录：在应用程序中添加日志记录，可以在关键代码块的开始和结束处分别记录时间戳。通过分析日志，可以计算出执行时间。
- 使用外部工具：除了Spark内置的工具，还可以使用一些外部的性能监控工具来度量Spark GraphX应用程序的执行时间。例如，可以使用Apache Hadoop的YARN ResourceManager来监控应用程序的执行时间和资源使用情况。
需要注意的是，度量Spark GraphX应用程序的执行时间不仅仅包括代码的执行时间，还包括数据加载、数据传输、任务调度等时间。因此，在度量执行时间时，需要综合考虑这些因素。
推荐的腾讯云相关产品：腾讯云提供了一系列与Spark相关的产品和服务，可以帮助度量和优化Spark应用程序的执行时间。其中包括云服务器CVM、弹性MapReduce、云监控、云日志等。您可以通过腾讯云官网了解更多产品和服务的详细信息。
参考链接：
相关·内容
我是scala和spark-graphX的新手。
如何在scala中将spark-graphx变量声明为全局变量。
我有一个用spark-graphX创建图形的方法，它是成功的。现在，我想从另一个方法中检索图的详细信息。为此，我需要将图形变量声明为全局变量。请建议我该怎么做？
浏览 20提问于2016-08-27得票数 0
1回答
我正在尝试使用火花GraphX使用Cloudera 5.7从这个网站：
我所做的步骤: 1)打开终端2)运行spark-shell 3)运行import org.apache.spark.graphx._
当我提交此代码时，会得到以下错误：
scala> import org.apache.spark.graphx_
<console>:25: error: object graphx_ is not a member of package org.apache.spark
import org.apache.spark.graphx_
有人知道我错过了什么
浏览 2提问于2016-08-22得票数 0
回答已采纳
1回答
我陷入了一个看似愚蠢的问题，但我不知道如何解决它。我也在网上看了看，但没有一个解决方案对我有效。
我有一个使用spark graphX模块的spark代码。我需要在graphX中进行更改，并强制我的项目使用这个修改过的graphX版本。为了做到这一点，我首先从spark源代码中取出了graphx模块，并独立编译。然后在我的应用程序pom.xml文件中指定依赖项，该文件的作用域为"system“。这是我的应用程序pom。
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="
浏览 0提问于2018-11-28得票数 0
我试图在图上传递一些消息来计算递归特性。当我定义一个顶点是aggregateMessages输出的图时，我会得到一个错误。上下文代码
> val newGraph = Graph(newVertices, edges)
newGraph: org.apache.spark.graphx.Graph[List[Double],Int] = org.apache.spark.graphx.impl.GraphImpl@2091594b
//This is the RDD that causes the problem
> val result = newGraph.aggregat
浏览 5提问于2017-01-09得票数 1
回答已采纳
0回答
我需要在Scala中使用Apache Spark Graphx实现HDRF:幂律图算法的基于流的分区，我有以下数据集-
1 2
1 3
1 5
2 4
2 5
2 6
3 4
4 6
如何实现该算法？任何建议都将不胜感激。
如果需要，我还有这个pdf可以帮助你：。然而，现在我已经能够加载这个图，但是我不知道如何在hdrf中进行分区。我尝试在graphx的partitionStrategy类中实现该算法，但结果很差
/*编辑*/
import org.apache.spark.graphx._
import org.apache.s
浏览 9提问于2017-11-30得票数 1
我有一个图，我想要计算最大度。特别是最大度的顶点，我想知道所有的性质。这是代码片段：
def max(a: (VertexId, Int), b: (VertexId, Int)): (VertexId, Int) = {
if (a._2 > b._2) a else b
}
val maxDegrees : (VertexId, Int) = graphX.degrees.reduce(max)
max: (a: (org.apache.spark.graphx.VertexId, Int), b: (org.apache.spark.graphx.VertexId, I
浏览 2提问于2017-09-25得票数 0
回答已采纳
1回答
我正在从文件中读取数据来创建图形的边缘。我已经声明了一个数组，并一个一个地在其中添加边。此代码运行良好：
class AIRecipes()
case class edgeProperty(val relation: String, val usedIn: String) extends AIRecipes
var edgeArray = Array(Edge(0L, 0L, edgeProperty("", "")))
edgeArray = edgeArray ++ Array(Edge(VertexId, VertexId, edgeProperty(
浏览 0提问于2018-05-05得票数 0
回答已采纳
1回答
我已经实现了这个代码：
scala> import org.apache.spark._
scala> import org.apache.spark.rdd.RDD
import org.apache.spark.rdd.RDD
scala> import org.apache.spark.util.IntParam
import org.apache.spark.util.IntParam
scala> import org.apache.spark.graphx._
import org.apache.spark.graphx._
scala> im
浏览 1提问于2016-08-24得票数 0
回答已采纳
我正在检查将星火GraphX图输出到土卫六图形数据库的可行性。
***Used below code to construct graph in Spark GraphX and writing graph to a json file :***
val conf = new SparkConf()
val sc = new SparkContext(conf.setAppName("========= GraphXTest ======="))
// Create an RDD for the verti
浏览 2提问于2016-02-10得票数 1
1回答
我是斯卡拉/斯派克的新手。我正在尝试编译和运行一个示例GraphX代码。原始文件链接：
我的代码，稍作编辑以避免出现问题：
// scalastyle:off println
package org.apache.spark.examples.graphx
// $example on$
import org.apache.spark.graphx.GraphLoader
// $example off$
import org.apache.spark.sql.SparkSession
/**
* A PageRank example on social network dataset
*
浏览 0提问于2018-03-27得票数 1
回答已采纳
我正在尝试使用pyspark运行Python的Spark graphx。我的安装看起来是正确的，因为我能够很好地运行pyspark教程和(Java) GraphX教程。大概因为GraphX是Spark的一部分，所以pyspark应该能够连接它，对吗？
以下是pyspark的教程：
以下是针对GraphX的示例：
有人可以将GraphX教程转换为Python语言吗？
浏览 2提问于2014-04-26得票数 30
回答已采纳
我一直在尝试向Kryo注册Edge类，但我总是收到以下错误。
java.lang.IllegalArgumentException: Class is not registered: org.apache.spark.graphx.Edge\nNote: To register this class use: kryo.register(org.apache.spark.graphx.Edge.class);
下面这行有什么问题？
sc.getConf.registerKryoClasses(Array(Class.forName("org.apache.spark.graphx.Ed
浏览 10提问于2020-08-05得票数 0
1回答
火花版本1.6.1
创建边缘和顶点RDDs
val vertices_raw = sqlContext.read.json("vertices.json.gz")
val vertices = vertices_raw.rdd.map(row=> ((row.getAs[String]("toid").stripPrefix("osgb").toLong),row.getAs[String]("index")))
val verticesRDD: RDD[(VertexId, String)] = vertices
v
浏览 3提问于2016-08-17得票数 7
回答已采纳
我是斯卡拉和斯派克的新手。我试图从Spark 加载数据以构建graphX顶点，但是我面临一个不知道如何解决的错误。这是代码：
val vRDD: RDD[(VertexId, String)] = spark.sparkContext.parallelize(Seq(spark.table("sw")))
.map(row => (row("id"), row("title_value")))
这是一个错误：
<console>:36: error: typ
浏览 6提问于2022-05-03得票数 0
回答已采纳
不能使用Scala语言定义Graphx。这是sbt文件：
name := "spark_scala"
version := "0.1"
scalaVersion := "2.13.10"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "3.3.1",
"org.apache.spark" %% "spark-graphx" % "3.3.1",
浏览 6提问于2022-11-13得票数 0
1回答
我最近开始使用火花。目前，我正在测试一个具有不同顶点和边缘类型的二分图。
根据我在图中所做的研究，为了有不同的边和一些具有属性的边，我需要对这些边进行子类化。
下面是代码的一个片段：
scala> trait VertexProperty
defined trait VertexProperty
scala> case class paperProperty(val paperid: Long, val papername: String, val doi: String, val keywords: String) extends VertexProperty
defined
浏览 0提问于2017-01-16得票数 2
回答已采纳
我使用以下代码在星火GraphX中创建了一个图形。(见)
import scala.math.random
import org.apache.spark._
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD
import scala.util.Random
import org.apache.spark.HashPartitioner
object SparkER {
val nPartitions: Integer = 4
val n: Long = 100
val p: Double = 0.
浏览 0提问于2015-12-22得票数 3
回答已采纳
我在Spark graphX中运行以下创建图形的代码时遇到错误。我使用下面的命令通过spark-shell运行它：./bin/spark-shell -i ex.scala
输入：
My Vertex File looks like this (each line is a vertex of strings):
word1,word2,word3
word1,word2,word3
...
My Edge File looks like this: (edge from vertex 1 to vertex 2)
1,2
1,3
代码：
// Creating Vertex RDD (Inp
浏览 1提问于2015-11-06得票数 2
我是大数据和hadoop的新手，我正在尝试利用hadoopcryptoledger库来做一些比特币图形分析，我遵循了本教程 使用spark-scala-graphx分析比特币交易图 在执行命令时 sbt clean assembly test it:test 我遇到了一个问题： /home/jnikhil/hadoopcryptoledger/examples/scala-spark-graphx-
bitcointransaction/build.sbt:30: error: not found: value assemblyJarName
assemblyJarName in a
浏览 103提问于2017-03-15得票数 6
回答已采纳
我正在尝试将GraphFrames添加到我的scala spark应用程序中，当我添加基于2.10的应用程序时，一切都很顺利。然而，当我尝试用GraphFrames build和Scala2.11构建它的时候，它就失败了。
问题是使用了冲突的scala版本(2.10和2.11)。我得到以下错误：
[error] Modules were resolved with conflicting cross-version suffixes in {file:/E:/Documents/School/LSDE/hadoopcryptoledger/examples/scala-spark-graphx
浏览 1提问于2017-10-23得票数 0
1回答
我正在运行下面的代码，试图在Apache中在GraphX中创建一个图形。
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.graphx.GraphLoader
import org.apache.spark.graphx.Graph
import org.apache.spark.rdd.RDD
import org.apache.spark.graphx.VertexId
//loads file from the array
val l
浏览 5提问于2016-12-16得票数 1
回答已采纳
我试图以独立的模式执行spark submit，我的项目在IntelliJIdea工具中编译成功，我还创建了相关的jar文件，但当我尝试运行以下内容时：
[cloudera@quickstart bin]$ spark-submit --verbose --class graphx /home/cloudera/ideaProjects/grafoTelefonos/target/graphx-1.0-SNAPSHOT.jar /usr/lib/spark/logs/temp.log
我得到了以下输出和错误消息：
Using properties file: /usr/lib/spark/co
浏览 3提问于2016-05-05得票数 2
回答已采纳
斯派克，斯卡拉，我是新手。
我试图在这个数据集中执行三角计数：
做一个业余项目
这是我到目前为止编写的代码：
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.graphx.Edge
import org.apache.spark.graphx.Graph
import org.apache.spark.graphx.Graph.graphToGraphOps
import org.apache.spark.graphx
浏览 4提问于2016-10-31得票数 1
回答已采纳
我想取消spark中的一个作业，因为有时它需要更多的时间，而且还没有完成。当我们调用一个操作时，就会创建一个作业。例如，当我调用collect时，它需要更多的时间才能完成。我想取消此操作的作业。我不使用spark-submit，我在Scala代码中创建SparkContext。我的应用程序是一个基于GraphX的web应用程序。 我如何在spark中做到这一点？
浏览 52提问于2020-06-28得票数 1
回答已采纳
4回答
图形可视化
、、
我正在寻找一种方法来可视化在Spark的Graphx中构建的图形。据我所知，Graphx没有任何可视化方法，所以我需要将数据从Graphx导出到另一个图形库，但我被困在这里了。我访问了这个网站：，但它没有任何帮助。我应该使用哪个库，以及如何导出图形。
浏览 7提问于2016-08-03得票数 9
我已经在Graphx中创建了一个简单的项目，当我试图运行这个测试项目时，我得到了AbstractMethodError，这个方法edgeListFile内部出现错误，看起来像是与记录器相关的东西，我不是abe看到的，请帮助我。 这是我的.scala file object graphtest extends App {
import org.apache.spark.graphx.{GraphLoader, VertexId}
val spark = SparkSession.builder.master("local").appName("lear
浏览 23提问于2019-02-05得票数 0
1回答
我使用Scala。我定义了以下函数
scala> def getEdgesMortages( fila: Array[((org.apache.spark.graphx.VertexId,
ComplaintNodeDate),(org.apache.spark.graphx.VertexId, MortageNode))]):
Array[String] = {
| println("row ",fila)
| println("row 0 ",fila(0))
| var (idVertice, datoComplaint) = fila(0)
浏览 0提问于2016-05-22得票数 0
我想用图形。现在我只是在本地启动它。我有NullPointerException在这几行。第一次打印很好，第二次失败。
..........
val graph: Graph[Int, Int] = Graph(users, relationships)
println("graph.inDegrees = " + graph.inDegrees.count) // this line works well
graph.mapVertices((id, v) => {
println("graph.inDegrees = " + graph.inDeg
浏览 2提问于2014-09-23得票数 0
回答已采纳
1回答
我正在尝试一个在星火GraphX和有困难的零代码。
scala> verticesRDD
res76: org.apache.spark.rdd.RDD[(Long, (String, Long))] = MapPartitionsRDD[78] at map at <console>:51
scala> EdgesRDD
res77: org.apache.spark.rdd.RDD[org.apache.spark.graphx.Edge[Boolean]] = MapPartitionsRDD[18] at map at <console>:41
浏览 2提问于2018-04-19得票数 1
回答已采纳
我想在集群上运行graphx应用程序，其中包括具有不同RAM的机器。现在我尝试使用spark独立集群。但是似乎我不能为每台机器调整spark.executor.memory属性。我说的对吗？
浏览 1提问于2014-10-21得票数 0
在spark-shell中，我像这样运行我的代码：
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.graphx.{Edge, Graph, GraphLoader, VertexId}
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{Seconds, StreamingContext}
val users: RDD[(VertexId, Map[String, String])] =
sc.pa
浏览 17提问于2017-06-23得票数 1
我正在做一个spark graphx项目。我想登录我的代码来追踪，...我使用下面的代码来创建记录器对象。 package org.araz.DAF.GraphAnalysis
import org.apache.spark.graphx._
import org.araz.DAF.{GEdge, GVertex}
import org.slf4j.LoggerFactory
class GraphAnalysis(_graph: Graph[GVertex, GEdge]) {
var graph: Graph[GVertex, GEdge] = _graph
def GetCon
浏览 23提问于2020-03-23得票数 0
刚刚开始我对图形处理方法和工具的研究。我们主要做的是-计算一些标准指标，如pagerank，聚类系数，三角形计数，直径，连通性等。在过去，我们对Octave很满意，但当我们开始处理具有10^9个节点/边的图时，我们就卡住了。
因此，可能的解决方案可以是分布式云，使用Hadoop/Giraph、Spark/GraphX、Neo4j等。
但是，由于我是一个初学者，有人能给我一些建议吗？我不知道什么时候使用Spark/GraphX和什么时候使用Neo4j？现在我考虑Spark/GraphX，因为它有更多类似Python的语法，而neo4j有自己的Cypher。neo4j中的可视化很酷，但在如此大的规
浏览 6提问于2015-02-19得票数 21
1回答
我是新的scala和SBT构建文件。在入门教程中，将火花依赖项添加到scala项目应该是通过sbt火花包插件直接进行的，但是我得到了以下错误：
[error] (run-main-0) java.lang.NoClassDefFoundError: org/apache/spark/SparkContext
请提供资源，以了解更多关于什么可能是驱动错误，因为我想更彻底地理解过程。
代码：
trait SparkSessionWrapper {
lazy val spark: SparkSession = {
SparkSession
.builder()
浏览 2提问于2019-02-20得票数 0
我听到一个奇怪的错误
Type mismatch: cannot convert from DataFrame to Dataset<Row>
当我试图实现来自的示例代码时。
这是给我带来错误的那一行。
Dataset<Row> verDF = spark.createDataFrame(uList, User.class);
我还查看了星火的文档，其中给出了同样的例子。但我不知道为什么它在我的情况下不起作用。
这是我的imports
import org.apache.spark.api.java.JavaRDD;
import org.apache.spar
浏览 4提问于2017-02-04得票数 0
回答已采纳
我使用的是Spark、GraphX 2.0.2和IntelliJ。我得到了错误：
Class is not registered: org.apache.spark.graphx.impl.GraphImpl
所以我补充道：
kryo.register(classOf[GraphImpl[Object,Object]])
但是我得到了这个错误：
java.lang.IllegalArgumentException: Class is not registered: scala.reflect.ClassTag$$anon$1
你能帮我解决这个问题吗？谢谢
浏览 23提问于2017-12-29得票数 1
当我试图将GraphX包括到我的工作中时，我似乎做错了什么，因为Scala不识别org.apache.spark.graphx._或任何与图(!)相关的东西。
当我第一次创建我的项目时，我是不是错过了什么？我是否需要包括额外的库(如何？)？
浏览 0提问于2016-03-27得票数 1
回答已采纳
1回答
对象类是
class VertexAttributes(val m: Boolean, n: Any){
val rootParentCustNumber: String = if(n == null) "Was Null" else n.toString
val firstMsgFlg = m
}
我有一个这个对象类型的RDD：
scala> myGraph.vertices
res92: org.apache.spark.graphx.VertexRDD[VertexAttributes] = VertexRDDImpl[2280]
浏览 0提问于2018-03-18得票数 1
回答已采纳
我在Spark2.1.0 GraphX上使用Scala。我有一个数组，如下所示：
scala> TEMP1Vertex.take(5)
res46: Array[org.apache.spark.graphx.VertexId] = Array(-1895512637, -1745667420, -1448961741, -1352361520, -1286348803)
如果我必须将边缘表过滤为单个值，那么假设是针对索鲁西ID -1895512637的。
val TEMP1Edge = graph.edges.filter { case Edge(src, dst, prop) =&g
浏览 3提问于2017-04-03得票数 0
回答已采纳
2回答
我有这个sbt文件：
offline := true
name := "hello"
version := "1.0"
scalaVersion := "2.11.7-local"
scalaHome := Some(file("/home/ubuntu/software/scala-2.11.7"))
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0" % "provided"
我怎
浏览 0提问于2015-10-26得票数 3
1回答
知道我们为什么会犯这些错误吗？
ubuntu@group-3-vm1:~/software/sbt/bin$ ./sbt package
[info] Set current project to hello (in build file:/home/ubuntu/software/sbt/bin/)
[info] Compiling 1 Scala source to /home/ubuntu/software/sbt/bin/target/scala-2.11/classes...
[error] /home/ubuntu/software/sbt/bin/hi.scala:1: obje
浏览 1提问于2015-10-26得票数 0
回答已采纳
2回答
有多少属性(属性键:值对)可以存储在GraphX顶点中？
val vertexArray = Array(
(1L, ("Name", "Alice"), ("age", 28), ("major", "ECE")),
(2L, ("Name", "John"), ("age", 23), ("major", "History")),
(3L, ("Name", "Mark")
浏览 2提问于2016-01-05得票数 1
回答已采纳
我正在使用GraphX运行以下代码段：
val g = Graph(
v.persist(StorageLevel.MEMORY_AND_DISK_SER),
e.persist(StorageLevel.MEMORY_AND_DISK_SER),
1,
StorageLevel.MEMORY_AND_DISK_SER,
StorageLevel.MEMORY_AND_DISK_SER)
val pageRankResult = g.pageRank(0.0001)
在运行时警告我：
[WARN - org.apache.spark
浏览 3提问于2019-11-27得票数 0
回答已采纳
1回答
我在Graphx中有以下图表
graph.vertices.foreach(println)
(6109253945443866644,"Futurama"@en)
(7558506336564503178,"AccessibleComputing"@en)
(0,null)
(-2278222762001827643,"Programming languages"@en)
(-9007336571746445204,http://dbpedia.org/resource/Category:Presocratic_philosophers)
(
浏览 2提问于2016-07-04得票数 0
1回答
我正在尝试理解火花内部的基础知识和在本地模式下提交应用程序的火花文档，比如spark-submit --master设置：
localK使用K个工作线程在本地运行Spark (理想情况下，将其设置为机器上的核数)。
本地*在本地运行与机器上的逻辑核心一样多的工作线程。
因为所有的数据都存储在一个本地机器上，所以它不能从RDD上的分布式操作中获益。
当星火使用多个逻辑核时，它是如何受益的，以及内部发生了什么？
浏览 4提问于2015-01-23得票数 3
回答已采纳
我试着理解如何使用Spark，但总是有一些问题，所以也许有人可以建议我读什么等等。我试着阅读火花文档和学习火花-O‘’Reilly媒体书，但找不到任何解释，我们需要多少内存来处理不同大小的网络等等。
在我的测试中，我使用了几个示例数据集。我在Spark中的一个主节点(~16 on )上运行它们：
./bin/spark-shell --master spark://192.168.0.12:7077 --executor-memory 2900m --driver-memory 10g
3-5名工人(每1台机器有1台工人，每台机器有4Gb内存)：
./bin/spark-class org.a
浏览 1提问于2015-05-04得票数 0
我正在尝试使用创建一个图表，这些数据可以在这里找到：
import org.apache.spark._
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD
val textFile = sc.textFile("hdfs://n018-data.hursley.ibm.com/user/romeo/web-Google.txt")
val arrayForm = textFile.filter(_.charAt(0)!='#').map(_.split("\\s+&#
浏览 3提问于2015-07-02得票数 5
回答已采纳
1回答
从文件中读取图形
、、、
希望在我的Windows机器上运行一个GraphX示例，使用SparklyR安装Hadoop/Spark的SparklyR。首先可以从安装目录启动shell：
start C:\\Users\\eyeOfTheStorm\\AppData\\Local\\rstudio\\spark\\Cache\\spark-2.0.0-bin-hadoop2.7\\bin\\spark-shell
输出：
17/01/02 12:21:04 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... u
浏览 3提问于2017-01-02得票数 0
回答已采纳
1回答
我正在尝试在Scala中运行一个Spark应用程序来连接到ActiveMQ。出于这个目的，我正在使用Bahir format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")。当我在我的built.sbt中使用Bahir2.2时，应用程序运行正常，但在将其更改为Bahir3.0或Bahir4.0时，应用程序无法启动，并且它给出一个错误： [error] (run-main-0) java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataIn
浏览 24提问于2020-12-09得票数 1
回答已采纳
在Spark中，有三种主要方法来为用于创建SparkConf的SparkContext指定选项
作为conf/Smark-defaults.conf 中的属性
例如:行：spark.driver.memory 4g
作为args来激发外壳或火花提交。
例如，spark-shell --driver-memory 4g ...
在源代码中，在使用SparkConf实例创建SparkContext：之前配置它
例如，sparkConf.set( "spark.driver.memory", "4g" )
浏览 1提问于2015-07-14得票数 23
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
