我正在开发一个包含大量不同三维数据的应用程序。三维数据相对较小(如100x100x1000)，但可能有数百万个这样的对象。现在我想知道是否有人有在微风中处理这样的数据的经验。虽然我可以使用像向量矩阵这样的嵌套数据结构，但通过索引(x，y，z)来处理该结构的单个值是很重要的。是像Point3d(x，y，z)这样定义自己的结构更好，还是像DenseM
浏览 5提问于2016-07-01得票数 0
Spark 1.3.1中有更新方法
我的想法是在分布式矩阵中存储大量元素，并对其执行操作，如何在DenseMatrix中更新值？
浏览 0提问于2016-02-05得票数 1
1回答
我正在用Scala为Spark1.4编写一个项目，目前正在将我的初始输入数据转换为spark.mllib.linalg.Vectors和scala.immutable.Vector，我以后想在算法中使用它们有人能简单地解释一下两者之间的区别吗?在哪种情况下，一个比另一个更有用？
谢谢。
浏览 5提问于2015-07-06得票数 1
回答已采纳
以下是我的数据：1,5 # it always looks to limit我想从这些数据中提取一个矩阵，如下所示：1 5...
浏览 0提问于2015-07-03得票数 0
回答已采纳
1回答
你们能向我解释一下使用Apache Spark从各种Oracle和SQL Server模式中以json格式导出表的最佳方式是什么吗？Spark可以在同一应用程序中处理多个数据帧吗？谢谢!
浏览 0提问于2020-11-25得票数 0
1回答
如何在分布式大数据平台(例如Apache Spark)中训练(拟合)模型，同时在独立计算机(例如JVM)中使用该模型，并尽可能减少依赖性？
我听说过，但我不确定它是否足够。还有Spark 2.0 保存，但我不确定什么是必要的加载和运行这些模型。
浏览 3提问于2016-08-19得票数 0
2回答
我有一个scala-2.11函数，它根据提供的类类型从Map创建一个case类。someMap(param.name.toString))
}
我试图在spark数据帧的上下文中将其用作UDF。然而，我不确定通过case类的最好方法是什么。下面的方法似乎不起作用。def myUDF[T: TypeTag] = udf { (inMap: Map[Str
浏览 0提问于2017-08-24得票数 4
考虑这里给出的代码，
val training = sparkContext.parallelize)假设我们使用sqlContext.read()将“培训”读取为数据帧lr.fit(sparkContext.parallelize(training)) /
浏览 0提问于2016-06-01得票数 14
回答已采纳
我有匹配计数(5x5)单元，每个单元有一个双106 x1的载体。二重向量具有零和非零值。我想找到每个单元格的非零值，计数它们，并将结果放入一个矩阵中。
浏览 2提问于2015-11-13得票数 0
回答已采纳
我已经从NOSQL数据库创建了RDD，我想将RDD转换为数据帧。我已经尝试了许多选项，但都会导致错误。将RDD转换为Dataframe的最佳方法是什么？(rows: java.util.List[org.apache.spark.sql.Row],schema: org.apache.spark.sql.types.StructType)org.apache.spark.sql.DataFrame&
浏览 1提问于2016-11-28得票数 0
我有多个数据帧需要将它们存储在MapString中，数据帧数据结构。下一步，我们的目标是访问它们以进行连接操作。---+---------+ |1001|Boston |
+----+---------+ 我已经创建了一个Map，如下所示： import org.apache.spark.sql[_],joinExprs: org.apache.spark.sql.Column,joinType: Str
浏览 27提问于2019-08-27得票数 0
2回答
我有一个家庭作业要做，这是非常有趣的，我发现我不知道如何实现数据结构，应该是可搜索的和相对快速的。给出了一个数据库，包含3个字段- x，y，z，它们实际上是一些未知函数的值，表示三维坐标。我必须在这组数据中找到平坦的区域。我想知道，在我的程序中暂时保存这些协调的最好方法是什么？我希望使用适当的字段创建一个名为"Point“的类，并将它们
浏览 2提问于2014-11-02得票数 1
回答已采纳
我想将一个sqlite文件加载到Apache Spark中。我试过这样做：
emailsDf = spark.read.format('sqlite').load("/FileStore/tables/24ioztln1479471916526/database.sqlitePlease find packages at https://cwiki.apache.org/confluence/display
浏览 0提问于2016-11-18得票数 2
1回答
我想知道使用GeoMesa显示geojson mongo LineString的最佳方式是什么，我发现GeoMesa可以从cassandra数据库中读取数据，但我的观点是我的数据存储在mongoDb中因此，我可以看到GeoMesa可以与Apache搜索引擎集成在一起，我已经使用apache-spark导入了该数据。我的问题是，有没有人尝试或知道地理数据</
浏览 15提问于2019-03-02得票数 0
我们希望使用apache Livy，这样我们就可以从restapi调用spark作业。那么，我们是否需要在名称节点或边缘节点上安装Livy服务器。最佳实践是什么？我们的spark fat jar将驻留在NFS路径中。
浏览 19提问于2020-02-08得票数 0
如果我想在星火列中存储代数数据类型(即Scala密封的特征层次结构)，那么最好的编码策略是什么？例如，如果我有一个ADT，其中叶类型存储不同类型的数据：case object SoftwareEngineer extends Occupationclass Wizard(level: Int) extends Occupation
case class Other(description: String) extends Occupati
浏览 5提问于2016-12-08得票数 14
回答已采纳
3回答
我是Spark的新手。按照书中的以下示例，我发现下面的命令给出了错误。在Spark中编写代码时，运行Spark-SQL命令的最佳方式是什么？/ Use SQL to create another DataFrame containing the accountscala> val acSummary = spark.sqlaccNo, sum(tranAmount) as TransT
浏览 0提问于2017-03-01得票数 1
2回答
给定的(每个表示为三维空间中多条无限线的3个浮点坐标集。(每一个用直线上的任意点和三维方向矢量表示)
有没有一种方法可以找出哪一条点位于哪条线上(对浮点误差有一点容忍度)，这比用嵌套循环中的每条线来测试每个点的O(n²)方法更有效吗？我正在考虑将这两组中的一组存储在一个特殊的数据结构中，这有助于进行交叉测试。但是这样的数据结构</e
浏览 1提问于2019-10-13得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
