腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Scala
中
算法
的
内存
使用
scala
、
memory
我正在
使用
Scala
,并且我需要监控在我
的
应用程序
中
执行
的
算法
(一个Spark MLlib模型)所
使用
的
内存
。如果我
使用
Java Runtime class (runtime.totalMemory() - runtime.freeMemory()),我将获得JVM中所有应用程序所
使用
的
内存
,而我只对调用model.fit(data)所
使用
<em
浏览 29
提问于2020-10-06
得票数 0
1
回答
在
内存
中
持久化在Spark
中
不起作用
apache-spark
、
persist
我正在尝试Spark
中
的
持久化特性来持久化
内存
中
的
数据并对其进行计算。我
的
假设是,将数据存储在
内存
中会使迭代
算法
的
计算速度更快,例如MLlib
中
的
K均值聚类。val parsedData3 = data3.map( _.split('\t').map(_.toDouble))对持久化
的
调
浏览 1
提问于2014-07-17
得票数 7
回答已采纳
2
回答
星火
Scala
替代机器学习库?
time-series
、
apache-spark
、
multiclass-classification
、
scala
我
使用
Spark进行多类分类,并且特性是连续
的
。对于这类分类,MLlib似乎仅限于决策树和随机森林--对于Na、多项式和Bernoulli,我需要
使用
高斯,而LogisticRegressionWithLBFGS也不合适。我知道在Python
中
,您可以将sci学习与Spark集成在一起,但是在
使用
Scala
时有什么选择吗? 想听听人们对此
的
想法。
浏览 0
提问于2016-05-27
得票数 2
1
回答
删除PriorityQueue中值小于x
的
所有项目
scala
、
priority-queue
、
a-star
有没有办法删除
scala
优先级队列中所有值小于指定值
的
项?例如:queue.enqueue(3)queue.enqueue(10)queue.removeAllLessThan(6)我知道你可以
使用
过滤器来做这件事,但是似乎有一种在堆上做
浏览 2
提问于2016-06-10
得票数 2
2
回答
用于分布式图形处理
的
Scala
与C++
c++
、
scala
、
graph
对于图
的
并行处理,比如最短路径计算,
Scala
的
性能会优于C++吗?如果不是,它会慢多少(我假设
Scala
并发比C++“更容易”编写,因为C++没有对这类东西
的
标准支持) 我现在正在考虑学习
Scala
,这既是为了学习一门新
的
语言,也是因为它似乎有很好
的
并发支持。一旦我完成了,我正在考虑写一个分布式图形库来练习
Scala
,供我自己
使用
,但是如果C++要更快,并且当性能是一个问题时,更容易编写代码
的
好处
浏览 0
提问于2011-12-07
得票数 3
回答已采纳
2
回答
如何将订单传递给
scala
.util.Sorting.quickSort
scala
我试图用以下代码将反向排序传递给
scala
.util.Sorting.quickSort:
scala
.util.Sorting.quickSort(a)(Ordering.Int.reverse) val a = Array(3, 5, 1, 2) a.sorted(Ordering.Int.reverse我正在运行
Scala
2.12.7。
浏览 0
提问于2018-10-25
得票数 3
回答已采纳
1
回答
我可以
使用
哪些工具对
scala
代码进行基准测试?
scala
、
functional-programming
、
jvm
、
benchmarking
我正在做一个项目,我需要分析函数式编程和命令式编程之间
的
差异。我之所以
使用
Scala
,是因为它是一种多范式语言,这是一个公平
的
比较。
使用
具有前端
的
语言在gcc上,pin和perf(硬件)是进行这些比较
的
合适工具,但现在在
Scala
上,我找不到替代品。 我对只观察
算法
运行时间
的
微基准测试不感兴趣。由于它是conway
的
生命游戏实现,因此需要进行大量
的
内存
访问等等。我
浏览 1
提问于2019-05-17
得票数 3
2
回答
Scala
的
变音素或Soundex
scala
、
text-comparison
我发现Apache在Java
中
实现了Soundex和Metaphone,但如果可能的话,我更愿意保留我在
Scala
中
使用
的
文本比较库。谷歌搜索在
Scala
中
找不到任何有用
的
算法
。最坏
的
情况下,我可以将这些
算法
转换成
Scala
,但这并不理想。
浏览 5
提问于2012-11-11
得票数 3
回答已采纳
3
回答
在
Scala
中产生OutOfMemoryError
的
原因是什么?
java
、
scala
、
out-of-memory
、
heap-memory
我刚刚开始学习
Scala
,它来自Python。我试图在
Scala
中
执行一个基本
的
文件处理任务。任务是
使用
regex从数据文件
中
删除像"[ ... ]"这样
的
子字符串。发生错误
的
数据文件大约为70 my,我有16 at
的
RAM可供
使用
。(前6个文件
的
文件大小为<100 as,第一个文件为例外: 5.5MB)。我
的
问题是:是什么导致了 OutOfMemoryE
浏览 5
提问于2016-11-03
得票数 2
回答已采纳
1
回答
在Apache Spark中
使用
分类和数字特征对数据进行聚类
scala
、
apache-spark
、
apache-spark-mllib
我目前正在寻找Apache Spark (
Scala
/Java)
中
的
一种
算法
,该
算法
能够对具有数字和分类特征
的
数据进行聚类。据我所知,有一个k-medoids和k-prototypes for pyspark ()
的
实现,但我无法确定与我目前正在
使用
的
Scala
/Java版本类似的实现。对于运行
Scala
的
Spark,有没有其他推荐
的
算
浏览 3
提问于2017-08-04
得票数 1
1
回答
使用
spark和
scala
进行文本提取
scala
、
apache-spark
、
spark-streaming
、
text-extraction
我在
scala
中有一个文本提取
算法
,我想在它上面
使用
spark。我不能理解如何
使用
它,因为我对spark和
scala
都是新手,我
的
算法
是这样
的
val algoobejct = new ObjectExtract有人能告诉我如何
使用
spark来实现吗? 我
的
算法
是
scala
,所以我将只
使用
scala
浏览 0
提问于2017-03-19
得票数 0
2
回答
何时
使用
/Dataset API以及何时
使用
普通RDD?
apache-spark
、
apache-spark-sql
、
apache-spark-dataset
/Dataset执行引擎有几个非常高效
的
时间和空间优化(例如,InternalRow和expression )。根据许多文档,对于大多数分布式
算法
,它似乎是一个比RDD更好
的
选择。毫无疑问,InternalRow更紧凑,可以节省大量
内存
。但是,
算法
的
执行可能不会更快地保存预定义表达式。也就是说,在org.apache.spark.sql.catalyst.expressions.ScalaUDF
的
源代码
中
,每个用户定义
的
函数
浏览 2
提问于2016-05-30
得票数 10
1
回答
大型稀疏矩阵,带spark
的
svd,python
apache-spark
、
svd
我想分析spark上
的
数据。我需要svd矩阵来实现推荐
算法
使用
python或
scala
,如果python不工作。但数据很大,而且很稀疏。如何处理它?
浏览 4
提问于2014-08-17
得票数 5
1
回答
Scala
ParRange
内存
消耗
scala
我尝试用range实现迭代
算法
。它工作得很好,所以我尝试
使用
par方法使其并行,并抛出java.lang.OutOfMemoryError: Java堆空间。我发现ParRange在构造函数中分配了大量
内存
。这是ParRange
的
正确行为吗?我希望它
的
行为与范围相似,只有在需要时才分配数据。你可以很容易地复制它:
scala
> collection.parallel.immutable.ParRange(1, 50000000, 1, true) java.lang.OutOf
浏览 2
提问于2016-08-12
得票数 1
回答已采纳
1
回答
查询大量csv文件
的
工具
c++
、
hive
、
amazon-redshift
、
distributed-computing
、
bigdata
我们有大量
的
csv文件,文件/目录按日期和其他几个因素进行分区。例如,可以将文件命名为/data/AAA/date/BBB.csv 有数千个文件,其中一些大小在GB范围内。总数据大小以in为单位。它们只会被追加,而且通常是批量
的
,所以写性能并不那么重要。我们不想将其加载到另一个系统
中
,因为我们运行
的
几个重要进程依赖于能够快速流式传输文件,这些文件是用c++编写
的
。我正在寻找
的
工具/库,将允许sql类似查询
的
数据
浏览 0
提问于2016-01-14
得票数 0
1
回答
spark executor丢失故障
scala
、
apache-spark
、
out-of-memory
、
executor
我正在
使用
databricks spark集群(AWS),并在我
的
scala
实验上进行测试。在
使用
LogisticRegressionWithLBFGS
算法
训练10 GB数据时,我遇到了一些问题。我遇到这个问题
的
代码块如下:val algorithmLogisticRegressionWithLBFGS() algorithm.run(tra
浏览 1
提问于2015-04-11
得票数 13
1
回答
Spark建议
apache-spark
、
apache-spark-mllib
我拥有大约1000万用户和300万产品
的
大约2亿收视率。我有一个小集群,有48个核心和120 48
的
集群
内存
。我
的
代码非常类似于示例代码spark/examples/src/main/
scala
/org/apache/spark/examples/mllib/MovieLensALS.
scala
代码。我有几个问题: 模型训练
的
所有步骤都跑得相当快。模型训练低于10分钟,级
浏览 1
提问于2017-06-01
得票数 1
1
回答
Scala
并行子集调用
scala
、
parallel-processing
、
set
我试着使列表'l‘本身并行,但是列表上
的
toSet调用返回没有子集调用
的
parSeq。我必须写我自己
的
子集
算法
吗? 感谢你
的
帮助。
浏览 1
提问于2016-10-06
得票数 0
回答已采纳
3
回答
大数模
算法
的
编程语言
implementation
、
modular-arithmetic
、
factoring
我试图在整数factorization.This上实现
算法
,包括处理200-500位整数,并在them.Which编程语言上执行模块化
算法
,内置了对大数
的
支持吗? C++支持大数
算法
吗?
浏览 0
提问于2015-01-14
得票数 1
4
回答
最适合计算和
内存
开销较大
的
算法
的
语言
algorithm
、
data-structures
、
programming-languages
、
np
假设您必须实现一个工具来有效地解决NP-hard问题,并且不可避免地会出现
内存
使用
量
的
爆炸式增长(在某些情况下,输出大小与输入大小成指数关系),并且您特别关注此工具在运行时
的
性能。一旦知道了基本理论,源代码也必须是可读和可理解
的
,这一要求与工具本身
的
效率一样重要。 我个人认为有三种语言可以满足这三个需求: c++,
scala
,java。C++具有静态编译和优化
的
优势,并且
使用
函数内联(如果仔细设计数据结构和
算法
)和其
浏览 0
提问于2011-04-11
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《Scala 语言》Scala 中的 Actor 编程
Linux 中free命令检查内存使用情况
数据在内存中的存储
Java中数组的内存分析
PoS权益证明算法原理及其在点点币、黑币中的使用
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券