R中的并行sparseMatrix cor(x，y)
R中的并行sparseMatrix cor(x, y)是指在R编程语言中，使用并行计算技术计算稀疏矩阵x和y之间的相关性。
稀疏矩阵是一种特殊的矩阵，其中大部分元素为零。由于稀疏矩阵在实际应用中具有较高的效率和节省存储空间的优势，因此在处理大规模数据集时被广泛使用。
cor(x, y)是R中用于计算两个向量或矩阵之间的相关性的函数。它返回一个相关系数矩阵，其中每个元素表示对应位置的向量或矩阵之间的相关性。
并行计算是一种将计算任务分解为多个子任务并同时执行的技术。它可以显著提高计算速度和效率，特别适用于处理大规模数据集或复杂计算任务。
在R中，可以使用并行计算技术来加速稀疏矩阵的相关性计算。通过并行化计算过程，可以将计算任务分配给多个处理器或计算节点，从而实现更快的计算速度。
对于稀疏矩阵的相关性计算，可以使用R中的parallel包或其他并行计算库来实现。这些库提供了并行计算的函数和工具，可以方便地将计算任务分配给多个处理器或计算节点。
在腾讯云的云计算平台中，可以使用腾讯云的弹性计算服务（Elastic Compute Service，ECS）来进行并行计算。ECS提供了高性能的计算资源，可以满足大规模数据处理和复杂计算任务的需求。
此外，腾讯云还提供了其他与云计算相关的产品和服务，如云数据库（Cloud Database）、云存储（Cloud Storage）和人工智能服务（Artificial Intelligence Services），可以进一步支持和扩展云计算应用的功能和性能。
更多关于腾讯云相关产品和服务的信息，可以访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
尝试获得矩阵每行的列之间的相关系数。我真的是R的新手，在这里它是一个真正的初学者。这是我在课堂上要做的第一件事。
矩阵：
A2
[,1] [,2]
[1,] 4 -2
[2,] 8 -3
[3,] 6 1
[4,] 2 2
[5,] -1 1
我尝试使用cor(A)，因为我读到它会自动计算每行列的相关系数，但它给出了以下结果：
cor(A2)
[,1] [,2]
[1,] 1.0000000 -0.6338878
[2,] -0.6338878 1.0000000
使用cor(t(A2))时
浏览 12提问于2019-11-14得票数 0
回答已采纳
2回答
AccelerEyes在2012年12月宣布，它在图形处理器代码上与Mathworks合作，并已停止其用于MATLAB的产品夹克：
不幸的是，他们不再出售夹克许可证。
据我所知，基于ArrayFire的夹克GPU阵列解决方案比MATLAB提供的gpuArray解决方案要快得多。
我开始使用gpuArray，但我发现很多函数的实现都很糟糕。例如，一个简单的
myArray(:) = 0
是非常慢的。我已经编写了一些自定义的CUDA内核，但实现不佳的标准MATLAB功能增加了很多开销，即使在整个代码中始终使用gpuArrays。我修复了一些问题，用手工编写的CUDA代码替换了MATLAB代码-
浏览 6提问于2013-06-05得票数 57
回答已采纳
昨日，英特尔作为战略合作伙伴出席了2018腾讯云+未来峰会。峰会上，Raejeanne Skillern发表了演讲，深入介绍了英特尔与腾讯云在云计算、人工智能等领域的合作，展示了双方在数据时代驱动未来变革领域取得的一系列成果。作为新时代技术下的你，如何看待两者的合作，以AI推动从云到边缘的全面创新？
浏览 702提问于2018-05-24
5回答
这是可能的，因为PageRank是特征值的一种形式，这就是MapReduce引入的原因。但是在实际实现中似乎存在问题，比如每个从机都要维护一个矩阵的副本？
浏览 0提问于2008-12-23得票数 10
1回答
我有以下数据：
seed(1)
X <- data.frame(matrix(rnorm(2000), nrow=10))#### the dataset
下面的代码创建1000个引导数据集"x“和1000个引导数据集"y”，每个列有5个列。
colnums_boot <- replicate(1000,sample.int(200,10))
output<-lapply(1:1000, function(i){
Xprime <- X[,colnums_boot[1:5,i]]
Yprime <- X[,colnums_boot[6
浏览 0提问于2013-09-23得票数 0
回答已采纳
3回答
我刚刚读了一篇关于矩阵乘法的突破的文章；一种O(n^2.373)的算法。但我猜矩阵乘法是可以并行化的。那么，如果我们开始生产千分之一核的处理器，这会变得无关紧要吗？事情会发生怎样的变化？
浏览 0提问于2012-06-23得票数 12
回答已采纳
我理解为什么在OpenCV的大图像中选择使用浮点数而不是双精度，因为它减少了图像所需的内存。但是，对于摄影机矩阵、旋转矩阵、平移向量和2D/3D点等其他OpenCV对象，是否有理由优先使用float而不是double？
我知道OpenCV倾向于抱怨你试图使用不同类型的矩阵和向量来执行数学运算(例如，执行涉及浮点图像的像素值及其在用双OpenCV结构表示的图像中的相应位置的数学运算)这(对我来说很明显)使用float的动机来自于此吗？
浏览 3提问于2020-05-02得票数 0
我有一个数据集，其中包含许多不同的变量，每个变量都有自己的组子集。我还有一个目标变量。我想确定哪些组与响应相关，并成功地为每个变量和响应创建了一系列相关矩阵，还分别使用R中的cor函数和corrplot函数绘制了相应的相关图。 对于我正在做的事情，我对变量之间是否相互关联不感兴趣，我只对它们是否与响应变量相关感兴趣。有没有一种方法可以在绘制之前过滤相关矩阵，以便只包含目标变量的变量
浏览 7提问于2021-01-10得票数 0
回答已采纳
1回答
R中的相关输出
、、
我希望有人能帮我澄清相关矩阵。具体来说，我想知道输出以及-为什么输出是这样的。
我的目的是了解两个分类(无序)数据之间的相关性。在使用其他方法获取计数之前，对数据(以下)进行清理，以从名义变量中创建因子。
例如，我使用虚拟数据在R中创建了一个相关矩阵：
set.seed(1234)
randomCities<-c("Washington","Boston","Seattle","Portland","Oakland","Dallas","Miami")
randomYachts
浏览 2提问于2019-07-12得票数 0
回答已采纳
3回答
我使用GPU已经有一段时间了，没有任何疑问，但现在我很好奇。
为什么GPU做矩阵乘法的速度比CPU快？是因为并行处理吗？但是我没有写任何并行处理的代码。它是自动完成的吗？
任何直觉/高级解释都将不胜感激！
浏览 0提问于2018-07-15得票数 10
回答已采纳
1回答
我有以下问题。有一个大小为NxN的矩阵A，其中N = 200 000。它非常稀疏，每一行都有M元素，其中M={6, 18, 40, 68, 102} (我有5个不同的场景)，其余的都是零。
现在我想得到矩阵A的所有特征值和特征向量。
问题是，我无法将矩阵A放入内存中，因为它大约有160 GB的数据。我正在寻找的是一个软件，可以很好地存储稀疏矩阵(没有零，我的矩阵只有几个MB)，然后把这个没有零的存储矩阵到计算特征值和向量的算法中。
你们中有谁能推荐一个软件给我用吗？
编辑:我发现我可以重新配置我的矩阵A，这样它就变成了一个带矩阵。然后，我可以使用LAPACK获得特征值和特征向量(具体地说：)。
浏览 0提问于2014-03-21得票数 0
1回答
我在Julia中有一个很大的稀疏矩阵，我想对其运行相关分析，但我遇到了： ERROR: OutOfMemoryError() 我的稀疏矩阵详细信息是： 200833×200833 SparseMatrixCSC{Float64,Int64} with 209018611 stored entries: 我在sparsematrix上运行了cor()命令，但是我无法根据上面的错误得到我的结果。 我可以做些什么来获得我的结果？ 谢谢
浏览 47提问于2020-01-03得票数 1
2回答
在R中是否有并行计算的矩阵求逆软件包？
谢谢!
你好。我在安装HiPLARb包时遇到了困难，下面是我所做的工作：
下载自动安装程序脚本：
./HiPLARb.Installer --with-openblas --no-gpu --prefix=/home/kaiyin/mylib一切顺利，所有的先决条件库都已成功安装，R2.15.2的补丁版本也是如此
从下载软件包
修改shell路径，将修补的R目录放在前面。
R CMD INSTALL --configure-args="--with-lapack= \
-L/home/kaiyin/mylib/lib\ -lopenblas
浏览 5提问于2013-03-19得票数 2
1回答
我正在使用mice包来创建多个补偿。我想创建一个相关矩阵(以及相关系数的p值矩阵。我使用miceadds::micombine.cor来做这件事。但这给出了一个数据帧，其中变量首先是to列，然后是包含r、p、t值等的多个列。 我正在寻找一种方法来将这个数据帧转换成一个“好的旧”矩阵，其中x和y之间的相关系数位于x，y位置，以及一个具有p值的矩阵。有谁有简单的方法来做到这一点吗？ 下面是一些要重现的代码： data <- mtcars
mt.mis <- prodNA(mtcars, noNA = 0.1)
imputed <-mice(iris.mis, m = 5
浏览 13提问于2021-02-02得票数 0
1回答
我试图用sapply和function(x,y)来循环我的矩阵。
test<-sapply(colnames(my_mat), function(x, y) ifelse (x==y,-1,cor(test_mat[,x],test_mat[,y], use="p")) )
基本上，它计算每个列单元格之间的相关性，但当它们都是相同的对象时，我希望它返回-1而不是1。我的矩阵设置如下：
A B C
A . . .
B . . .
C . . .
我要对角线上的-1。
我在说Error in x == y : 'y' is missing时遇到了一
浏览 2提问于2014-01-07得票数 1
回答已采纳
1回答
我有一个函数来计算适应度值，比如func()。在我的实现中，我使用MPI进行并行化。
MPI集群中有3台机器通过局域网连接。这些机器安装有NFS协议。内存不在这些机器之间共享。
主while循环运行500次。
在这个while循环中，我使用MPI并行化9个func()调用。这意味着，在main循环中调用9次func()，我并行化了三个节点中每个节点调用3个func()调用并将结果返回给主节点的方式。
这在while循环中继续了500次。(这意味着，在每个下一个循环中，同样有9个func()调用被并行化)
这种策略称为并行计算还是分布式计算？
考虑到定义，并行计算是并行中的多个任
浏览 2提问于2022-03-07得票数 0
回答已采纳
我是OpenCL新手，在处理内存和本地工作组时遇到了一些困难。
我有一个四维数据结构，即float30100。目前，我在每个法线上迭代前两个维度，并将得到的2025x100矩阵传递给下面的CPU函数。
// num_columns = 100; num_rows = 2025
for (int column = 0; column < num_cols; column++){
vector = matrix[column];
float min = vector[0];
float max = vector[0];
for (int i = 0; i &
浏览 0提问于2016-01-31得票数 0
回答已采纳
1回答
我正在阅读一本书()，它附带了以下数据-- ，拥有100 K的用户评级，每本都有一些被评级的书籍。我想将整个数据集移动到熊猫数据中，它的加载速度比作者的实现快10倍：
%time r.loadBookDB('/Users/danialt/Downloads/BX-Dump/')
1700018
CPU times: user 16.1 s, sys: 373 ms, total: 16.5 s
Wall time: 16.5 s
我的：
# Mine
%time ratings = pd.read_csv('/Users/danialt/BX-CSV-Dump/BX-B
浏览 1提问于2013-12-10得票数 2
我必须进行同样的计算(例如，获取A1, A2, ...矩阵的特征值)，因此我希望尽可能多地使用线程。
但是我找不到cuBLAS或cuSOLVER代码来说明线程的数量。如果我用for循环和cuSOLVER函数编写代码，cuSOLVER会自动分配资源和并行计算吗？
或者我可以控制线程数和并行函数的cuSOLVER或cuBLAS API？.
浏览 2提问于2018-02-16得票数 1
回答已采纳
1回答
用Python并行精确矩阵对角化
、、、、
是否有人知道并行精确矩阵对角化的实现版本(可能使用的是the /numpy)(等价地，找到特征系统)？如果有帮助的话，我的矩阵是对称的和稀疏的。我不想花一天的时间重新发明轮子。
编辑：
我的矩阵至少有10,000×10,000(但最好至少大20倍)。目前，我只能访问一台4核英特尔机器(超线程，每个内核有2个进程)，每台拥有12 to的3.0GHz。稍后，我可能可以访问具有256 my内存的128核节点~3.6GHz/核，因此单机/多核应该这样做(对于我的其他并行任务，我一直在使用multiprocessing)。我更希望算法能更好地扩展。
我确实需要精确的对角化，所以scipy.sparse例
浏览 7提问于2014-07-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
