我正在用python做一个基准测试,用不同的方法来计算A'*A,A是一个N x M矩阵。最快的方法之一是使用numpy.dot()。我很好奇,我是否可以使用numpy.cov() (它给出协方差矩阵)通过某种方式改变权重或以某种方式预处理A矩阵来获得相同的结果?但我没有成功。有没有人知道乘积A'*A和A的协方差之间有什么关系,其中A是一个有N行/观察值和M列/变量的矩阵?
从基因表达数据(40000个基因(变量)x 30个观察值)中,我想创建一个40000 x 40000协方差矩阵。这绝对比我的内存大。使用包'ff‘,我设法为相关性预先分配了一个40000x40000的空矩阵。然而,'cov‘或'cor’函数在我的系统上只能管理一个5000x5000的协方差矩阵,所以我必须按块进行1:5000,5001:10000等协方差计算,并沿着对角线填充预先分配的矩阵。有谁知道一种算