【踩坑】稀疏矩阵的内存占用竟然比密集矩阵更高？

转载请注明出处：小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你，欢迎[点赞、收藏、关注]哦~

背景说明

稀疏矩阵主打的就是一个内存占用更小，但我使用中发现，稀疏矩阵并不是一直都是内存更小的，甚至可能会比密集矩阵高出好多倍。

问题分析

这是COO格式的稀疏矩阵和strided密集矩阵的内存占用计算方法：

我们假设矩阵的大小是(16384, 16384)，并且在这里我们将稀疏度定义为零元素的比例。那么：

• 密集矩阵内存为：16384 x 16384 x 4 / 1024 / 1024 = 1024 MB；
• 对于稀疏度为0(也就是等同于密集矩阵)的COO，内存为：(2 x 8 + 4) x (16384 x 16384) / 1024 / 1024 = 5120 MB；

震惊哦，此时COO的内存竟然是密集矩阵的5倍。

我们再来看一下稀疏度为0.5时：(2 x 8 + 4) x (16384 x 16384 x 0.5) / 1024 / 1024 = 2560 MB。还是比密集矩阵高。

当稀疏度为0.8时，COO内存占用为5120 x (1 - 0.8) = 1024MB，与密集矩阵持平。

因此，当稀疏度大于0.8的时候，内存占用才开始真正低于密集矩阵。

结论总结

1、稀疏矩阵并不一定总是比密集矩阵的内存使用量更低；

2、零元素的比例越高，内存越节省；

3、COO是最基础的稀疏矩阵格式，还有其他如CSR等更优的格式可以选择；