Python:与使用dtype = object的数组列表相比，是否有更好的方法来处理破旧数组？
提问于 2022-03-08 07:46:20
我正在收集时间序列数据，这些数据可以根据特定的目标值分为“任务”。这些任务可以根据关联的目标编号。但是，与每个任务关联的数据长度将有所不同，因为完成“任务”可能需要更少的时间或更长的时间。现在，在MATLAB中，这些数据被目标号分隔成一个MATLAB单元，这非常方便，因为对这个时间序列数据的分析对于与每个目标相关的每一组数据都是相同的，因此我可以通过使用for循环来遍历单元数组中的每个单元来完成数据分析。我在Python中最接近这一点的知识是生成一个粗糙的数组。但是，通过我对回答这个问题的研究，我发现已经不推荐自动设置破旧数组，如果您想要生成一个破烂的数组，就必须设置dtype = object。关于这种情况，我有几个问题：
- 为衣衫褴褛的数组设置dtype=object是否带有访问数组内数据的固有限制？
- 是否有更方便的方法将这些粗糙的数组保存为numpy文件?除了将维数从3D降到2D之外，还保存相关索引的文件吗？这将是相当不方便的，我想，因为我有数千个文件，这些文件可以方便地保存为一个破旧的数组。
与
- 相关的是，在保存相关索引方面，将数据保存为.npz文件在实践中有什么不同吗？更具体地说，我是否能够根据每个文件的技术上独立的.npy文件自动解压这些破烂的数组，并能够假设与每个目标关联的每一组数据都以相同的方式存储在每个文件上？
- 最重要的是，对于我的任务来说，使用粗糙数组确实是最好的等效设置，还是因为以这种方式操作数据变得多余，Python3有更好的方法来处理不同大小的堆叠数组？
。
回答 1
Stack Overflow用户
发布于 2022-03-23 05:50:42
我已经决定用一个已知的解决方案来解决我的问题，而且它似乎适应得很好。我将每组单独的数据组织到它自己的数组中，然后将它们存储在一个列表中，就像MATLAB中的单元格一样。为了保存此信息，当我分离出数据时，我将随后的索引值存储在一个列表中。我的意思是：
- I标识下一个单独数据集的位置。
- 将数据复制到一个数组中，直到该索引值被附加到列表中。
- I存储下一个单独数据集开始时的索引值。
- I从原始数组的副本中删除该信息。
- 我重复步骤1-4，直到只剩下一个唯一标记的数据序列。我附加了这组数据。没有其他索引可记录。因此，索引列表等于数组列表的长度-1.在保存数据时，我将原始数组保存到一个带有解打包indices.
- When的.npz文件中，并将数据重新加载到它的独立数组中进行分析，我可以将数组‘打包’和‘解压’成它的两种不同形式，从单个numpy数组到numpy数组列表。
这个解决方案效果很好。我希望这对将来的人有帮助。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/71397763
复制相关文章
腾讯云开发者
