Python Numpy文件操作方法与实例分享

在数据处理和科学计算中，文件I/O（输入/输出）是一个非常重要的环节，尤其是在需要读取大规模数据集或保存计算结果时，文件读写功能至关重要。Python的Numpy库为我们提供了高效的文件I/O操作，能够轻松处理文本文件和二进制文件，支持各种格式的存储与加载。本文将详细介绍如何使用Numpy读写文本文件和二进制文件，涵盖常见方法以及对应的示例代码，帮助大家掌握Numpy文件I/O操作的要点。

读写文本文件

文本文件（如CSV、TXT等）是数据存储的一种常见格式，Numpy提供了多个函数用于处理文本文件，特别是通过 np.loadtxt() 和 np.savetxt() 来读取和保存文本数据。

使用np.loadtxt()读取文本文件

np.loadtxt() 是Numpy中用于读取文本文件的常用函数。它能够从一个文本文件中加载数据，并将其转换为Numpy数组。

假设有一个 data.csv 文件，文件内容如下：

1,2,3
4,5,6
7,8,9

可以使用 np.loadtxt() 读取该文件：

import numpy as np

# 读取CSV文件
data = np.loadtxt('data.csv', delimiter=',')
print("读取的CSV数据：\n", data)

输出结果：

读取的CSV数据：
[[1. 2. 3.]
 [4. 5. 6.]
 [7. 8. 9.]]

在这个例子中，delimiter=',' 指定了逗号作为列之间的分隔符，np.loadtxt() 读取了文件中的数据并返回了一个二维数组。

使用np.savetxt()保存文本文件

np.savetxt() 是Numpy中用于将数组保存为文本文件的函数，它可以将Numpy数组以指定的格式保存到文件中。

# 创建一个Numpy数组
data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 将数组保存为CSV文件
np.savetxt('output.csv', data, delimiter=',')
print("数据已保存到output.csv")

这段代码将 data 数组保存为 output.csv 文件，并使用逗号作为分隔符。

np.genfromtxt()的高级读取功能

np.genfromtxt() 是另一个强大的文本读取函数，允许处理含有缺失值的文件，并且可以自动推断数据类型。

假设有一个文件 data_with_missing.csv，内容如下：

1,2,3
4,,6
7,8,9

可以使用 np.genfromtxt() 处理缺失值：

# 读取含有缺失值的文件
data_with_missing = np.genfromtxt('data_with_missing.csv', delimiter=',')
print("处理后的数据：\n", data_with_missing)

输出结果：

处理后的数据：
[[ 1.  2.  3.]
 [ 4. nan  6.]
 [ 7.  8.  9.]]

np.genfromtxt() 自动将缺失的值转换为 NaN，这是在处理不完整数据时非常实用的功能。

读写二进制文件

与文本文件相比，二进制文件在存储和读取大规模数据时更为高效。Numpy提供了 np.save() 和 np.load() 用于保存和加载二进制文件，通常以 .npy 格式保存数据。

使用np.save()保存二进制文件

np.save() 函数将Numpy数组保存为 .npy 格式的二进制文件。

# 创建一个Numpy数组
data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 保存为二进制文件
np.save('data.npy', data)
print("数据已保存到data.npy")

在这个例子中，np.save() 将 data 数组保存为 data.npy 二进制文件。

使用np.load()读取二进制文件

np.load() 函数用于从 .npy 文件中加载数据。

# 读取保存的二进制文件
loaded_data = np.load('data.npy')
print("读取的二进制数据：\n", loaded_data)

输出结果：

读取的二进制数据：
[[1 2 3]
 [4 5 6]
 [7 8 9]]

np.load() 可以直接将 .npy 文件中的数据加载为Numpy数组，速度非常快且内存占用较少。

读写多个数组：.npz格式

当需要同时保存多个数组时，Numpy提供了 .npz 格式，这是一种压缩的文件格式，可以将多个Numpy数组一起保存。

使用np.savez()保存多个数组

np.savez() 和 np.savez_compressed() 可以将多个数组保存到同一个 .npz 文件中。

# 创建两个Numpy数组
array1 = np.array([1, 2, 3])
array2 = np.array([4, 5, 6])

# 保存多个数组
np.savez('multiple_arrays.npz', array1=array1, array2=array2)
print("多个数组已保存到multiple_arrays.npz")

使用np.load()加载多个数组

加载 .npz 文件时，np.load() 会返回一个包含多个数组的字典结构。

# 读取npz文件中的多个数组
with np.load('multiple_arrays.npz') as data:
    array1 = data['array1']
    array2 = data['array2']
    
print("读取的数组1：", array1)
print("读取的数组2：", array2)

输出结果：

读取的数组1： [1 2 3]
读取的数组2： [4 5 6]

通过这种方式，可以轻松地保存和加载多个Numpy数组。

读取和写入自定义二进制文件

在某些场景下，可能需要自定义的二进制文件格式。Numpy提供了 tofile() 和 fromfile() 函数，用于将数组直接写入到二进制文件或从二进制文件读取数据。

使用tofile()保存自定义二进制文件

tofile() 函数可以将数组写入二进制文件。

# 创建一个数组
data = np.array([1, 2, 3, 4, 5])

# 保存为二进制文件
data.tofile('custom_data.bin')
print("数据已保存到custom_data.bin")

使用fromfile()读取自定义二进制文件

fromfile() 函数可以从自定义的二进制文件中读取数据，并根据需要指定数据类型和形状。

# 从二进制文件中读取数据
loaded_data = np.fromfile('custom_data.bin', dtype=int)
print("读取的自定义二进制文件数据：", loaded_data)

输出结果：

读取的自定义二进制文件数据： [1 2 3 4 5]

使用这种方式，可以根据实际需求自定义文件格式，并从中读取或保存数据。

总结

本文详细介绍了如何使用Numpy进行文件I/O操作，涵盖了文本文件的读取与保存（如CSV文件），以及二进制文件的高效读写（如 .npy 和 .npz 格式）。通过这些功能，可以在日常的数据处理和科学计算中更加高效地管理数据文件。无论是处理小型数据集还是大规模数据，Numpy的文件I/O操作都提供了极大的灵活性和性能优势，能够帮助开发者更好地保存、加载和管理数据。

如果你觉得文章还不错，请大家 点赞、分享、留言 下，因为这将是我持续输出更多优质文章的最强动力！