复制文件的x64位性能评估/问题
复制文件的x64位性能评估/问题
提问于 2010-11-25 16:41:11
在编写一种备份应用程序时，我对Windows上的文件复制性能进行了评估。
我有几个问题，不知道你的意见。
谢谢!
卢卡斯。
问题：
- 为什么在复制10 GiB文件时性能比1 GiB文件慢得多？
- 为什么shutil.copyfile这么慢？
- 为什么win32file.CopyFileEx这么慢？这可能是因为旗标win32file.COPY_FILE_RESTARTABLE吗？然而，它不接受int 1000作为标志(COPY_FILE_NO_BUFFERING)，这是对大型文件的推荐：http://msdn.microsoft.com/en-us/library/aa363852%28VS.85%29.aspx
- Using空ProgressRoutine似乎对不使用ProgressRoutine没有任何影响。
- 有一个替代的、性能更好的复制文件的方法吗？
？
结果为1 GiB和10 GiB文件：
test_file_size 1082.1 MiB 10216.7 MiB
METHOD SPEED SPEED
robocopy.exe 111.0 MiB/s 75.4 MiB/s
cmd.exe /c copy 95.5 MiB/s 60.5 MiB/s
shutil.copyfile 51.0 MiB/s 29.4 MiB/s
win32api.CopyFile 104.8 MiB/s 74.2 MiB/s
win32file.CopyFile 108.2 MiB/s 73.4 MiB/s
win32file.CopyFileEx A 14.0 MiB/s 13.8 MiB/s
win32file.CopyFileEx B 14.6 MiB/s 14.9 MiB/s测试环境：
Python:
ActivePython 2.7.0.2 (ActiveState Software Inc.) based on
Python 2.7 (r27:82500, Aug 23 2010, 17:17:51) [MSC v.1500 64 bit (AMD64)] on win32
source = mounted network drive
source_os = Windows Server 2008 x64
destination = local drive
destination_os = Windows Server 2008 R2 x64备注：
'robocopy.exe' and 'cmd.exe /c copy' were run using subprocess.call()win32file.CopyFileEx A(不使用ProgressRoutine)：
def Win32_CopyFileEx_NoProgress( ExistingFileName, NewFileName):
win32file.CopyFileEx(
ExistingFileName, # PyUNICODE | File to be copied
NewFileName, # PyUNICODE | Place to which it will be copied
None, # CopyProgressRoutine | A python function that receives progress updates, can be None
Data = None, # object | An arbitrary object to be passed to the callback function
Cancel = False, # boolean | Pass True to cancel a restartable copy that was previously interrupted
CopyFlags = win32file.COPY_FILE_RESTARTABLE, # int | Combination of COPY_FILE_* flags
Transaction = None # PyHANDLE | Handle to a transaction as returned by win32transaction::CreateTransaction
)win32file.CopyFileEx B(使用空ProgressRoutine)：
def Win32_CopyFileEx( ExistingFileName, NewFileName):
win32file.CopyFileEx(
ExistingFileName, # PyUNICODE | File to be copied
NewFileName, # PyUNICODE | Place to which it will be copied
Win32_CopyFileEx_ProgressRoutine, # CopyProgressRoutine | A python function that receives progress updates, can be None
Data = None, # object | An arbitrary object to be passed to the callback function
Cancel = False, # boolean | Pass True to cancel a restartable copy that was previously interrupted
CopyFlags = win32file.COPY_FILE_RESTARTABLE, # int | Combination of COPY_FILE_* flags
Transaction = None # PyHANDLE | Handle to a transaction as returned by win32transaction::CreateTransaction
)
def Win32_CopyFileEx_ProgressRoutine(
TotalFileSize,
TotalBytesTransferred,
StreamSize,
StreamBytesTransferred,
StreamNumber,
CallbackReason, # CALLBACK_CHUNK_FINISHED or CALLBACK_STREAM_SWITCH
SourceFile,
DestinationFile,
Data): # Description
return win32file.PROGRESS_CONTINUE # return of any win32file.PROGRESS_* constantStack Overflow用户
回答已采纳
发布于 2014-12-08 16:52:27
问题3：
您误解了Microsofts中的COPY_FILE_NO_BUFFERING标志。它不是int 1000，而是十六进制1000 (0x1000 => int值: 4096)。当您设置CopyFlags = 4096时，您将得到(?)Windows环境中最快的复制例程。我在我的数据备份代码中使用相同的例程，它非常快，每天传输兆字节大小的数据。
问题4：
这不重要，因为这是一个回调。但是总的来说，你不应该在里面放太多的代码，保持它的整洁和流畅。
问题5：
根据我的经验，它是标准Windows环境中最快的复制例程。可能会有更快的自定义复制例程，但是当使用普通的Windows时，没有比这更好的了。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/4279207
复制相关文章
相似问题
腾讯云开发者
