Python程序文件移动减慢进程/使异步文件移动？

文章/答案/技术大牛

发布

1回答

python、file、asynchronous

实际上，我使用Python程序解析xml文件并将内容写入关系数据库(我按节点和所有所属元素进行拆分)。加载每个文件后，我将文件移动到存档位置或错误位置。但是文件移动命令shutil.move(src, dst)大约需要200-300ms，加载过程大约需要60-200ms。文件大小约为每个文件5-20kB。我是否可以对文件移动进行排队，但我需要考虑要移动的排队<em

浏览 18提问于2020-02-05得票数 0

2回答

一个大函数php文件是一个问题吗？

php、performance、function

我正在开发一个web应用程序，我正在使用一个名为functions.php的文件，其中存储了与我的应用程序相关的所有函数，目前该文件有大约1500行代码，包含30多个函数。我想知道这是不是一个问题，它会在调用函数时减慢进程吗？我是否应该制作其他文件来移动一些函数到那里？

浏览 0提问于2012-08-12得票数 1

回答已采纳

3回答

在python程序中，有一个Cnc对象存储设备当前位置，并包含将其定位到特定位置的方法。问题是，如果我每次想移动数控时运行一个新脚本，我必须重新初始化Cnc实例，它会忘记它的位置。所以，我想知道是否可以有一个主程序运行，其中包含一个也是唯一的Cnc实例，那么当远程机器想让数控系统移动时，它可以运行一个不同的脚本，用argz表示新位置的python action.py x y z。最后，远程系统从任何工作中被高度抽象出来，只需要开始运行主程序，然后在任何时候使用argz

浏览 1提问于2018-04-03得票数 0

2回答

七个文件锁。我不能移动文件？

.net、sevenzipsharp

我正在对不同的归档文件运行sevenzipsharp，如果它通过了我的测试，我想把这个归档文件移到另一个文件夹中。然而，我得到了一个异常，告诉我文件正在被进程使用。我也不能在windows资源管理器中移动它，但是当我杀死我的应用程序进程时，我可以移动它。我怀疑sevenzipsharp已经锁定了文件所以我不能移动它。我尝试将文件移出using块，但仍然不能执行。似乎在我运行这个方法

浏览 9提问于2012-01-12得票数 1

1回答

南方不会为actstream丢弃一个表

django、django-south

尝试放弃与南方的应用程序django-activity-stream，然后重新添加它。 python manage.py migrate actstream

浏览 4提问于2013-07-05得票数 0

回答已采纳

1回答

使用os.system异步，不依赖于python进程？

python、asynchronous、process、system

当使用os.system打开一个文件时，比如：os.system(r'C:/foo.txt')，当前的Python进程当然会等待，直到系统调用返回。(即:文本编辑器关闭)。我必须使用线程才能使其异步吗？我正在使用Python为Windows编写一个文件管理器。用户点击一个文件。现在使用os.system(the_path_to_the_file_clicked)将使用注册表中设置的默认程序打开该<e

浏览 0提问于2011-08-25得票数 1

回答已采纳

1回答

我可以让我所有的python脚本缓存字节码，例如在我的主目录中的一个中央目录树下？

python、caching

我不一定要阻止python“缓存”它的字节代码，我只想阻止它“破坏”我的所有目录，在它找到和执行脚本的地方都有一个__pycache__条目。例如，我希望将我所有脚本的字节代码保存在下面，比如$HOME/.python/cache。我正在运行Linux，但我相信这对Windows用户来说也会很有趣。

浏览 5提问于2017-08-09得票数 6

回答已采纳

1回答

如何限制每个线程的内存以避免CPU使用页面文件内存

c#、multithreading、memory

我想知道有没有办法限制每个线程的内存，以便当所有现有进程使用的内存超过可用RAM时，操作系统不会将虚拟地址空间移动到计算机的硬盘上，而是等待其他线程结束并释放内存，然后只启动另一个线程。这样做的原因是，当计算机开始使用页面文件时，它会在很大程度上减慢整个进程，而且它的运行速度甚至比单线程进程还要慢。

浏览 0提问于2013-03-26得票数 1

1回答

读取文件，只有在没有其他“进程”正在处理的情况下

python、python-2.7、file

我想打开3个Powershell，并在其中3个运行相同的代码，只是不同的文件。\n' + str(e) pass 我试图通过代码表示的是:如果其他人还没有开始处理问题，我只想要一个进程，因为他们都有相同的逻辑--他们都会尝试解决相同的问题(我有很多问题需要解决)，所以他们可能会在程序使用while True的同时到达。当它完成问题时，它将删除文件的内容并选择一个新的问题，然后将它正在处理的问题写入自己的文件中，供其他人稍后检查。这两个<

浏览 0提问于2017-10-08得票数 0

回答已采纳

1回答

Python文本文件而不是字典

python、file-io、dictionary

我正在进行一个项目，在这个项目中，我爬行并将大量数据重新组织到一个结果文本文件中。以前我使用字典来存储临时数据，但是随着数据量的增加，由于内存的使用和字典变得无用，这个过程减慢了。由于进程速度在我的情况下并不那么重要，所以我尝试将字典替换为文件，但我不知道如何轻松地将文件指针移动到适当的位置并读取所需的数据。在字典中，我可以很容易地引用任何数据。我想实现同样的，但在档案。我正在考虑使用mmap并编写自己的函数，以便将文件指针移到我想要的位置。Python</em

浏览 1提问于2014-07-22得票数 1

回答已采纳

1回答

最好在创建事务备份时以一种方式移动事务备份。

windows-server-2008、file-transfer

我所做的是：我需要转移是安全的(目前SFTP)它们在源文件上的目录有许多文件(7天*500个目录* 48 = 170,000+) 我目前是基于存档标志SyncBack移动，这需要很长时间才能扫描更改。我想要的是：-我想要一个进程，在创建新文件的过程中，并将它们移到目的地--我希望这个过程能够实时进行，而不是按计划

浏览 0提问于2010-10-22得票数 0

1回答

将python脚本中的shell命令输出保存为文本文件

terminal、python

我设法在我的python脚本中调用和使用一个终端命令，它在其中工作。import os当我试图将输出保存到文本文件时使用的代码：print command但是，我得到了以下错误- ValueError: I/O operation on

浏览 2提问于2017-03-18得票数 0

2回答

多处理限制为两个线程

python、python-3.x

我正在尝试读取大文件，将它们提供给字典，然后重新排列到不同的字典。单线程非常慢，所以我希望它能同时运行每个文件。我的脚本只产生两个子进程，只使用两个线程 callback=None pool.close()我如何将进程指定为“线程”并不重要，它只运行两个进程。

浏览 4提问于2020-11-26得票数 0

2回答

“被移动到页面文件”事件

c#、windows

在C#中是否有一个事件(或类似事件)来告知当前进程何时将从内存移动到页面文件？此外，还有一个从页面文件返回的事件。或者如果这些事件不存在，也许是发生这种情况的更好的方式或建议？我想要做到这一点的原因是:我有一个应用程序/库存管理程序，它允许您查看所有内容，并且它主要将所有信息保存在一个很大的列表中。我只想在该列表写入磁盘之前将其清除。它只会变成陈旧的信息，并在必须恢复时减慢程序的返回速度。我宁愿在数据库中查询新的信息，而不是加载过时的信息。

浏览 0提问于2013-05-31得票数 1

回答已采纳

2回答

java.nio.file.Files移动操作

java、file、nio

我在我的程序中使用了Files.move方法，如下所述。LOGGER.error(e.getMessage(), e); } } 如果在中间发生任何异常/错误，是否有可能将文件从原始位置删除，但不移动到目标位置？

浏览 0提问于2019-01-24得票数 2

回答已采纳

4回答

在类似unix的系统上移动实时文件

linux、unix、freebsd、files

最近在数据中心发布了一个通用Unix管理员的职务公告，列出的一个要求是在数据中心设置中移动活动文件。这意味着什么，如何移动活文件？

浏览 0提问于2010-05-25得票数 3

回答已采纳

1回答

如何在Python中加速多个http请求

python

我想从一个包含50000个urls的txt文件中获取whois数据。它正在工作，但至少需要20分钟。

浏览 0提问于2019-01-21得票数 1

4回答

如何在Windows的后台不断运行Python脚本？

python、background-process、nohup

我已经创建了一个脚本，它将文件从一个文件夹移动到另一个文件夹。但是由于原来的文件夹是下载文件夹，所以我需要它始终在后台运行。我还有一个标准的批处理文件，看起来如下所示：我正在使用Windows 10。我为Linux和OS找到了如何在批处理文件中使用nohup的信息。有Windows版本吗？此外，当您设法<

浏览 12提问于2019-12-01得票数 24

回答已采纳

1回答

让并行进程使用异步fs.appendFile(文件、文本、回调)附加txt文件是个好主意吗？

node.js、io、parallel-processing

我正在开发node.js应用程序，它将开始使用 cluster.fork();每个节点工作线程都将使用node.js函数异步写入一个公共文件在这种情况下，每个节点工作进程都会并行写入一个文件。我不确定parralel追加是否会减慢将数据保存到文件的速度。有没有可能因为存在并行写入而导致保存的数据损坏

浏览 0提问于2013-08-30得票数 3

3回答

从多个.txt文件或从字典读取大量数据会更快吗？

python、python-3.x、file、dictionary

我正在从事一个个人项目(使用Python 3)，该项目将检索美国任何城市的天气信息。我的程序提示用户输入尽可能多的城市状态组合，然后检索天气信息并为输入的每个城市创建天气摘要。在幕后，我基本上是接受用户输入的状态，打开与该状态对应的.txt文件，然后获取与输入的城市相关联的天气代码，然后在URL请求中使用该代码查找城市的天气信息。因为我对每个州都有一个.txt文件，所以我有50个.txt文件，每个文件都有大量的城市天气代码组合。将我的算法保持当前的方式会更快，还是将所有这些数据保存在字

浏览 6提问于2018-01-12得票数 1

回答已采纳

点击加载更多