问使用api下载上千张图片

EN

编写一个高性能的HTTP爬虫/下载器并非易事。我会描述一下，我会怎么做。请记住，有很多解决方案，所以如果您想更深入地研究这个主题，您可能想要阅读Modern Operating Systems by Andrew S. Tanenbaum。

1. 将需要下载的所有URL放入数据库。
2. 主流程连接数据库并确定有多少次下载，并使用此参数设置工作进程的下载量。然后，它关闭数据库connection.
3. The主进程使用pcntl_fork()启动您希望运行的工作进程数量。(是的，它是安全的，但它不容易使用。)
4. 每个工作者都应该单独连接到数据库，并在它希望处理的URL上建立一个读写锁。在MySQL的情况下，你可以使用SELECT... FOR UPDATE.
5. The worker，如果在数据库中用它的PID将它处理的记录标记为正在进行中，然后释放数据库锁。
6. 这个worker处理下载，然后更新数据库它已经完成了所有worker的共享并退出(参见pcntl_wait())，主进程打开一个数据库连接，并清除任何崩溃的worker可能已经离开的所有正在进行的标志。然后，它将关闭数据库，并重复此过程，直到所有下载完成。

这是一条相对安全的旅行路线。但是，请记住，您正在使用的东西远远超出了一般(甚至是有经验的) PHP程序员的知识水平。你必须通过了解Linux (或Windows)进程模型是如何工作的，否则你将会有一个令人难以置信的崩溃的应用程序在你手中。