使用cURL和PHP处理1,000+ cURL列表
使用cURL和PHP处理1,000+ cURL列表
提问于 2012-03-02 23:40:20
我用curl_multi_exec实现了这一点，我的脚本目前并行运行5个curl句柄，并且在5个句柄上开始下5个新的批处理。我已经增加了PHP的超时和内存，它在大约100个URL的列表上工作得非常好。
问题是，这个人希望能够输入1000个或更多的URL并运行它。当我用他的列表做这件事时，它会运行大约7-8分钟，最终它会在我身上变成白屏。
当我开始这个项目时，我被告知有100个URL，这就是为什么我走了这条路，但有这么大的列表，我想我应该使用MySQL数据库来导入所有的URL，然后以100个的速度循环通过它们。
我只是在寻找一些反馈，如果有人知道更好的方法，或者是否有一种方法可以做到这一点而不使用数据库？有什么想法吗？
回答 2
Stack Overflow用户
发布于 2012-03-02 23:45:37
我建议你，“这家伙”将列表导入到数据库中，您可以从那里检索URL，将结果写回数据库。
然而，..。您可以将PHP脚本作为CLI脚本启动(使用命令行)，这样就不会有超时问题。但这意味着URL列表将通过CLI可用，例如作为文件系统上的文本文件。
Stack Overflow用户
发布于 2012-03-03 00:01:47
如果你对你的脚本运行感到满意，尽管速度很慢，那么可以考虑在每批5个脚本之后添加一个刷新，这样浏览器在等待时就不会超时。或者，将输出写到一个单独的文件中(仍然使用flush)，并使用ajax查询该文件，直到完成。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/9536079
复制相关文章
相似问题
腾讯云开发者
