pyspider+PhantomJS的代

py3study

发布于 2020-01-17 10:32:38

5770

发布于 2020-01-17 10:32:38

文章被收录于专栏：python3python3

环境：pyspider0.3.9 PhantomJS2.1.1，均为最新版

进程用supervisor托管的。

其中需要加的几个地方：

webui进程：

pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 webui

processor进程：

pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 processor

fetcher进程：

pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 fetcher

phantomjs进程：

pyspider -c config.json phantomjs -- --proxy=ip:port --proxy-auth=name:password

以上需要注意的是，webui、processor 、fetcher 都加了phantomjs的本地地址支持。

phantomjs 进程后面设置phantomjs 的代理端口，文中的加了验证，免密的可以直接写 -- --proxy=ip:port 不写--proxy-auth=name:password

------------------------------

遇到这个提示，应该可以忽略不计，意思是提示你，任务里面的代理设置并不会影响phantomjs

phantomjs does not support specify proxy from script, use phantomjs args instead

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2019-05-16 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度