在前面的博客中，我们已经见识到了Scrapy的强大之处。但是，Scrapy也有其不足之处，即Scrapy没有JS engine, 因此它无法爬取JavaScript生成的动态网页，只能爬取静态网页，而在现代的网络世界中，大部分网页都会采用JavaScript来丰富网页的功能。所以，这无疑Scrapy的遗憾之处。 那么，我们还能愉快地使用Scrapy来爬取动态网页吗？有没有什么补充的办法呢？答案依然是yes!答案就是，使用scrapy-splash模块！ scrapy-splash模块主要使用了Splash. 所谓的Splash, 就是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。Splash的特点如下：
scrapy爬虫与传统爬虫一样，都是通过访问服务器端的网页，获取网页内容，最终都是通过对于网页内容的分析来获取数据，这样的弊端就在于他更适用于静态网页的爬取，而面对js渲染的动态网页就有点力不从心了，因为通过js渲染出来的动态网页的内容与网页文件内容是不一样的。
在之前的章节中，爬取的都是静态页面中的信息，随着越来越多的网站开始用JS在客户端浏览器动态渲染网站，导致很多需要的数据并不能在原始的HTML中获取，再加上Scrapy本身并不提供JS渲染解析的功能，那么如何通过Scrapy爬取动态网站的数据呢？这一章节我们将学习这些知识。 通常对这类网站数据的爬取采用如下两种方法： 通过分析网站，找到对应数据的接口，模拟接口去获取需要的数据（一般也推荐这种方式，毕竟这种方式的效率最高），但是很多网站的接口隐藏的很深，或者接口的加密非常复杂，导致无法获取到它们的数据接口，此
有的页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得
观察发现splash依赖环境略微复杂，所以我们可以直接使用splash的docker镜像
开发爬虫的时候，因为网页中有数据动态加载（可参考之前文章）的部分，很多数据是后面渲染上的。爬虫程序只能爬取渲染前的数据，所以很多我们在网站上看到的数据，爬虫并不能直接获取。
在日常做爬虫的时候肯定遇到这么一些问题，网页js渲染，接口加密等，以至于无法有效的获取数据，那么此时若想获取数据大致有两种方向，硬刚加密参数或使用渲染工具
在上一节我们实现了Scrapy对接Selenium抓取淘宝商品的过程，这是一种抓取JavaScript动态渲染页面的方式。除了Selenium，Splash也可以实现同样的功能。本节我们来了解Scrapy对接Splash来进行页面抓取的方式。 一、准备工作 请确保Splash已经正确安装并正常运行，同时安装好Scrapy-Splash库。 二、新建项目 首先新建一个项目，名为scrapysplashtest，命令如下所示： scrapy startproject scrapysplashtest 新
Splash是一个javascript渲染服务。它是一个带有HTTP API的轻量级Web浏览器，使用Twisted和QT5在Python 3中实现。QT反应器用于使服务完全异步，允许通过QT主循环利用webkit并发。 一些Splash功能：
chrome谷歌浏览器无界面运行，主要运行在Linux系统，windows系统下不支持
目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得
ScrapySplash 是一个 Scrapy 中支持 JavaScript 渲染的工具，本节来介绍一下它的安装方式。 ScrapySplash 的安装分为两部分，一个是是 Splash 服务的安装，安装方式是通过 Docker，安装之后会启动一个 Splash 服务，我们可以通过它的接口来实现 JavaScript 页面的加载。另外一个是 ScrapySplash 的 Python 库的安装，安装之后即可在 Scrapy 中使用 Splash 服务。
问自己一个问题『如果遇见现在的自己，你会喜欢吗？』对自己好一点，投资自己，你可以活成你想象中的任何模样。
scrapy的日志信息与配置 学习目标： 了解 scrapy的日志信息 掌握 scrapy的常用配置 掌握 scrapy_redis配置 了解scrapy_splash配置 了解scrapy_redi
【原文链接】：https://mp.weixin.qq.com/s/WIrepTu-2CGrGifLLRsHjw
Hi，大家好，又见面了，我是Python进阶者，废话不多说，直接开始肝吧，奥里给！
网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。通俗来说就是模拟用户在浏览器上的操作，从特定网站，自动提取对自己有价值的信息。主要通过查找域名对应的IP地址、向IP对应的服务器发送请求、服务器响应请求，发回网页内容、浏览器解析网页内容四个步骤来实现。
在上一篇文章中，链接如下：https://www.cnblogs.com/xiao987334176/p/13656055.html
代码未动，配置先行。本篇文章主要讲述一下Scrapy中的配置文件settings.py的参数含义，以及如何去获取一个爬虫程序的运行性能指标。
502 Bad Gateway 是一种HTTP协议的服务器端错误状态代码，它表示作为网关或代理角色的服务器，从上游服务器（如tomcat、php-fpm）中接收到的响应是无效的。
Gerapy 是一款 分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：
502 Bad Gateway错误是HTTP状态代码，表示Internet上的一台服务器收到来自另一台服务器的无效响应。
Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。
502 Bad Gateway服务器作为网关或者代理时，为了完成请求访问下一个服务器，但该服务器返回了非法的应答。 解决办法是：再刷新一下网页或清理一下电脑的缓冲文件在打开你想打开的网页就好了. 一般情况下，这种办法是行得通的，但也不排除你所访问的网页被屏蔽的可能，如果你所访问的网页被屏蔽的话，就不管你怎么刷新也是没用的了。
一、NGINX 502错误排查 NGINX 502 Bad Gateway错误是FastCGI有问题，造成NGINX 502错误的可能性比较多。将网上找到的一些和502 Bad Gateway错误有关的问题和排查方法列一下，先从FastCGI配置入手： 1.FastCGI进程是否已经启动 2.FastCGI worker进程数是否不够 运行 netstat -anpo | grep “php-cgi” | wc -l 判断是否接近FastCGI进程，接近配置文件中设置的数值，表明worker进程数设置太少 3.FastCGI执行时间过长 根据实际情况调高以下参数值 fastcgi_connect_timeout 300; fastcgi_send_timeout 300; fastcgi_read_timeout 300; 4.FastCGI Buffer不够 nginx和apache一样，有前端缓冲限制，可以调整缓冲参数 fastcgi_buffer_size 32k; fastcgi_buffers 8 32k; 5.Proxy Buffer不够 如果你用了Proxying，调整 proxy_buffer_size 16k; proxy_buffers 4 16k; 参见：http://www.server110.com 6.https转发配置错误 正确的配置方法 server_name www.mydomain.com; location /myproj/repos { set $fixed_destination $http_destination; if ( $http_destination ~* ^https(.*)$ ) { set $fixed_destination http$1; } proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header Destination $fixed_destination; proxy_pass http://subversion_hosts; } 当然，还要看你后端用的是哪种类型的FastCGI，我用过的有php-fpm，流量约为单台机器40万PV(动态页面), 现在基本上没有碰到502。
一些运行在Nginx上的网站有时候会出现“502 Bad Gateway”错误，有些时候甚至频繁的出现。有些站长是在刚刚转移到Nginx之后就出现了这个问题，所以经常会怀疑这是不是Nginx的问题，但事实上这是个误区。
我的京东价格监控网站需要不间断爬取京东商品页面，爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。
网友遇到宝塔面板 502 Bad Gateway 的情况，魏艾斯博客也是第一次遇到这个问题，经过一番设置后解决了，因为网络上此类文章不少，也都是各种折腾后的结果，所以会有很多人需要解决办法，把这次经历分享出来供大家参考。
目前lnmp一键安装包比较多的问题就是502 Bad Gateway，大部分情况下原因是在安装php前，脚本中某些lib包可能没有安装上，造成php没有编译安装成功。
使用Nginx通过https方式访问SVN服务器，执行svn copy的时候出现以下错误： svn: Server sent unexpected return value (502 Bad Gateway) in response to COPY request for
pyspider 是一个支持任务监控、项目管理、多种数据库，具有 WebUI 的爬虫框架，它采用 Python 语言编写，分布式架构。详细特性如下：
在 php.ini 中，有一个参数 max_execution_time 可以设置 PHP 脚本的最大执行时间，但是，在 php-cgi(php-fpm) 中，该参数不会起效。真正能够控制 PHP 脚本最大执行时：
我们使用了Scrapyd-Client成功将Scrapy项目部署到Scrapyd运行，前提是需要提前在服务器上安装好Scrapyd并运行Scrapyd服务，而这个过程比较麻烦。如果同时将一个Scrapy项目部署到100台服务器上，我们需要手动配置每台服务器的Python环境，更改Scrapyd配置吗？如果这些服务器的Python环境是不同版本，同时还运行其他的项目，而版本冲突又会造成不必要的麻烦。 所以，我们需要解决一个痛点，那就是Python环境配置问题和版本冲突解决问题。如果我们将Scrapyd直接打
很多时候，爬虫程序跑着跑着，因为网络故障或者程序异常就宕掉了。无奈之下只能重启重新爬取。为了避免这种每次重头再来的情况，我们都会利用mysql、redis、文本等方式，来记录一下爬取过的url。
Bad Gateway就是性能或资源不足所导致了，我们浏览网页时常常会碰到一些nginx环境出现这类提醒了，下面我来给大家解决在使用nginx服务器时出来的502（Bad Gateway）错误。
今天有大概 30 分钟，Cloudflare 网站的浏览者收到了 502 错误，起因是我们网络中的 CPU 使用率飙升。这个 CPU 的峰值是由一个错误的软件部署造成的，这一错误已经回滚，回滚后，服务恢复正常，Cloudflare 返回到了正常的通信水平。
从 Scrapy 的部署、启动到监控、日志查看，我们只需要鼠标键盘点几下就可以完成，那岂不是美滋滋？更或者说，连 Scrapy 代码都可以帮你自动生成，那岂不是爽爆了？ 有需求就有动力，没错，Gerapy 就是为此而生的，GitHub：https://github.com/Gerapy/Gerapy。 安装 Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Spla
一：500错误 1、500 Internal Server Error 内部服务错误：顾名思义500错误一般是服务器遇到意外情况，而无法完成请求。
本文介绍了一种基于Scrapy的爬虫框架，该框架基于Scrapy和Selenium，支持跨浏览器的爬取。包括整体架构、Spider的编写、Item定义、Pipeline的配置和Splash的使用。在爬虫的过程中，通过Splash请求数据，实现异步加载，从而提高爬取效率。
网站的访问量大，而php-cgi的进程数偏少。 针对这种情况的502错误，只需增加php-cgi的进程数。具体就是修改/usr/local/php/etc/php-fpm.conf 文件，将其中的max_children值适当增加。这个数据要依据你的VPS或独立服务器的配置进行设置。一般一个php-cgi进程占20M内存，你可以自己计算下，适量增多。 /usr/local/php/sbin/php-fpm restart 然后重启一下.
部署细节： 两容器均部署在同一机器上，通过 docker-compose 编排，并且通过link方式链接。
经常我们会遇到502错误 , 502错误究竟是啥呢 , 在字面意思是指bad gateway 网关错误 , 网关是啥
在基于 Kubernetes 部署，使用 Gunicorn 运行的 Python Web 应用中，上传大文件时出现了一系列的错误，现在将解决问题的思路记录如下。
title: Facebook 爬虫 tags: [python3, facebook, scrapy, splash, 爬虫] date: 2018-06-02 09:42:06 categories: python keywords: python3, facebook, scrapy, splash, 爬虫 --- 初次接触到scrapy是公司要求编写一个能够解析JavaScript的爬虫爬取链接的时候听过过，当时我当时觉得它并不适合这个项目所以放弃这个方案，时隔一年多公司有了爬取Facebook用户信息的需求，这样才让我正式接触并使用到scrapy
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
