当从我的家庭网络访问我的站点时,它返回403禁止错误。我已经尝试了Chrome,Firefox和IE,重置所有设置,清除缓存和cookies等。
但是,如果我连接到我的手机,我可以毫无问题地访问该网站。
我的.htaccess看起来没问题:
##
# @package Joomla
# @copyright Copyright (C) 2005 - 2013 Open Source Matters. All rights reserved.
# @license GNU General Public License version 2 or later; see
我试着使用Scrapy来抓取一些网站上大约70k个项目。但每次它抓取了大约200个项目后,其余的项目都会弹出错误:
scrapy] DEBUG: Ignoring response <404 http://www.somewebsite.com/1234>: HTTP status code is not handled or not allowed
我相信这是因为我的爬虫被网站屏蔽了,我试着使用随机用户代理建议的,但根本解决不了问题。有什么好的建议吗?