文章/答案/技术大牛

发布

社区首页 >问答首页 >scrapy shell 调试返回200，但是在scrapy crawl启动爬虫返回443？

问scrapy shell 调试返回200，但是在scrapy crawl启动爬虫返回443？

提问于 2023-04-25 07:34:04

回答 0关注 0查看 115

在scrapy组件中执行爬虫命令，无法访问https地址，返回443无法返回数据；

查了很多方法，添加r=requests.get(url,verify=False) 添加verify=False,依然无效。scrapy 自带可以访问https的验证，关闭SSL验证也是不起作用。为什么scrapy shell调试此网站没问题，用scrapy组件写爬虫执行就报错呢

网站

爬虫

shell

scrapy

调试

回答

成为首答用户。去写回答

scrapy

这是官方文档的命令行工具https://docs.scrapy.org/en/latest/topics/commands.html 配置设置 Scrapy 默认在 scrapy.cfg 文件中查找配置参数：系统范围：/etc/scrapy.cfg 或 c:\scrapy\scrapy.cfg 用户范围：~/.config/scrapy.cfg ($XDG_CONFIG_HOME) 和 ~/.scrapy.cfg ($HOME) 项目内范围：scrapy.cfg 项目范围的设置将覆盖所有其他文件的设置

SeanCheney

2018/04/24

1.2K0

Scrapy1.4最新官方文档总结 3 命令行工具配置设置使用 scrapy 工具创建项目管理项目Scrapy 的可用命令parse

爬虫篇 | 高级爬虫( 二):Scrapy爬虫框架初探

爬虫 scrapy python php 数据库

龙哥

2019/10/29

1.6K0

高级爬虫( 二):Scrapy爬虫框架初探

爬虫 scrapy 小程序 http go

先确保你已经在电脑上安装好了Scrapy模块,说一下Scrapy安装的问题，网上大部分安装办法已经失效了,主要是因为网站：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 中 twised资源已经被移除这导致安装scrapy不能愉快的时行了. 好在我已经给了scrapy 安装的办法，见文章: 高级爬虫(一):Scrapy爬虫框架的安装当然如果你想用Anaconda 方式来安装也行，只是个人觉得杀鸡用牛刀，哈哈，随意吧！

龙哥

2018/10/22

9930

Python scrapy框架的简单使用

scrapy 爬虫 xml

注意：Scrapy运行ImportError: No module named win32api错误。请安装：pip install pypiwin32

Python知识大全

2020/02/13

1.1K0

毕业设计（一）：爬虫框架scrapy

爬虫 scrapy python http shell

1、scrapy startproject Demo（项目名）：创建一个新的项目。

Cloud-Cloudys

2020/07/07

8940

Scrapy爬虫框架

爬虫 http scrapy php 编程算法

网络爬虫框架scrapy （配置型爬虫）什么是爬虫框架？爬虫框架是实现爬虫功能的一个软件结构和功能组件集合爬虫框架是个半成品，帮助用户实现专业网络爬虫 scrapy框架结构(“5+2”结构) image.png spider: 解析downloader返回的响应（Response）产生爬取项（scraped item）产生额外的爬去请求（Request）需要用户编写配置代码 engine(引擎): 控制所有模块之间的数据流根据条件触发事件不需要用户修改 scheduler(调度器): 对

Cloud-Cloudys

2020/07/07

9950

爬虫0060：scrapy快速入门爬虫高级操作：Scrapy framework

其他

官方网站：https://scrapy.org/，打开官方网站，可以看到一段关于scrapy的描述

大牧莫邪

2018/08/27

7690

Scrapy入门到放弃02：了解整体架构，开发一个程序

爬虫 shell scrapy php ide

Scrapy开门篇写了一些纯理论知识，这第二篇就要直奔主题了。先来讲讲Scrapy的架构，并从零开始开发一个Scrapy爬虫程序。

叫我阿柒啊

2022/05/09

6090

Python爬虫从入门到放弃（十三）之 Scrapy框架的命令行详解

爬虫 python

这篇文章主要是对的scrapy命令行使用的一个介绍创建爬虫项目 scrapy startproject 项目名例子如下： localhost:spider zhaofan$ scrapy star

coders

2018/01/04

1.1K0

初识Scrapy框架+爬虫实战(7)-爬取链家网100页租房信息

python scrapy xslt & xpath php 爬虫

Item 是保存爬取到的数据的容器。比如我下面将要爬取的链家网租房信息的地点、平米数、价格，我会在item.py文件中定义相应的字段。

秦子帅

2019/08/17

1.2K0

(原创)七夜在线音乐台开发第三弹爬虫篇

爬虫 dns 存储

上一篇咱们讲到了七夜音乐台的需求和所需要的技术。咱们今天就讲一下爬虫，为什么要讲爬虫，因为音乐台的数据源需要通过爬虫来获取，不可能手动来下载。下图是一个网络爬虫的基本框架: 网络爬虫的基本工作流程如下

七夜安全博客

2018/06/26

1.1K0

开启Scrapy爬虫之路

爬虫 scrapy php html python

七夜大佬的《python爬虫开发与项目实战》，买了好多年了，学习了好多东西，基本上爬虫都是在这里面学的，后期的scrapy框架爬虫一直不得门而入，前段时间补了下面向对象的知识，今天突然顿悟了！写个笔记记录下学习过程

诡途

2020/10/16

7500

Scrapy框架: 基本命令

爬虫

1.创建爬虫项目 scrapy startproject [项目名称] 2.创建爬虫文件 scrapy genspider +文件名+网址 3.运行(crawl) scrapy crawl 爬虫名称 # -o output 输出数据到文件 scrapy crawl [爬虫名称] -o zufang.json scrapy crawl [爬虫名称] -o zufang.csv 4.check检查错误 scrapy check 5.list返回项目所有spider scrapy list 6.view 存储

hankleo

2020/09/17

4430

Scrapy爬虫框架教程（三）-- 调试(Debugging)Spiders

scrapy 爬虫

前言春节放假在老家没有网，所以最近没有更新。这周加班闲暇抽空赶紧来更新一篇。我们在写爬虫的时候经常需要修改xapth规则来获取所需的数据，而Scrapy的爬虫通常是在命令行中启动的，我们怎么去调试呢？下面我就为大家介绍两种我常用的方法。工具和环境语言：python 2.7 IDE： Pycharm 浏览器：Chrome 爬虫框架：Scrapy 1.2.1 正文方法1 通过 scrapy.shell.inspect_response 函数来实现。以上一篇教程的爬虫为例： # -*- coding:

木制robot

2018/04/13

1.1K0

scrapy shell

shell 开源 scrapy http

执行scrapy shell http://www.521609.com，查看response

AiDBA宝典

2019/09/29

5060

Scrapy Shell

scrapy shell php

这篇文章很简单，可以说是 Scrapy 系列中最短最简单的文章。本篇文章主要讲解 Scrapy Shell 的相关知识。

喵叔

2020/09/08

3730

scrapy 框架入门

爬虫 scrapy

官网：https://docs.scrapy.org/en/latest/intro/overview.html

程序员同行者

2018/12/12

6510

Learning Scrapy（一）

scrapy python php http shell

　　学习爬虫有一段时间了，从Python的Urllib、Urlllib2到scrapy，当然，scrapy的性能且效率是最高的，自己之前也看过一些资料，在此学习总结下。

oYabea

2020/09/07

7500

爬虫之scrapy框架（一）

scrapy http 爬虫 ide

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

2020/03/19

8370

《Learning Scrapy》（中文版）第5章快速构建爬虫一个具有登录功能的爬虫使用JSON APIs和AJAX页面的爬虫在响应间传递参数一个加速30倍的项目爬虫可以抓取Excel文件的爬虫总结

scrapy 爬虫

第3章中，我们学习了如何从网页提取信息并存储到Items中。大多数情况都可以用这一章的知识处理。本章，我们要进一步学习抓取流程UR2IM中两个R，Request和Response。一个具有登录功能的爬虫你常常需要从具有登录机制的网站抓取数据。多数时候，网站要你提供用户名和密码才能登录。我们的例子，你可以在http://web:9312/dynamic或http://localhost:9312/dynamic找到。用用户名“user”、密码“pass”登录之后，你会进入一个有三条房产链接的网页。现在的问

SeanCheney

2018/04/24

4.1K0

《Learning Scrapy》（中文版）第5章快速构建爬虫一个具有登录功能的爬虫使用JSON APIs和AJAX页面的爬虫在响应间传递参数一个加速30倍的项目爬虫可以抓取Excel文件的爬虫总结

相似问题

爬虫框架scrapy测试运行时出错，求解决？

058

scrapy添加scrapy_redis后出现报错？

1700

scrapy怎么实现自定爬取深度？

0251

问scrapy shell 调试返回200，但是在scrapy crawl启动爬虫返回443？

回答

爬虫框架scrapy测试运行时出错，求解决？

scrapy添加scrapy_redis后出现报错？

scrapy怎么实现自定爬取深度？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐