腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Scrapy
奇怪
的
输出
,
但
适用于
curl
我在
scrapy
命令下运行
scrapy
shell "https://www.vr.de/service/filialen-a-z/a.html' 作为回报,我得到了如下数据, ? 如果我使用
curl
来获取数据,那么所有信息都是准确
的
。 有人能告诉我我哪里做错了吗?
浏览 14
提问于2021-05-08
得票数 0
回答已采纳
2
回答
Scrapy
不支持新请求
、
、
、
我写了下面的代码:
curl
_command = "
curl
blah blah" name = 'myspider'=
scrapy
.Request.from_
curl
(
curl
_command=
curl
_command)
curl
_req.=
scrapy
.Request.from_
cur
浏览 31
提问于2021-11-15
得票数 0
回答已采纳
2
回答
导出
Curl
格式
的
Scrapy
请求
、
、
我使用Postman进行API测试,它具有导入
curl
命令
的
能力。 刮擦可以以这种格式(或任何其他格式)导出吗?这可能有助于调试请求。
浏览 20
提问于2016-06-08
得票数 6
回答已采纳
1
回答
XPATH在Chrome中工作,但在
Scrapy
中不起作用
、
、
、
、
抱歉,我不能透露链接因为我
的
工作不公开协议。
但
奇怪
的
是,XPATH只
适用于
Chrome工具,而不
适用于
Scrapy
。我通过response.body检查了刮过
的
HTML,并且HTML是正常
的
。
浏览 1
提问于2017-03-15
得票数 0
回答已采纳
1
回答
为什么我得到这些
奇怪
的
字符刮擦而不是html?
、
、
这只是我
的
业余爱好。我试图通过替罪羊获得booking.com起始页面html。start_requests(self): start_url = 'https://www.booking.com' print(response.headers)我在response.te
浏览 0
提问于2019-10-21
得票数 2
回答已采纳
2
回答
如何在Python
Scrapy
上禁用SSL验证?
、
、
我用PHP写了三年
的
数据抓取脚本。, 0);
curl
_setopt($ch, CURLOPT_POST, count($fields));fr
浏览 14
提问于2016-09-20
得票数 2
回答已采纳
1
回答
在刮刮位置时请求发出
、
、
当用
Scrapy
在python中刮肯德基
的
位置时,我面临一个问题。这是网站:,这里是我
的
原始代码: name = 'kfc'Reference #18.17a02417.1653923
浏览 4
提问于2022-06-07
得票数 0
1
回答
Scrapy
使用代理并获取扭曲错误
、
我发现我爬行
的
一些页面很慢,而使用访问页面相对较快,所以我在启动爬行器之前运行以下代码:然而,当我启动爬行器时,_newclient.ParseError'>>]
curl
-I -x 192.168.1.102:8087 http://www.blabla.com/target/page.php
输出
头对我来说
浏览 0
提问于2014-03-31
得票数 3
1
回答
某些站点上
的
Scrapy
超时
、
、
在我自己
的
机器上我试过或工作完美,不知何故,www.flyertalk.com不能很好地处理
scrapy
。我一直收到超时错误(180秒):但是,
cur
浏览 0
提问于2015-11-21
得票数 1
2
回答
如何将命令行关键字参数传递给scrapyd中
的
类变量?
、
、
我正在做一个差劲
的
项目。我想知道如何将scrapyd api调用中
的
参数传递给爬行器类。class MySpider(
scrapy
.Spider):方法二: class
浏览 8
提问于2020-05-05
得票数 0
2
回答
用ASP实现表单
的
自动填写
、
我正在试着写一些代码,来自动填充这个网页表单: 我
的
理论是因为网站使用ASP,而我没有做一些事情来说明这一点?任何可以工作
的<
浏览 0
提问于2012-10-27
得票数 1
回答已采纳
2
回答
Scrapyd:将CSV文件写入远程服务器
、
、
我试图在EC2上安排一个爬虫,并将
输出
导出到csv文件cppages-nov.csv,同时创建一个作业包--我需要暂停爬行,但它没有创建任何文件。我用
的
是正确
的
饲料出口吗?
curl
http://awsserver:6800/schedule.json -d project=wallspider -d spider=cppages -d JOBDIR=/home/ubuntu/
scrapy
/sitemapcrawl/crawl
浏览 0
提问于2014-09-26
得票数 1
回答已采纳
2
回答
如何更新
scrapy
会话
、
现在使用
scrapy
,我不明白如何强制关闭/重新打开每个请求之间
的
会话。假设我正在使用以下刮板将http &
curl
请求发送到ipinfo.io/ip (代理是在中间件中设置
的
):name = "ip" yield
scrapy
.Request.from_
curl
( "
c
浏览 12
提问于2022-09-04
得票数 2
回答已采纳
1
回答
Windows Server (IIS) + PHP7.4 -卷曲问题
、
、
我对
curl
有一个
奇怪
的
问题--一个版本不
适用于
CLI,
但
适用于
web,另一个版本不
适用于
web,而是与CLI一起工作。我有两个DLL文件:php_
curl
.dll (v7.4.1 -与CLI一起工作)和php_
curl
_2.dll (v7.3.1 -工作于web)。对于CLI,我没有单独
的
php.ini。使用v7.3.1加载
的
CLI无法找到模块,尽管它查找正确
的
路径: exten
浏览 2
提问于2021-03-11
得票数 1
1
回答
我可以在Django类中使用
Scrapy
函数吗
、
所以我安装了
Scrapy
。正如他们
的
教程中所述,
Scrapy
是通过使用
但
这
适用于
有自己文件
的
diff文件夹。是否可以在Django类中使用
Scrapy
函数并将数据放入Django变量中?
浏览 1
提问于2011-06-04
得票数 1
回答已采纳
2
回答
刮擦+飞溅=连接被拒绝
、
、
、
按照所有步骤安装,
但
Splash不工作。我
的
settings.py文件:SPIDER_MODULES = ['Test.spiders']这是我
的
蜘蛛from
scrapy
_splash import SplashRequest class":&
浏览 1
提问于2017-06-29
得票数 2
1
回答
Scrapyd:没有活动项目-如何用剪贴排蜘蛛
、
curl
--insecure http://localhost:6800/schedule.json -d project=bid -d spider=test {"node_name": "spider1", "status": "error", "message": "
Scrapy
2.1.0 - no active project
浏览 6
提问于2020-05-04
得票数 1
回答已采纳
1
回答
抓取蜘蛛不会释放项目内存
、
、
、
我正在使用
scrapy
从不同
的
来源提取一些数据,它工作得非常好,但现在我已经编写了一个爬虫来从一个大
的
XML文件(大约100MB => 40000项)中提取数据。 我使用
的
是
scrapy
。问题是
scrapy
使用了很多内存(1 1GB或更多),我不知道为什么它不释放我
的
项目使用
的
内存。当我使用
scrapy
的
trackrefs工具(通过telnet连接到我
的
爬行器)时,我得到以下
输出</
浏览 0
提问于2012-04-05
得票数 0
1
回答
虚拟公告动态抓取中
的
几个问题
、
、
、
、
免责声明:为我
的
愚蠢找借口,但我不是一个网络程序员: 我正在尝试用python
scrapy
编写一个爬虫。当我看着这块板时,我遇到了一些
奇怪
的
行为。当我使用scrappy或
curl
检索文档时,类被设置为forumbit_nopost old L1。在使用
curl
时,我更改了用户代理以匹配firefox
的
用户代理,
但
这并没有什么不同,所以我怀疑这与某些javascript
的
执行有关。我试过在火狐中禁用javascript,但是火狐仍然有
浏览 3
提问于2012-05-02
得票数 1
1
回答
在远程计算机上部署
scrapy
、
、
你好,我正在使用
scrapy
,我已经成功地用scrapyd来部署它了--这个工作在我
的
本地主机上非常完美,但是当它从另一台计算机上运行时,它就无法工作了。此命令运行良好:
curl
http://localhost:6800/schedule.json -d project=webplode -d spider=pingwebsite -d file=./testfiles/testfiles.xlsx
curl
http:
浏览 0
提问于2019-07-09
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
源代码编译curl,让其支持nss
快速上手——我用scrapy写爬虫(一)
一文解剖centos,curl,nss更新根证书的细节
scrapy官方文档提供的常见使用问题
Scylla一款高质量的免费代理 IP 池工具
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券