腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何通过
python
激活别名?
python
、
bash
、
flask
、
scrapy
我在redhat服务器上安装了
python
2(作为默认环境)和
python
3,并为它们设置了不同的别名。我如何使用
python
脚本激活它,因为我需要在scrapy上运行
python
3
蜘蛛
?subprocess.Popen('myconda;scrapy crawl company_pro;'
浏览 1
提问于2018-03-10
得票数 1
1
回答
使用Scrapy,获取"Error: ImportError: No模块名为testspiders.spiders.followall“
python
、
node.js
、
scrapy
实际上,我是通过node.js运行这个
python
脚本的,它有一个名为的模块,它只允许您使用以下简单代码运行
python
脚本:crawler.configure()crawler.start()reactor.run() 我的目录结构仅通过添加
python
目录和文件以及使用
python
的几行代码从中
浏览 2
提问于2014-10-22
得票数 3
回答已采纳
1
回答
是否有可能根据用户提供的CrawlSpider生成一个函数?
python
、
scrapy
、
web-crawler
通常,当我们创建一个
蜘蛛
时,我们会物理地给出或指定一个特定的url。是否有可能从用户那里获取一个url,并基于该url创建一个爬行器?
浏览 2
提问于2013-12-05
得票数 0
回答已采纳
1
回答
python
& scrapy顺序冲突
python
、
bash
、
scrapy
、
conflict
设置PATH:/usr/local/binrm liverpool_rooms.csv &&
pyt
浏览 3
提问于2017-04-25
得票数 0
1
回答
web爬虫如何构建URL目录以抓取所需内容
web
、
web-scraping
、
web-crawler
、
search-engine
有没有用
python
编写的开源web爬虫? 哪里是学习更多关于网络爬虫的最好的地方?
浏览 2
提问于2018-10-11
得票数 1
1
回答
用Anaconda运行抓取
蜘蛛
python-2.7
、
scrapy
、
anaconda
、
scrapy-spider
你好,我正在努力完成在以下网站上找到的教程: 文件"//anaconda/lib/
python
2.7/site-packages/scrapy/spiderloader.py",第43行,在load KeyError(“
蜘蛛
未找到:{}".format(spider_name)) KeyEr
浏览 5
提问于2016-10-06
得票数 2
回答已采纳
6
回答
如何给抓取URL抓取抓取?
scrapy
、
web-crawler
在中,可以给出
蜘蛛
的名称或URL,但是当我给出url时它会抛出一个错误: 文件"/usr/local/lib/
python
2.7/dist-packages/Scrapy-0.14.1-py2.7.egg/scrapy/spidermanager.p
浏览 3
提问于2012-03-13
得票数 35
回答已采纳
1
回答
调度有项目和管道的Scrapy
蜘蛛
python
有人知道如何使用crontab来调度带有项目和管道的刮伤
蜘蛛
吗?我试过了,但是cron作业没有运行。我认为问题在于,我的
蜘蛛
使用刮擦物品容器和管道。我使用CrawlerProcess作为
python
文件运行我的
蜘蛛
。
浏览 6
提问于2022-10-04
得票数 0
1
回答
不运行ModuleNotFoundError:没有名为“scraper.settings”的模块
python
、
scrapy
kalpesh/venv/bin/scrapy", line 8, in <module> File "/home/kalpesh/venv/lib/
python
3.6cmdline.py", line 113, in execute File "/home/kalpesh/venv
浏览 2
提问于2020-04-18
得票数 0
回答已采纳
1
回答
Scrapy总是从命令提示符运行相同的命令
scrapy
、
scrapy-spider
我试图在Windows10上学习BashOnUbunty上的Scrapy,我使用gen
蜘蛛
命令创建了一个
蜘蛛
(yelprest),然后通过创建
蜘蛛
文件(遵循官方教程)直接创建了另一个
蜘蛛
(quotes_spider第一个
蜘蛛
还没有测试,但是我试着用第二个
蜘蛛
来完成教程,当我尝试运行时,我得到了一个指向第一个
蜘蛛
的错误。此外,当我尝试运行任何其他刮取命令(如version )时,我会得到与上面相同的错误。/BashEnv/bin/scrapy
浏览 2
提问于2017-10-30
得票数 0
回答已采纳
1
回答
运行时更新刮伤
蜘蛛
python
、
web-scraping
、
scrapy
我用的是
python
刮伤包。是否有一种方法可以在
蜘蛛
运行时更新刮伤
蜘蛛
设置?我尝试了telnet控制台并通过以下方法更新了设置:'AUTOTHROTTLE_ENABLED‘是真的,当我启动
蜘蛛
然而,在上面的命令之后,
蜘蛛
的行为并没有改变。我错过了什么吗?谢谢!
浏览 1
提问于2014-12-23
得票数 2
回答已采纳
2
回答
Python
->使用刮伤
蜘蛛
作为函数
python
、
web-scraping
、
scrapy
所以我在spiders.py中有下面的抓取
蜘蛛
name = "clips" yield { } 但关键的一点是,我希望将这个
蜘蛛
作为函数调用到另一个文件中
浏览 11
提问于2022-01-27
得票数 0
回答已采纳
1
回答
Scrapy如何多次编写CSV文件
python
、
csv
、
scrapy
我用抓取和
python
2.7.9,我的
蜘蛛
可以正常地爬行数据。我该怎么做?我只能用“
蜘蛛
”来做吗?或者是在“管道”里?我的代码链接:
浏览 3
提问于2015-03-13
得票数 0
回答已采纳
1
回答
我如何在django中集成scrapy并在django视图中获得
蜘蛛
结果?
django
、
web-scraping
、
scrapy
、
scrapy-pipeline
我想在django视图中使用scrapy
蜘蛛
,在django视图中爬行该
蜘蛛
,并将刮过的数据存储在
python
列表或字典中。有什么简单的方法吗?
浏览 6
提问于2022-05-10
得票数 0
2
回答
从
Python
运行的刮伤
python
、
web-scraping
、
debian
、
scrapy
我试图从
Python
中运行Scrapy。(spider)log.start()我的问题是,我对如何调整代码以运行自己的
蜘蛛
感到困惑我已经将我的
蜘蛛
项目命名为"spider_a“,它指定要在
蜘蛛
本身中爬行的域。我要问的是,如果我使用以下代码运行我的
蜘蛛
:如何调整上面的示例
python
代码以进行同样的操作?
浏览 8
提问于2013-08-07
得票数 3
回答已采纳
1
回答
快速检查刮伤行为/ bug的最简单方法是什么?
python
、
scrapy
我有时尝试,但通常不测试我的想法,因为我不知道如何快速做到这一点,而不设置一个完整的Scrapy项目和解析一个真正的网页。
浏览 0
提问于2014-12-04
得票数 3
回答已采纳
1
回答
Scrapy:从
python
脚本中运行一个
蜘蛛
,并等待其执行结束。
python
、
django
、
scrapy
、
scrapy-spider
settings.py ├── crawl_products.pycrawl_products.py包含
蜘蛛
为了启动我正在使用的
蜘蛛
:现在,我希望从另一个
python
脚本启动
蜘蛛
,并等待它的执行结束。如果它可以帮助:我想要运行
蜘蛛
的另一个脚本是django视图
浏览 4
提问于2017-05-11
得票数 2
1
回答
如何在windows 10命令提示符中使用Spyder(anaconda3)的路径
pip
、
path
、
windows-10
、
spyder
、
command-prompt
我使用Spyder(anaconda3)来完成我的大部分
python
工作,我可以直接从
蜘蛛
控制台使用pip安装,但不能从windows 10命令提示符使用pip安装。是否有一种方法可以从
蜘蛛
/anaconda程序直接使用命令提示符进行pip安装?这是否是严格必要的,甚至是有用的,
蜘蛛
控制台能够处理所有所需的东西(甚至非
python
注入),而不需要使用windows comand提示符吗?例如,如果我要运行在
蜘蛛
控制台上,这是一个问
浏览 2
提问于2021-10-17
得票数 0
回答已采纳
3
回答
循环中从脚本中运行多个
蜘蛛
python
、
web-scraping
、
scrapy
我有100多个
蜘蛛
,我想一次运行5个
蜘蛛
使用脚本。为此,我在数据库中创建了一个表,以了解
蜘蛛
的状态,即它是否已完成运行、运行或等待运行。File "test.py", line 24, in <module>File "/home/g/projects/venv/lib/
python
3.4in start
浏览 1
提问于2018-01-31
得票数 1
回答已采纳
2
回答
使用crontab时,管道功能在Scrapy中无法发挥作用
scrapy
、
crontab
ITEM_PIPELINES = {} 33 9,12,18 * * *
python
浏览 5
提问于2014-09-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
搜狗蜘蛛池是什么意思?快速搭建搜狗蜘蛛池技巧
如何吸引百度蜘蛛来抓取页面,蜘蛛抓取页面的因素
PS4最好的蜘蛛侠游戏:漫威蜘蛛侠
提升蜘蛛抓取效率缩短排名
滚动的蜘蛛机器人
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券