腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何轻松地在远程github分支和本地分支/文件夹之间切换?
python
、
git
、
github
、
scrapy
我用
Python
2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持
Python
3,这种转换必须在1 go内完成。我只能在
Python
3
爬虫
做好
部署
准备之后才能开始使用。我不能一次
部署
一个
爬虫
。我目前有一个远程分支,它是主分支。让我们称之为遥控器-A。这就是容纳所有爬行器的分支,它们每天都会被执行。这个分支必须继续运作。现在,由于“所有操作都必须保持活动状态”,我需要一个单独的
Python
3
浏览 3
提问于2019-09-10
得票数 0
回答已采纳
1
回答
定期运行
python
程序作为防火墙中的后台服务。
python
、
reactjs
、
firebase
我已经有了负责解析数据的
python
爬虫
,但是我不知道如何(在后台)在firebase中执行服务器的这个
python
爬虫
(或者根本不可能)?下面是我的系统的示例用法 用户可以从数据库中看到网站变更的摘要。我想到的一个选择是在本地机器上运行
爬虫
,并使用REST将解析的数据更新到firebase数据库。然而,这似乎是一种非常低效/天真的方法,因为它有点失去了使用云服务(如
浏览 0
提问于2018-01-25
得票数 3
3
回答
用于调试phantomjs脚本的GUI
phantomjs
我正在使用phantomjs来构建一个网络
爬虫
。我目前使用的
爬虫
是一个使用selenium的
Python
脚本,它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页),但是如果没有GUI,它就不能
部署
到linux服务器上。因此,我正在尝试将我的
Python
脚本转换为phantomjs。 为了调试phantomjs脚本,我将页面源代码html保存到磁盘并呈现png屏幕截图,然后在Firefox中打开它以检查源页面。
浏览 1
提问于2013-07-31
得票数 6
1
回答
Scrapy
部署
已停止工作
python
、
scrapy
、
scrapyd
我正在尝试使用scrapyd
部署
scrapy项目,但它给了我错误...Building egg of eScraper-13714637506800/addversion.jsonTraceback (most recent call last): File "/usr/local/lib/
python
2.7txweb.py", line 10, in ren
浏览 1
提问于2013-06-17
得票数 1
回答已采纳
1
回答
问题: java.lang.IllegalArgumentException:与阴影元素ElementDescription对应的真实屏幕元素
android
、
google-play
我在Google Play上有一个应用程序。在我的上一次构建中,Google向我展示了这个问题: java.lang.IllegalArgumentException:真实屏幕元素对应于阴影元素ElementDescription{className=android.support.v7.widget.AppCompatTextView, resourceName=com.myappp.testapp:id/lab_separator, contentDescription=, componentType=TEXT_VIEW, inputType=NONE, isWebViewElement
浏览 0
提问于2018-08-28
得票数 13
回答已采纳
1
回答
有没有什么方法可以让我问比特币的全部节点,他们最近的同龄人的IP地址?
tcp
、
blockchain
、
p2p
、
bitcoin
我读到比特币网络拓扑是秘密的,但我能问一下他们过去有哪些连接吗?
浏览 0
提问于2019-04-26
得票数 0
1
回答
爬行,爬行,获取数据
network-scan
我想写一个
爬虫
来做一些基础设施(路由器,WAPS,系统等)的清单。所以,我在服务器上安装了一个应用程序,以及如何
部署
它。
爬虫
是怎么开始的?
爬虫
是如何返回数据的?
浏览 5
提问于2008-12-05
得票数 0
1
回答
怎样在不使用远程桌面的情况下就能查看储存在腾讯云服务器上面的文件(不是网盘)?
云服务器
、
云硬盘
、
文件存储
、
访问管理
、
云数据库 MySQL
在服务器上
部署
了
爬虫
,想在不使用远程桌面的情况下直接就能查看服务器硬盘上
爬虫
爬取到的最新数据,想问一下该如何实现?
浏览 298
提问于2020-04-16
1
回答
只爬行一次URL的刮伤蜘蛛
python
、
scrapy
、
web-crawler
、
middleware
、
scrapy-spider
我正在写一只抓取蜘蛛,它每天爬行一组URL。然而,其中一些网站是非常大的,所以我不能抓取整个网站每天,我也不想产生大量的流量,必要的这样做。我试图理解这一点,但发现中间件有点混乱。一个完整的刮板示例,无论它是否使用链接中间件,都可以在不撤销URL的情况下多次运行。 我已经在下面发布了代码来启动业务,但是我不一定需要使用这个中间件。任何能够每天爬行和提取新URL的刮痕蜘蛛都可以。显然,一种解决方案是只编写一本刮过的URL的字典,
浏览 4
提问于2016-06-10
得票数 6
回答已采纳
1
回答
如何在Heroku云上
部署
Scrapy spider
python
、
python-2.7
、
heroku
、
scrapy
我在scrapy中开发了几个
爬虫
&我想在Heroku云上测试它们。有没有人知道如何在Heroku云上
部署
Scrapy spider?
浏览 1
提问于2012-10-08
得票数 11
回答已采纳
1
回答
为网络
爬虫
存储URL边界和分发工作?
postgresql
、
amazon-web-services
、
web-crawler
、
message-queue
我想使一个具有成本效益的分布式
爬虫
(即,我可以添加额外的服务器,以更快地处理URL),重点是抓取整个网站作为一个服务。由于目标站点所有者将允许他们的网站进行爬行,
爬虫
可能不那么礼貌,例如每秒下载20页。 AWS ECS2实例是可以根据需要杀死或联机的工人。我读过几篇关于
爬虫
的文章,但大多数文章都没有明确说明工作人员是如何通信的,URL边界存储在哪里,这样就可以抵御故障。
浏览 5
提问于2015-11-08
得票数 0
回答已采纳
1
回答
文档龙中的Algolia DocSearch没有带来任何结果
algolia
、
docusaurus
我的文档站点得到了阿尔戈利亚的批准,他们的
爬虫
也能在那里索引几百个记录,所以这方面似乎是可行的。
浏览 13
提问于2022-07-02
得票数 1
回答已采纳
1
回答
弹性豆杆不运行的克隆约伯
python
、
amazon-web-services
、
cron
、
crontab
、
amazon-elastic-beanstalk
我在一个弹力豆茎应用程序上有一个抓取器,我可以像这样运行SSH: 我想帮我安排一个任务来处理这个问题。我的runcrawler.sh文件
浏览 0
提问于2015-04-13
得票数 0
1
回答
如何将与Luigi数据管道集成?
python
、
http
、
web-crawler
、
data-processing
、
luigi
我目前正在构建一个
Python
后端,该后端将
部署
到一个AWS EC2实例中,该实例具有以下体系结构: 网络
爬虫
数据-保存到S3* =\任何建议,文件,或文章将是超级感谢!
浏览 1
提问于2017-06-13
得票数 3
回答已采纳
1
回答
如何在您自己的ami中管理应用程序?
amazon-ec2
我们有一些从互联网上收集数据的
爬虫
。对于我们的应用程序来说,EC2 spot是一个非常便宜的解决方案。在我们的例子中,我们可以通过以下步骤来设置
爬虫
: 3.2删除
浏览 2
提问于2012-07-09
得票数 0
回答已采纳
1
回答
Docker服务需要影响另一个服务的两个副本
docker
、
docker-compose
、
scrapy
首先是免责声明,我大约6、7个月前才开始学习
Python
,在此之前我没有任何开发经验。我的第一个项目是一个使用Scrapy引擎的web抓取项目。在学习了Docker之后,我决定把它分解成容器。最后,我有
部署
服务,这是给我带来麻烦的地方。deploy服务等待Scrapyd服务完全启动(通过脚本中的APi调用进行验证),然后为所有我的
爬虫
(抓取数据的网络
爬虫
)构建
python
蛋文件,并通过post请求将它们发送给Scrapyd。,除了
部署
服务似乎只影响Scrapyd的一个副本。然后我就这么做
浏览 24
提问于2020-03-14
得票数 1
回答已采纳
1
回答
读取行时出现Scrapyd
部署
错误: EOFError: EOF
python
、
ubuntu
、
scrapy
、
web-crawler
、
scrapyd
我有两台pc,PC A没有错误,
爬虫
程序
部署
成功,但在PC B上,错误发生了。 我的Scrapyd服务器正在运行,但是当我试图
部署
我的
爬虫
程序时,出现了这些错误。{"status": "error", "message":Traceback (most recent call last):\\n File \"/usr/lib/
python
2.7/runpy.py/runpy.py\&
浏览 0
提问于2017-11-09
得票数 0
1
回答
如何创建包含驱动程序的
python
selenium应用程序?
python
、
selenium
我刚刚开始学习
python
和爬行。我使用selenium和漂亮的汤来解析和爬行pages.My的问题是,如果我必须制作一个应用程序,或将其
部署
在某个iis服务器上(或任何其他我不知道的方式,比如它是如何工作的),我甚至不确定它是否像我从移动应用程序方法中所说的那样工作那么,是否必须在服务器上安装chrome才能让
爬虫
运行??如何将二进制文件与应用程序一起发布?同样,我使用的是linux,因此
部署
此应用程序的服务器必须是linux ??或者我如何实现it.Can ?有人可以帮助我创建这个
爬虫
的应用程序并将其
浏览 2
提问于2019-12-11
得票数 3
1
回答
如何同时从地形创建多个胶水爬行器
amazon-web-services
、
terraform
、
aws-glue
、
terraform-provider-aws
我正在
部署
来自terraform的
爬虫
数组,我希望同时
部署
一个包含2个或更多
爬虫
的列表。我使用的是foreach,但是对于dynamodb_target,我无法找到如何将它与特定的
爬虫
相关联,也就是说,
爬虫
1具有table_name 1作为dynamodb_target an等等。
浏览 11
提问于2022-10-12
得票数 0
回答已采纳
3
回答
“属性错误: NoneType对象没有属性'module_name'”
python
、
scrapy
、
egg
、
scrapyd
我试图使用scrapy将我的
爬虫
项目
部署
到一个scrapyd实例中,但是调用这个推荐返回以下错误: from setuptools import setup, find_packages我知道
python
在访问应该是对象的属性时会抛出这样
浏览 2
提问于2013-01-31
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python Scrapy 爬虫(三):部署环境搭建
Python Scrapy 爬虫(四):部署与运行
Scrapy爬虫教程五 爬虫部署
Python爬虫入门3 爬虫必备Python知识
Python爬虫
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券