腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Linux
服务器上使用Selenium运行Scrapy Web Crawler
、
、
、
、
我用scrapy和selenium(python)开发了一个网络
爬虫
。它可以在我的本地成功运行。我很好奇,我可以把我的整个
爬虫
项目上传到我的
linux
服务器上,然后像在本地一样运行吗?只有一个问题是在我的本地,当程序运行时,它会打开浏览器,模仿人类的动作,但在
linux
服务器上,就像你知道的,我们没有浏览器可以打开。 所以我们可以这样做吗?
浏览 1
提问于2016-02-26
得票数 0
1
回答
在ubuntu的后台运行时,
爬虫
停止。
、
我使用具有无限循环的python制作了一个简单的
爬虫
,所以它不能停止。随机延迟17 ~ 30,这个
爬虫
爬行相同的一个页面,并找到'href‘链接,定期更新,并存储到Mysql。因为我使用了
Linux
命令这个
爬虫
是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但
爬虫
突然停止了。第二天我再试一次。
浏览 1
提问于2014-05-20
得票数 0
回答已采纳
2
回答
去缓存DNS查找吗?
、
、
我正在构建一个测试
爬虫
,并且想知道Go (golang)是否缓存DNS查询。在中,我没有看到任何关于缓存的内容。这似乎是一个重要的事情添加到任何
爬虫
,以防止许多额外的DNS查询。如果没有,那么debian/ubuntu/
linux
、windows或达尔文/OSX在网络级别的缓存会受益吗?
浏览 8
提问于2016-10-26
得票数 13
回答已采纳
1
回答
python计划,根据os时间每30分钟执行一次
、
我使用PythonSchedul进度表每30分钟运行一次
爬虫
,我希望我的
爬虫
每隔30分钟运行一次,这个间隔是根据系统的时间计算的(例如mac、windows、
linux
)。
浏览 5
提问于2022-06-08
得票数 0
2
回答
ASP.NET内核中的异步任务
、
、
、
我需要运行我的
爬虫
从我的网络管理。我有两个想法要做:
爬虫
将是我的网站的一部分,我会在后台运行它。我觉得这是个更好的解决办法。应用程序用C#编写,在
Linux
上使用.NET内核。
浏览 3
提问于2016-06-11
得票数 0
1
回答
gem安装失败
、
我试图通过使用gem命令安装instagram
爬虫
:但我收到以下错误: 构建本机扩展。这需要一段时间..。错误:安装instagram
爬虫
时出错:错误:无法构建创业板本机扩展。登录到/var/lib/gems/2.5.0/extensions/x86_64-
linux
/2.5.0/nokogiri-1.10.1/gem_make.out的结果
浏览 0
提问于2019-02-05
得票数 0
1
回答
HTTP代理来处理不同的编码
、
、
、
我正在做一个网页
爬虫
,所以我解析HTML页面。我的问题是有时页面编码不是UTF8 (ISO,外来的0-9等等)而我的分析器也被磨碎了。
浏览 0
提问于2014-01-07
得票数 0
2
回答
重定向爬行器
然而,有时我会收到各种机器人和
爬虫
的访问。我如何温和地将它们重定向到其他地方而不“伤害他们的感情”? 我在想,我应该用机器人的名字建立一个数组,并根据它运行每个代理信息,如果在数组中找到,就重定向。
浏览 6
提问于2012-01-14
得票数 4
1
回答
网站数据
爬虫
,发布数据和遍历
、
、
我想编写这样一个
爬虫
。那么,哪种工具/语言最适合实现这一点呢?我已经精通java和C语言,所以任何基于它们的东西都会很有帮助。
浏览 1
提问于2013-03-27
得票数 0
1
回答
谷歌代理是个假
爬虫
吗?例如:google 66-249-81-131.google.com
、
、
我怀疑这些google
爬虫
是合法的,因为这些
爬虫
并不总是在代理后面(就像主机名所描述的那样),并将自己标识为浏览器。主机名的格式类似/类似于google,但是添加了字符串'proxy‘。我的PHP阻塞类会阻止这些
爬虫
,但是阻止这些
爬虫
是正确的吗?他们是什么,这些是来自谷歌还是它是假的?: No Agent_name : chrome Os_type :
linux
Os_name这些
浏览 6
提问于2013-04-05
得票数 7
1
回答
为什么不能在Windows上安装"node.js / Crawler“?
、
、
我有Windows XP (32位)和Windows7(64位),但是 (
爬虫
)不能安装在这两个系统上。我目前只能在
Linux
上使用它,但是如何让它在Window机器上运行呢?
浏览 1
提问于2012-05-29
得票数 0
1
回答
scrapyd deploy显示0个蜘蛛
、
project = scrapBib'Building egg of scrapBib-1346242513 'build/bdist.
linux
-x86_64' does not exist -- can't clean itproject": "
浏览 2
提问于2012-08-29
得票数 5
回答已采纳
3
回答
用于调试phantomjs脚本的GUI
我正在使用phantomjs来构建一个网络
爬虫
。我目前使用的
爬虫
是一个使用selenium的Python脚本,它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页),但是如果没有GUI,它就不能部署到
linux
服务器上。
浏览 1
提问于2013-07-31
得票数 6
1
回答
Linux
可接受负载平均值
、
我有一个
linux
专用服务器机器(8核8 8gbRAM),在这里我运行一些
爬虫
php脚本。系统上的负载最终在200左右,这听起来很大。
浏览 4
提问于2014-05-20
得票数 0
回答已采纳
2
回答
Espa ol/English-麻烦下载/ Problema descargando adobe-flashplugin_11.2.202.236
可能重复: 如何解决Flash问题?我只是不断的冻结,我的意思是电脑有大约6小时下载闪存插件。每次我尝试更新或使用dpkg获取闪存。 📷
浏览 0
提问于2012-06-09
得票数 0
1
回答
客户端操作系统上的DNS查询是否序列化?
、
、
即使您在
Linux
或windows上发出多个并行异步DNS解析请求(以编程方式),操作系统是否会序列化这些请求,并且不会将它们全部并行发送出去?想象一下一个网络
爬虫
场景,我需要每秒大量的dns查询,在一些早期的网络
爬虫
出版物中,提到dns成为瓶颈。
浏览 1
提问于2010-12-10
得票数 2
回答已采纳
1
回答
/
爬虫
:未找到
、
/
爬虫
:找不到 FROM golang:1.16-buster AS build COPY我的操作系统
linux
-server.20.04
浏览 5
提问于2021-08-18
得票数 0
1
回答
WebDriverException:消息:铬不可达
、
、
、
、
我使用,当我运行我的
爬虫
时,我得到了这个错误 (Driver info: chromedriver=2.9.248304,platform=
Linux
3.16.0-4-amd64 x86_64)我下载了chromedriver (二进制),并将其复制/粘贴到我尝试过的/usr/bin中。
浏览 3
提问于2016-07-18
得票数 1
1
回答
重定向时的道德/法律考虑
、
一个网络
爬虫
买了我们的网站两次。它忽略了我们的robots.txt,我们没有得到客户服务的回复,也没有使用电子邮件和twitter的支持。这在一定程度上是因为我们的网站是一个古老而破旧的遗留系统,但谷歌的
爬虫
和必应的
爬虫
并没有打倒我们,我们的正常业务流量也很好。对一个机器人进行大量的投资/开发是不明智的。
浏览 0
提问于2012-06-15
得票数 2
回答已采纳
1
回答
使用Qt作为纯终端应用的Web
爬虫
、
、
我在GUI环境中使用Qt创建了一个用于特定任务的简单web
爬虫
。现在,我想将它自动化(使用cron),并使用纯非GUI环境所必需的。我试图将代码移植到一个非GUI应用程序,但没有成功。(
Linux
终端)。我读过一些类似的问题,我认为这是不可能的,但我仍然有一些疑问。 根据的说法,我可以在终端上运行我的网络
爬虫
,但是我必须使用一个假服务器。
浏览 0
提问于2012-09-20
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux系统布置python爬虫时遇到的问题——PYTHONPATH
数据采集之爬虫、反爬虫、反反爬虫
小白爬虫之爬虫快跑
发爬虫和反反爬虫
爬虫系列-初入爬虫
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券