腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何停止
云
主机上的
爬虫
?
云服务器
我在
云
主机上
运行
了一个scrapy
爬虫
,这个
爬虫
可以一直
运行
,假如我没有停止
爬虫
就和主机断开了连接,是不是除了关机就没有办法停止
爬虫
了?
浏览 346
提问于2018-01-27
1
回答
如何将scrapyd部署到网络
python
、
windows
、
scrapy
、
scrapyd
我目前有一个scrapyd实例,并在我的机器
上
本地
运行
。此scrapyd实例需要在我的雇主网络
上
的其他PC
上
可用。我读过关于刮刮
云
()和其他基于
云
的服务的文章。然而,我更愿意在我们的网络上托管scrapyd,因为我构建的
爬虫
从我们
服务器
上
存储的csv文件中提取数据。 我搜索了scrapyd文档(),了解了如何安装和
运行
scrapyd。我也喜欢将scrapy项目上传到scrapyd并
运行
特定的爬行器。
浏览 13
提问于2017-02-03
得票数 0
回答已采纳
1
回答
定期
运行
python程序作为防火墙中的后台服务。
python
、
reactjs
、
firebase
我已经有了负责解析数据的python
爬虫
,但是我不知道如何(在后台)在firebase中执行
服务器
的这个python
爬虫
(或者根本不可能)?下面是我的系统的示例用法 用户可以从数据库中看到网站变更的摘要。我想到的一个选择是在本地机器
上
运行
爬虫
,并使用REST将解析的数据更新到firebase数据库。然而,这似乎是一种非常低效/天真的方法,因为它有点失
浏览 0
提问于2018-01-25
得票数 3
1
回答
为什么我的两个
云
服务器
在dht crawler
上
的行为不同?
java
、
linux
、
cloud
、
bittorrent
、
dht
我在Bittorrent Protocol的基础
上
用java写了一个分布式哈希表torrents
爬虫
。它在1c2g1m的
云
服务器
A上工作得很好,我从那里得到了一些torrents。然后我买了另一个
云
服务器
B,叫做Lighthouse。B为1c2g5m,限制为1000g。但是我的
爬虫
在B上不起作用,我无法获得任何响应,例如find_node响应。我还使用这两台
服务器
互相发送和接收udp数据包。也没问题。另一件奇怪的事情是,我在B
上
收到了
浏览 42
提问于2021-03-22
得票数 1
0
回答
远程
服务器
无法访问本机redis?
云服务器
、
python
、
云数据库 Redis
、
爬虫
将
爬虫
部署到腾讯
云
服务器
后,
云
服务器
一直无法访问本机的redis。本机的redis已经开启远程访问。 360截图-8277578.jpg
浏览 283
提问于2019-05-22
1
回答
403在Heroku
上
使用python请求抓取网站时出现禁止错误
python
、
heroku
、
python-requests
、
web-crawler
、
http-status-code-403
我编写了一个
爬虫
脚本,将post请求发送到"sci-hub.do“,并将其设置为在Heroku
上
运行
。但当它尝试发送post或get请求时,我得到的大多是403禁止消息。奇怪的是,只有当这个脚本在Heroku
云
上
运行
时才会发生这种情况,当我在我的PC
上
运行
它时,一切都很好,我得到了200状态代码。 我尝试过使用会话,但它不起作用。为什么只有在Heroku
上
运行
脚本时才会发生这种情况。 我非常确定and<em
浏览 13
提问于2021-01-28
得票数 0
2
回答
Import.io某些爬网程序没有本地爬网按钮
import.io
我使用import.io创建了一些
爬虫
,但是对于其中一些
爬虫
来说,本地
运行
的选项似乎没有显示出来。有谁知道为什么他们没有从本地
运行
按钮,或者我怎么才能把
爬虫
放进去?
浏览 2
提问于2015-11-29
得票数 0
1
回答
如何以编程方式更改Azure Cloud服务或VM的IP地址?
azure
、
proxy
、
ip-address
、
vpn
他们不控制自己的
服务器
,所以他们希望我经常改变我的
爬虫
的IP地址(例如每分钟)。
爬虫
目前正在以Azure服务的形式
运行
。我可以用VPN连接..。但我不确定是否可以通过编程方式从
云
服务/VM中拨号VPN?我使用的是C#/.NET。 终于来了。我试图做一个VIP交换,这实际
上
给了我一个新的IP在几
浏览 0
提问于2013-08-18
得票数 2
回答已采纳
1
回答
托管
爬虫
的最佳解决方案?
performance
、
webserver
、
hosting
、
web-crawler
我有一个
爬虫
,爬行几个不同的领域为新的帖子/内容。总内容数为十万页,每天都有很多新的内容添加。因此,为了能够通过所有这些内容,我需要我的
爬虫
爬行24/7。目前,我将
爬虫
脚本托管在与
爬虫
添加内容的站点相同的
服务器
上
,而且我只能在夜间
运行
cron作业来
运行
脚本,因为当我这样做时,网站基本
上
停止工作,因为脚本的加载。换句话说,一个非常糟糕的解决方案。所以基本
上
,我想知道对于这种解决方案,我的最佳选择是什
浏览 3
提问于2014-03-06
得票数 10
回答已采纳
1
回答
CPU优化
服务器
还是内存优化
服务器
?
vps
、
hardware
我有一个用Go写的
爬虫
,我想从我的电脑移到
云
服务器
上
。因此,我正在寻找一个
云
服务,我看到大多数液滴,实例等.有内存和cpu优化的解决方案。
浏览 0
提问于2022-09-04
得票数 0
1
回答
403发出get请求时的响应
python
、
django
、
amazon-web-services
在aws EC2
服务器
中使用python3向此网站()发出get请求时,我收到了403响应。但我在本地系统中使用相同的代码获得了成功响应。import requests<Response [403]> 在我的本地系统中
浏览 3
提问于2019-08-30
得票数 0
2
回答
关于腾讯
云
服务器
乱码的问题?
云服务器
、
java
腾讯
云
Centos7.1 64位系统。我在本地win8环境下用java写了个小
爬虫
程序,没什么问题,但将程序部到
服务器
上
就发生了乱码 ,我的编码设置就是网页源代码的编码。求帮助。。
浏览 791
提问于2016-03-17
1
回答
建议:在线
运行
Scraping、SQL和web应用程序。
python
、
sql
、
scrapy
、
cloud
我需要MySQL
云
吗? 我需要像"python“这样的东西来在线
运行
脚本并告诉scrapyd
运行
吗?
浏览 2
提问于2019-11-16
得票数 0
1
回答
如何在Heroku
云
上部署Scrapy spider
python
、
python-2.7
、
heroku
、
scrapy
我在scrapy中开发了几个
爬虫
&我想在Heroku
云
上
测试它们。有没有人知道如何在Heroku
云
上部署Scrapy spider?
浏览 1
提问于2012-10-08
得票数 11
回答已采纳
1
回答
在
服务器
之间共享列表的适当方式
web-crawler
、
distributed-computing
我有许多网络
爬虫
运行
在不同的
服务器
上
。我可以通过让每个
爬虫
检查SQL
服务器
中的finderprint来做到这一点。 但是--有没有更合适的方法呢?我在ubuntu
上
运行
。
浏览 2
提问于2014-06-03
得票数 0
1
回答
是什么阻碍了我的PHP脚本?
php
、
performance
、
apache
、
web-crawler
我们有一个PHP
爬虫
运行
在我们的web
服务器
上
。crawler
运行
时,没有cpu、内存或网络带宽峰值。一切都很正常。但是我们的网站(也是PHP),托管在同一台
服务器
上
,停止响应。基本
上
,
爬虫
会阻止任何其他php脚本
运行
。** fsockopen用于将文件下载到crawler!**
浏览 3
提问于2010-05-11
得票数 0
1
回答
你如何确保它确实与谷歌
云
酒吧/潜艇一起工作?
google-cloud-platform
、
google-cloud-pubsub
、
google-cloud-run
首先,让我们解释
爬虫
是如何工作的,以及需要解决的问题。要做到这一点,它会自动发现爬行目标,并将几条消息发布到pub/sub。其信息是:当发出相应的消息时,将触发
云
运行
函数,并爬行与给定的json对应的数据。此外,对于分布式
爬虫
的稳定实现,我是否可以参考pub
浏览 3
提问于2022-03-23
得票数 0
1
回答
各位用腾讯
云
上海站的是不是在百度站长里出这个错误了:?
云服务器
服务器
错误:
爬虫
发起抓取,httpcode返回码是5XX ====我的好几个站都这样了,以前百度能正常抓取的,但是最近突然不行了,是什么问题啊?大家的腾讯
云
服务器
有这个问题吗?
浏览 176
提问于2016-04-26
1
回答
从单独的python脚本
运行
爬行器
python
、
scrapy
我想知道从另一个python脚本
运行
爬虫
的最好方法是什么。我的scrapy项目由4个不同的
爬虫
组成,它们都创建了帮助其他蜘蛛工作的文件,其中一些必须读取一些文件才能工作。这部分已经完成了,但是是单独的(独立于控制台
运行
爬行器)。 例如,我如何才能做这样的事情?productToSearchIsBlue): #Make another spider crawl 我的最终计划是将完整的程序上传到
云
上
,并让它自动<
浏览 8
提问于2019-02-05
得票数 0
回答已采纳
1
回答
如何编写java程序以在远程计算机中启动程序?
java
、
sockets
、
networking
、
cmd
我正在同一网络
上
的3台Windows机器
上
运行
三个web
爬虫
(Java程序)实例。 我想编写一个主java程序来监视所有的3个web
爬虫
程序,如果有任何程序被终止,就会重新启动那个特定的程序。。我能够将客户端机器
上
的java程序绑定到套接字
上
,并从
服务器
监视套接字,但如果程序终止,我不知道如何重新启动程序。我一点也不知道,我应该如何做到这一点。如有任何指导,将不胜感激。
浏览 2
提问于2015-05-28
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
埃及云服务器如何保障稳定运行
如何在远程服务器上运行Jupyter Notebooks?
Python项目在CentOS服务器上的部署运行
选择云服务器,让企业轻松上云
在云服务器上搭建FTP
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券