腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
0
回答
远程服务器无法访问本机redis?
、
、
、
将爬虫部署到腾讯云服务器后,云服务器一直无法访问本机的redis。本机的redis已经开启远程访问。 360截图-8277578.jpg
浏览 297
提问于2019-05-22
1
回答
如何在Heroku云上部署Scrapy spider
、
、
、
我在scrapy中开发了几个爬虫&我想在Heroku云上测试它们。有没有人知道如何在Heroku云上部署Scrapy spider?
浏览 1
提问于2012-10-08
得票数 11
回答已采纳
0
回答
如何加速海外服务器的响应?tx的CDN看了一下,1tb要100软妹币?
、
、
、
、
实验室牛马一枚,被拉来干爬虫的协同部署,还得抓取数据反馈给中台,结果被腾讯云新加坡丢包75延迟500狠狠的上了一课,开发调试都困难,有无大佬提供加速思路? 一时半会不敢找导师,最近刚找他报销服务器费用???
浏览 22
提问于2024-03-26
1
回答
定期运行python程序作为防火墙中的后台服务。
、
、
只要开始使用firebase + react就可以建立一个网站。我的网站的一个设计特点是爬行和显示从另一个网站分析的数据(例如,股票价格的变化)。我已经有了负责解析数据的python爬虫,但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)? 下面是我的系统的示例用法 用户登录和订阅网站/数据他们很感兴趣 我的爬虫将每1小时解析该网站并将数据更新到数据库。 用户可以从数据库中看到网站变更的摘要。 我想到的一个选择是在本地机器上运行爬虫,并使用REST将解析的数据更新到firebase数据库。然而,这似乎是一种非常低效/天真的方法,
浏览 0
提问于2018-01-25
得票数 3
1
回答
为什么在将我的工作爬虫部署到云平台后,它现在只得到了400个响应?
、
、
、
我使用scrapyd将我的爬虫部署到云平台。爬虫在本地计算机上工作正常。但是现在它只能得到http 400的响应。它被禁止了吗?还是硬件无法处理频繁的请求?我用的是最低规格的。 通常,在我的本地计算机上,响应是http 200状态。 以下是调试日志: 2020-05-04 04:04:31 scrapy.core.engine调试: Crawled (400) I scrape.com> (推荐人: I scrape.com&_ac=1)
浏览 0
提问于2020-05-04
得票数 0
1
回答
高级数据库爬行器调用的第一个方法
、
、
目前我使用的是sitecore 6.6和高级数据库爬虫。我的sitecore环境目前是内部部署1 cm,云上部署1张cd。ADC现在工作得很好。 我能知道哪一行sitecore调用了ADC方法吗?sitecore调用ADC的第一个方法是什么?sitecore中的哪一行配置指定了要调用的ADC方法?
浏览 2
提问于2013-10-22
得票数 0
1
回答
怎样在不使用远程桌面的情况下就能查看储存在腾讯云服务器上面的文件(不是网盘)?
、
、
、
、
在服务器上部署了爬虫,想在不使用远程桌面的情况下直接就能查看服务器硬盘上爬虫爬取到的最新数据,想问一下该如何实现?
浏览 339
提问于2020-04-16
1
回答
使用自定义资源Lambda运行Crawler
、
、
、
、
我正在尝试使用云构造来创建和调用AWS Glue爬虫。爬虫的创建部分(作为目标的发电机数据库)在lambda函数中。 我如何使用云形成来实现所有这些?例如,从s3中存在的cod创建λ函数,在创建lambda函数后,应该触发它来创建爬虫程序,然后应该调用爬虫程序来创建目标表。我希望所有这些都是云的形成。 参考链接:Is it possible to trigger a lambda on creation from CloudFormation template
浏览 21
提问于2019-09-17
得票数 0
1
回答
为什么我的两个云服务器在dht crawler上的行为不同?
、
、
、
、
我在Bittorrent Protocol的基础上用java写了一个分布式哈希表torrents爬虫。它在1c2g1m的云服务器A上工作得很好,我从那里得到了一些torrents。 然后我买了另一个云服务器B,叫做Lighthouse。B为1c2g5m,限制为1000g。但是我的爬虫在B上不起作用,我无法获得任何响应,例如find_node响应。 我使用linux nc测试了B的udp发送和接收。没有问题。我还使用这两台服务器互相发送和接收udp数据包。也没问题。 另一件奇怪的事情是,我在B上收到了一些在bep_0051中定义的sample_infohashes请求,ip是127.0.0.1
浏览 42
提问于2021-03-22
得票数 1
1
回答
爬行,爬行,获取数据
我想写一个爬虫来做一些基础设施(路由器,WAPS,系统等)的清单。 所以我理解爬虫,实现是另一回事。 所以,我在服务器上安装了一个应用程序,以及如何部署它。爬虫是怎么开始的?比如说我想盘点未知子网等等? 爬虫是如何返回数据的?
浏览 5
提问于2008-12-05
得票数 0
1
回答
各位用腾讯云上海站的是不是在百度站长里出这个错误了:?
服务器错误:爬虫发起抓取,httpcode返回码是5XX ====我的好几个站都这样了,以前百度能正常抓取的,但是最近突然不行了,是什么问题啊?大家的腾讯云服务器有这个问题吗?
浏览 193
提问于2016-04-26
3
回答
如何停止云主机上的爬虫?
我在云主机上运行了一个scrapy爬虫,这个爬虫可以一直运行,假如我没有停止爬虫就和主机断开了连接,是不是除了关机就没有办法停止爬虫了?
浏览 387
提问于2018-01-27
1
回答
CPU优化服务器还是内存优化服务器?
、
我有一个用Go写的爬虫,我想从我的电脑移到云服务器上。因此,我正在寻找一个云服务,我看到大多数液滴,实例等.有内存和cpu优化的解决方案。如果我的剧本: 大量使用Go的并发特性 每秒打几千个http电话 在for循环中进行许多简单的add/mul/sub操作,这些循环通过数组循环。 读取存储在内存中的全局变量
浏览 0
提问于2022-09-04
得票数 0
1
回答
AWS和Python线程可伸缩性
、
、
我在本地服务器上运行了一个使用库编写的服务。可以把它想象成一种网络爬虫。它使用50个线程。我想把它部署在云上,并向上扩展,这样它就可以使用更多的线程。 简单地说,我有两个:带有URL的Qinput和带有页面内容的Qoutput。线程从Qinput中挑选URL,获取网页内容并将其放到Qoutput中 问:我只需将线程数量增加到500、5000或50,000,AWS + Python就可以处理它了吗?在AWS上移植多线程服务时,我应该期待服务无缝运行,还是应该注意一些“标准”设计缺陷? 我知道,尽管它在这里不是问题,因为线程的主要任务是在爬行/抓取页面时调用解释器外部
浏览 1
提问于2013-01-09
得票数 0
回答已采纳
2
回答
如何访问?
、
、
、
在云服务器中部署了数据库,本地也部署了客户端,请问如何才能访问到云服务器中的数据库?
浏览 274
提问于2019-10-21
1
回答
用的这个代码,点击下载后出错 能帮忙看下吗?
、
、
、
python爬虫--不限平台歌曲下载(收费也可) - 云+社区 - 腾讯云 (tencent.com) image.png
浏览 170
提问于2022-05-26
2
回答
关于腾讯云服务器乱码的问题?
、
腾讯云Centos7.1 64位系统。我在本地win8环境下用java写了个小爬虫程序,没什么问题,但将程序部到服务器上就发生了乱码 ,我的编码设置就是网页源代码的编码。求帮助。。核心的代码:String encoding="UTF-8";
浏览 849
提问于2016-03-17
1
回答
请问:腾讯云堡垒机是否支持云外主机部署?
请问:腾讯云堡垒机是否支持云外主机部署?(即是否支持对存放于本单位自建传统机房中服务器进行腾讯云堡垒机的部署?)
浏览 402
提问于2021-01-19
1
回答
弹性豆秆中的服务发现(Spring Eureka)和路由(Zuul)
、
我正在尝试开发一个使用spring和spring云的spring云微服务。我想在AWS弹性豆杆中部署我的微服务应用程序。我怀疑在我的微服务中包括Spring云工具。 当我使用弹性豆杆帐户时,弹性豆柄是提供像spring那样的服务发现和路由,还是需要用我的微服务实现来实现这些? 当我探索Spring云微服务时,我发现了eureka和Zuul spring云工具。然后,我添加了eureka服务器,并将我的spring启动微服务注册为eureka服务器的客户端。还添加了用于路由的Zuul。但是,在我的微服务和部署中添加spring云时,我仍然感到困惑。 当我部署当前的微服务时,我需要
浏览 3
提问于2017-11-06
得票数 2
1
回答
云创建: Spring引导与WAR文件
、
、
我对云、CloudFoundry、Saas、PaaS、IaaS等世界都很陌生。 所以我有几个非常基本的问题。 在使用云铸造将应用程序或服务部署到云上方面,谁更适合Spring引导或war文件? 为什么? 如果我想在PaaS云上部署我的war文件,那么谁来启动它呢? 服务器在哪里? 我如何知道我的war文件部署在哪个服务器上? 对于PaaS来说,使用带有嵌入式tomcat的Spring是强制性的吗? 如果我的应用程序不使用spring引导( pom中也没有spring引用),那么我可以在云上部署我的应用程序war文件吗?多么?
浏览 3
提问于2017-04-07
得票数 3
2
回答
如何在AWS hosted Parse服务器上部署云代码
、
、
我是AWS弹性豆茎的新手。我已经使用中的deploy to AWS按钮部署了解析示例服务器。我想在main.js中更新云代码,但我不知道如何才能像在终端中使用解析部署云代码那样部署云代码。
浏览 1
提问于2016-02-27
得票数 4
2
回答
Flask: google cloud functions和google web deploy之间的区别
、
我是一个新手,想要使用google云功能部署他的flask应用程序。当我在网上搜索它时,人们告诉我要将它部署为Flask应用程序。我想问一下,这两者之间有什么区别吗?在google云上部署云实例或flask应用与云无服务器功能
浏览 0
提问于2019-11-18
得票数 0
2
回答
服务器端部署到AWS、Azure或GCP
、
、
、
、
使用Serverless框架的人是否知道,如果底层代码有能力,是否可以使用相同的无服务器部署文件部署到所有三个云提供程序? 或者是每个云提供商特有的无服务器文件? 谢谢
浏览 1
提问于2018-03-01
得票数 0
回答已采纳
1
回答
在google云上部署服务器二进制文件
、
、
、
我有一个服务器二进制程序(),我正试图在google上部署它。我可以在google云控制台上成功地运行它,并使用控制台中提供的web查看器检查它。我对google云的部署没有什么疑问,我在这里列出了它。 在控制台中运行服务器与部署服务器有什么区别吗?如果有不同之处,我如何在上部署二进制文件?
浏览 7
提问于2020-02-17
得票数 0
回答已采纳
1
回答
腾讯云产品如何选择?
、
、
、
、
我目前有一个域名,和一台自己的物理机,并且只能通过ipv6访问,但是运营商屏蔽了80端口。现在我在云服务器上部署了一套应用,通过80端口访问,现在云服务器快到期了,我想把应用迁移到自己的服务器上面。但是我就想通过域名+80端口访问机器上部署的应用,有没有类似的产品可以让我将域名映射到腾讯云的ip,通过80端口访问,然后再由腾讯云转发到我的服务器上的81端口(只需要HTTP转发就行)
浏览 157
提问于2023-08-02
1
回答
如何在Heroku上连续运行和托管Node.js脚本?
、
我目前想部署一个网站排名API,为此,我需要一个网络爬虫。事情是,我想让网络爬虫运行24/7,以便它可以不断更新网站。但是,对于Heroku这样的服务,一个小时后服务器就停止了。所以我所有的爬行过程都消失了,我不得不重新审视。我如何宿主一个总是在Heroku上活动的Node.js脚本。如果不可能,我还能做些什么呢?
浏览 0
提问于2021-01-21
得票数 1
回答已采纳
2
回答
在云铸造服务器上部署应用程序
、
、
当我使用STS(SpringSource Tool Suite)将应用程序部署到Cloud时,出现了一个问题。我的部署过程是流动的: 1: Cloud完全安装后,单击YES重新启动STS。选择窗口>显示视图>服务器 2:右键单击Servers面板,选择New > Server展开VMware文件夹,选择Cloud,并单击Next。 3:在这个步骤中,我选择VMware云Foundry,并输入在Cloud网站上签名的用户帐户和密码。 4:单击finsh建立Cloud服务器。 5:若要部署应用程序,请将其拖到目标云创建服务器。右键单击目标云创建服务器,选择“添加和删除”,此时发生
浏览 2
提问于2012-03-07
得票数 0
回答已采纳
2
回答
小程序云开发 - 云函数开发效率特别低?
Background: 小程序云开发的时候,每次更新云函数要十来秒到1分钟,有时候还能莫名其妙的更新失败,再试两次才能成功更新+部署。我看你们给的教学视频上,更新一下也要这么久。 Problem: 云函数开发效率奇低无比,每次在云函数里改变一下变量名,都需要上传部署,等大半分钟才能看到结果。 Question: 有没有本地化云函数开发的方式,可以直接在本地运行测试,最后才部署到腾讯服务器的开发方式? 或者说,云函数更新部署怎么才能快一点儿?
浏览 1610
提问于2018-11-19
1
回答
怎么在云服务器部署?才能被浏览?
没有接触过上传,第一次尝试,做好的网站已经在云服务器上了, 怎么在云服务器部署?才能被浏览?
浏览 263
提问于2019-01-25
1
回答
如何使用静态春云流url启动春云任务?
、
、
、
、
平台使用:Kubernetes。 我对Spring云流url有一个问题。我正在使用spring云流启动我的春云任务。流部署在kubernetes平台上。流包含http作为源,taskLauncerKafka作为接收器。我使用服务url启动任务。在每次部署之后,Kubernetes服务url都会发生更改,这会导致在每个流部署之后problem.The更改服务名称,这是很难管理的。我也试过启用装载机。在这种情况下,每次流滚之后,外部ip地址也会发生变化。 我正在使用skipper来管理部署。每次部署流时,流版本都会更改,这也会更改流url。 在我的例子中,我有多个实例,可以在其中启动spring任
浏览 5
提问于2021-03-09
得票数 0
回答已采纳
0
回答
关于cdn和oss的提问?
、
、
、
、
我目前有个实例需要,从腾讯云访问阿里云的服务器,阿里云的服务器目前算是一个作为api的服务器,发送数据计算请求,然后会将结果返回到腾讯云的服务器,然后本地再处理? 这段时间目前大概在15s左右完成,如果部署腾讯云的cdn/ecdn能否减少这段数据处理时间?
浏览 24
提问于2024-03-30
2
回答
在线直播支持部署私有云嘛?
我们想开发一个在线云直播的功能 支持部署私有云服务器嘛
浏览 539
提问于2017-11-08
1
回答
云基金会的健康经理?
、
我正在努力理解云铸造的架构。 对于部署在云上的每个应用程序,每个应用程序都有一个Health吗?还是只有一个运行管理器监视部署在云上的所有应用程序?你能给我举个例子吗? NFS服务器用于什么?
浏览 2
提问于2014-07-02
得票数 0
回答已采纳
1
回答
关于轻量云服务器内网连接mysql云数据库的问题?
、
、
、
、
之前先购买了轻量云服务器,后来单独购买了云数据库和cos对象存储,并没有通过已购的轻量云服务器购买轻量数据库。 实际部署时才发现内网好像不通用,虽然同是在一个地域。 这种情况轻量云服务器连接云数据库只能通过开放的外网地址连接吗?
浏览 27
提问于2024-09-08
1
回答
这有可能在App中使用SOCKS代理吗?
、
必须构建某种云托管的爬虫应用程序,并且怀疑GAE是否支持通过SOCKS代理请求?
浏览 2
提问于2013-12-11
得票数 0
回答已采纳
1
回答
带2个Nginx反向代理服务器的云服务器
、
、
、
我有一个云服务器ubuntu18.04,我有一个后端API (.NET Core)和一个前端角应用程序(这两个应用程序都部署在docker容器中)。后端API首先上传,所以我在云服务器上配置一个nginx代理。然后,当我将棱角应用程序进行对接时,所有的例子都是用nginx进行的。它是否可以在没有nginx的情况下独立地将角应用程序进行对接? 因此,现在云服务器有两个nginx反向代理。一个在服务器上,一个在角容器内@@ 我的想法 如果应该公开IP地址到外部,所有请求都将直接转发到角容器IP。,如果我不公开的角度容器的IP(安装防火墙)。一个请求必须通过2个nginx代理(因为角应用程序现在与n
浏览 3
提问于2020-06-04
得票数 1
回答已采纳
1
回答
SpringBoot如何通过轻量应用服务器连接云MySQL实例?
、
、
、
、
我有 轻量应用服务器 和 云MySQL实例,可以通过 轻量应用服务器 使用 mysql -h xxx.xxx.xxx.xxx -P 3360 -uroot -p 连接云MySQL实例,我想知道本地项目怎么通过 轻量应用服务器 走内网连接 云MySQL实例?若是部署到云服务器又该怎么配置,是不是将 外网ip 换成 内网ip 就好? 大佬们,救救孩子 txsql.PNG
浏览 174
提问于2021-12-23
0
回答
Request was rejected due to server error?
、
、
使用腾讯云服务器作为ghost服务器,腾讯云存储作为ghost图床,ghost发布文章上传图片时提示 Request was rejected due to server errorClick to select an image 相同配置,本地部署正常
浏览 129
提问于2020-08-22
2
回答
如何在部署在heroku上的解析服务器上使用云代码?
、
、
、
我想知道如何在我部署在heroku和MongoDB上的解析服务器上实现云代码(应用程序没有连接到解析)。我知道有一个命令行安装工具可以使用heroku部署云代码,但要做到这一点,我必须创建一个新的解析和heroku应用程序,而不是仅仅将其添加到我部署的解析服务器上。如何添加此函数?
浏览 5
提问于2016-03-22
得票数 1
回答已采纳
3
回答
网站绑定公网IP后访问不了?
云服务器部署网站,没有绑定IP或绑定内网IP能正常浏览,绑定公网IP后云服务器本机都访问不了,端口全开了,防火墙也关闭了。
浏览 716
提问于2017-11-21
1
回答
亚马逊云计算中的虚拟化实现
、
、
我是云计算的初学者,在亚马逊上读过一些关于云计算的文档。我有一个关于Xen和在Amazon web服务中实现虚拟化的艺术的问题。正如我们所知,云计算为部署应用程序提供了弹性和可扩展性。当我们将一个云应用程序部署到亚马逊时,我们的应用程序的用户数量已经增加,我认为亚马逊会自动生成一个新的虚拟服务器来处理用户请求。最初,云应用程序在一台虚拟服务器上运行,现在它在两台虚拟服务器上运行。 有人知道一个应用程序如何在Amazon上的两个虚拟服务器上运行吗?它如何同步数据,CPU资源的使用,...? 亚马逊有没有任何文档指出这个问题和虚拟化实现? 谢谢
浏览 3
提问于2013-01-25
得票数 0
1
回答
我们如何将Nimbella中的项目部署到任何公共云平台?
、
据我所知,Nimbella是一个无服务器的云平台,它允许开发人员在任何公共云平台上部署他们的应用程序,因为它具有云不可知性,从而避免了供应商的锁定。 "Nimbella与云无关,可以在公共云和私有云上运行,因此自然支持混合或多云策略。作为开发人员,您可以编写一次代码,然后在所有云或本地计算机上运行,因为您可以在任何地方部署Nimbella平台。“-(摘自Nimbella官方文档。) 所以我的问题是,我没有看到Nimbella中的应用程序与任何公共云服务相连接的任何领域。我们如何在任何公共云服务(AWS、Firebase)中部署Nimbella中的应用程序?
浏览 24
提问于2020-03-05
得票数 0
1
回答
Azure云服务应用程序池错误
、
我正在尝试更新azure上的云服务部署。我可以很好地部署到测试云服务。但是,当我尝试部署到我们的生产云服务的暂存槽时,从visual studio发布到azure没有错误地完成,但是在azure中,我没有在暂存槽中看到新的部署。 我已经验证了它已部署到登台插槽实例,因为我可以将Desktop远程部署到每个服务器中并查看IIS中的新代码。 我看到的唯一错误是在服务器上,其中有关于以下内容的IIS事件警告: 属于站点xxx的应用程序/具有无效的AppPoolId。 站点xxx被禁用,因为为该站点定义的根应用程序无效。 为应用程序池xxx提供服务的进程意外终止。 果然,当我浏览网站时,旧网站正在运行
浏览 0
提问于2015-08-05
得票数 0
2
回答
使用CLI在Firebase (免费)上部署角站点
、
、
、
、
如何使用CLI在Firebase云上免费部署一个角度应用程序。我刚刚开始练习Range9和Firebase云服务器来探索我自己,并想检查在Firebase上部署应用程序有多容易。
浏览 7
提问于2020-06-13
得票数 0
回答已采纳
2
回答
获取IIS工作进程崩溃转储
、
、
、
、
我在我的ASP.NET应用中做了一些不好的事情。这可能是我正在使用的任何数量的CTP库,或者我只是没有正确地处理一些东西。但是,当我将我的ASP.NET重新部署到我的Vista安装或我的服务器的IIS6安装时,我崩溃了一个IIS7工作进程。 我已经将问题缩小到我的HTTP爬虫,这是一个多线程的野兽,当被请求时,它会爬取站点以获取有用的信息。在我启动爬虫程序并重新部署应用程序之后,IIS工作进程将崩溃(弹出一条崩溃消息)并继续重新加载应用程序域,而不是正常卸载appDomain并重新加载。 当发生这种崩溃时,我在哪里可以找到崩溃转储进行分析?
浏览 0
提问于2008-09-10
得票数 9
回答已采纳
1
回答
关于第三方服务接口在腾讯云上失效?
、
同一个项目,在本地和阿里云服务器上,云片网短信服务和极光推送都能正常使用。但该项目部署到腾讯云服务器上,第三方接口失效。在短信和推送的管理后台中,都无发送记录。
浏览 202
提问于2016-05-24
1
回答
Microsoft SharePoint Search -忽略页面部分
、
我正在使用微软SharePoint搜索(MOSS)来搜索网站上的所有页面。 我的问题是,当你搜索一个出现在网站页眉、页脚、菜单或标签云部分的单词时,该单词将出现在每一页上,因此搜索服务器会为你带来该搜索项的结果列表:网站上的每一页。 理想情况下,我希望告诉搜索服务器忽略其搜索索引中的某些HTML部分。 似乎描述了我的问题,一个人说:“如果用户代理是搜索服务器,为什么不隐藏网站的那些部分。 这种方法的问题是,我隐藏的大部分部分都包含到其他页面(菜单和标签云)的链接,因此爬虫将陷入死胡同,爬行不会太远。 有人对如何解决这个问题有什么建议吗?
浏览 0
提问于2009-11-19
得票数 0
回答已采纳
1
回答
由于连接超时,无法运行mlDeploy以删除Azure上的ML服务器
、
、
我正在尝试通过gradle从中央管理云pc部署ML更改。 我可以在云pc上成功地在新的ML安装上完成一个新的部署。但是,由于连接超时,我无法部署到Azure上的ML服务器。(我尝试运行相同的gradlw -i mlDeploy超过10次。它们都会导致相同的错误。) 我注意到大多数其他事情,如内容db、模块db、模式db、应用服务器、用户、角色都已成功部署。我怀疑这可能会影响到mlLoadModules. 如果我将gradlew -i mlLoadModules运行到远程Azure服务器上。我会得到同样的时间输出错误。 如何解决这个问题?我可以更改mlgradle中的超时设置吗?
浏览 9
提问于2022-03-29
得票数 0
回答已采纳
1
回答
通过google cloud sdk部署到应用引擎时导入安装模块错误
、
、
、
我写了许多搜索和试验和错误,但没有运气。 我正在尝试在应用程序引擎中部署服务。您可能知道,在应用引擎上部署通常需要两个步骤: 1.在本地开发应用服务器上部署2.如果步骤1成功,则在云上部署 我的问题是在步骤1中加入了第三方python库,比如numpy、sklearn、gcloud等。 我正在尝试在本地devapp服务器中部署服务。当我在main.py脚本中导入numpy或任何其他第三方库时,它抛出一个错误,指出找不到模块。 我使用云sdk,有两个python发行版,默认的python2.7和带python2.7的anaconda。当我更改路径以查找anaconda发行版中的模块时,它找不到云
浏览 0
提问于2016-11-30
得票数 1
1
回答
如何防止恶意爬虫抓取部署在Heroku上的rails应用程序?
、
、
我想限制爬虫对我在Heroku上运行的rails应用程序的访问。如果我使用的是Apache或nginX,这将是一项简单的任务。由于该应用程序部署在Heroku上,因此我不确定如何在HTTP服务器级别限制访问。 我曾尝试使用robots.txt文件,但有问题的爬虫程序不支持robot.txt。 以下是我正在考虑的解决方案: 1) rails层中用于限制访问的before_filter。 2)基于机架的解决方案来限制访问 我想知道是否有更好的方法来处理这个问题。
浏览 0
提问于2011-04-21
得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy爬虫教程五 爬虫部署
JavaWeb项目部署到云服务器教程
Python Scrapy 爬虫(三):部署环境搭建
Python Scrapy 爬虫(四):部署与运行
分布式爬虫的部署之Scrapyd分布式部署
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券