1回答
我有一个“无所不包”的服务器，它是were服务器，mysql，爬虫服务器。由于使用监视工具的两三周时间，我发现当我的爬虫运行时，我的平均负载总是超过5(一个4核心服务器，可以一直使用到4.00作为负载)。所以，我有另一台服务器，我想把我的爬虫移到那里。我的问题是。一旦我在我的爬虫服务器中爬行数据，我必须插入我的数据库。我不想打开远程连接并将其插入数据库中，因为我更喜欢使用Rails
浏览 2提问于2011-05-01得票数 0
我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？下面是我的系统的示例用法
用户可以从数据库中看到网站变更的摘要。我想到的一个选择是在本地机器上运行爬虫，并使用REST将解析的数据更新到firebase数据库。然而，这似乎是一种非常低效/天真的
浏览 0提问于2018-01-25得票数 3
在前面有负载均衡器的多台服务器上运行DSpace会有什么问题吗？我想将连接从收割机和爬虫转移到辅助服务器，以减少主服务器上的负载，而辅助服务器具有数据库的只读副本作为后端。否则，实现如何处理来自收割机和网络爬虫/机器人的通信，而不会对DSpace的用户体验和性能产生负面影响？
浏览 3提问于2022-10-07得票数 0
我有一个用例，在这个用例中，我需要创建一个AWS Glue crawler来抓取存储在S3中的一些数据，启动爬虫，然后在完成抓取数据后删除爬虫。我遇到的难题是，爬虫可能需要很长时间才能完成，有时需要20-30分钟来完成对实际数据的爬行，然后才能将其删除。最初我打算用AWSGlueAsyncClient来解决这个问题，这样就不会阻塞调用线程20-30分钟，我只需要写一个回调，这样当爬虫完成时，它就会立即被删除。这样做的问题是，如果服务器在爬虫完成所需的20-30分钟时间内关闭或中断，它将不
浏览 27提问于2021-05-26得票数 0
回答已采纳
2回答
我必须在具有多个使用scrapy的爬虫的服务器中实现一个代理池。 假设我已经有一个数据库，其中有多个代理一直在更新，我该如何实现代理池。我不想直接在代码中添加代理，主要是因为很多代理死得很快，有些爬虫需要很长时间才能完成。 有没有一种方法可以使用中间件或其他东西来实现这一点，而不需要更改我获得的每个爬虫？ 谢谢。
浏览 9提问于2019-03-19得票数 0
2回答
如何在WCF中运行程序？
、、、、
我是世界自然基金会的新手，我正在设计一个项目，在其中我想运行一个爬虫程序(在c#中编码)，它爬行一些网站，它将抓取的数据存储在表的数据库(sql服务器数据库)。我希望爬虫在30分钟后重复运行，并更新数据库。是否可以使用WCF来实现此目的？
浏览 0提问于2012-01-14得票数 0
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
我在resque队列中运行爬虫程序。它是一个爬虫程序，将信息提取到数据库中...我想阻止它..。然后，我使用以下命令在服务器中启动控制台：=> "09ec127d-bb90-4629-a6f2-bb2610885ab5:09ec127d-bb90-4629-a6f2-bb2610885ab5:62:*")尽管在/resque page...it中显示no worker is runnin
浏览 0提问于2013-04-12得票数 0
我正在构建一个收集信息并将其存储在JSON文件中的网络爬虫，以及一个读取文件并将文件信息存储在SQLite数据库中的函数。此信息将在我的网站上呈现并可见。目前，我必须运行爬虫和功能，将数据保存在数据库中，只需单击一个按钮，但这是非常无效的。最好是自动更新数据库信息，大约每6小时更新一次(当然，只有在服务器正在运行的情况下)。
浏览 25提问于2019-08-10得票数 0
回答已采纳
1回答
阻止搜索引擎访问特定的数据库字段
、、、、
我想隐藏我的数据库中的一些特定字段(例如:年龄，电话号码，地址)，以便阻止搜索engines..Is，有什么方法可以做到吗？谢谢
浏览 0提问于2012-10-10得票数 2
回答已采纳
我的问题是，爬虫/蜘蛛/机器人会使用php在我的网站上显示的链接: example.com\Shoes\Running\Men，还是会使用RewriteRule的url: php作为最终会在搜索引擎中显示的链接
浏览 0提问于2013-03-15得票数 1
回答已采纳
2回答
有人遇到过一个叫格雷斯热的爬虫吗？他们在我们的网站上反复敲击同一个页面。我相信他们正在寻找广告相关的关键字，基于以前的内容广告宣传。奇怪的是，我们从来没有在他们如此感兴趣的页面上进行过这样的竞选活动。User-agent: grapeshot对如何阻止这种讨厌的爬虫有什么想法吗？我开始认为最好的方法是在IIS中设置IP规则？
浏览 0提问于2013-10-21得票数 5
回答已采纳
我正在阅读angular的服务器端渲染文档，因为它们提到服务器端渲染是帮助爬虫。我知道在服务器端渲染爬虫可以获得整个dom，但爬虫也可以与组件交互，那么它如何帮助爬虫呢？从安全的角度来看，服务器端渲染和客户端渲染哪个更好？我也为react读到了同样的东西。
浏览 18提问于2019-09-15得票数 0
6回答
我正在为我的一门大学课程做毕业设计，我需要找到一些地方来运行我用C#写的几个爬虫。没有虚拟主机的经验，我有点迷茫。这是任何网站都允许的吗？我是否需要一个特殊的主机来为服务器提供更多的访问权限？爬虫是一个简单的应用程序，它完成自己的工作，然后定期将信息写入远程数据库。
浏览 1提问于2009-08-03得票数 8
我正在尝试编写一个网络爬虫程序，但现在我想知道:存储所有urls的最佳方法是什么，这样爬虫就可以一起工作，但不会干扰。
浏览 5提问于2011-12-28得票数 0
回答已采纳
2回答
我将爬虫设置为每天从Facebook获取所有页面的数据，以便数据始终在本地数据库中更新。你有什么建议来解决这个问题吗？非常感谢！
浏览 1提问于2012-07-03得票数 0
我使用import.io创建了一些爬虫，但是对于其中一些爬虫来说，本地运行的选项似乎没有显示出来。有谁知道为什么他们没有从本地运行按钮，或者我怎么才能把爬虫放进去？
浏览 2提问于2015-11-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
