我正在写一个抓取许多urls作为输入的爬虫，并将它们分类为类别(作为项目返回)。这些URL通过我的爬虫提供给爬虫start_requests()方法。我怎么才能绕过这一步呢？ 我曾考虑过在自定义中间件中捕获这些请求，这将使它们变成虚假的Response对象，然后我可以将它们转换为Item对象，但任何更简洁的解决方案都是受欢迎的。
浏览 105提问于2016-02-10得票数 5
回答已采纳
4回答
我正在尝试运行一个S3数据目录爬虫，而我遇到的问题是Kinesis格式本身并不是有效的JSON，这让我感到困惑。相反，它是一堆JSON文档，它们之间有一个断行符。爬虫可以自动识别和解析JSON文件，但它不能解析这一点。我想写一个lambda函数来“修复”Firehose文件，因为它是在桶上创建的，但是对于两个应该整齐地结合在一起的部分来说，它听起来是一个廉价的解决方案。另一种选择是完全绕过数据目录，在Glue脚本本身中执行必要的转换，但我不知道如何开始。
我有遗漏什么吗？是否有一种更简单的方法来解析Firehouse输出文
浏览 0提问于2018-09-24得票数 5
回答已采纳
我正在阅读关于网络蜘蛛的攻击和防御策略。假设我在我的网站上有敏感的信息，这些信息应该受到第三方网络蜘蛛的保护。Me:我将敏感数据设置为只对注册用户帐户可见的。游客帐户看不见他们，因此不能爬行。用例2：攻击者:注册(或购买)多个帐户，使用多个帐户以分布式和自动的方式爬行，因此单个帐户看起来不那么可疑。在这两个用例中，攻击者的方法实用吗？
防止这两次攻击的重要秘诀是什么？
浏览 0提问于2019-08-02得票数 3
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupal CMS。如果这
浏览 0提问于2013-07-27得票数 1
1回答
我在.net上为一家酒精公司创建了一个网络应用程序。为了实现这一功能，我只需将所有通信量重定向到一个验证页面，在该页面中，他们可以设置一个新的会话，表示他们已经(在这次访问中)同意了这些条款。一旦设置了会话，站点就可以完全访问。
浏览 2提问于2014-08-02得票数 0
回答已采纳
1回答
所以，经过4周的试验后，我来到这里，所有的问题都归结于我这个爬虫似乎无法阅读网页的内容，即使在所有的喧闹之后。
最初的问题是，所有的信息没有出现在一个页面上，所以使用按钮导航网站本身的内容.爬虫无法读取页面的原因似乎是robot.txt文件(单个页面的爬虫等待时间为3600页，文章大约有10页，这是可以忍受的，但如果它说100+会发生什么情况)，我不知道如何绕过它或绕过它。
浏览 5提问于2020-08-31得票数 0
回答已采纳
1回答
我想用JS写我自己的网络爬虫。我正在考虑使用node.js解决方案，如
目标是每10分钟进行一次“爬行”，所以我希望我的爬虫每10分钟从网站上获取数据。
浏览 3提问于2015-05-23得票数 5
回答已采纳
我正在为一个使用next的学校项目构建一个简单的站点，并且我成功地使用了现在使用的next.js应用程序，但是没有应用任何样式。一切都很好，在本地主机上工作(看起来)很好，但不在网上()。我查看了文档，没有发现任何东西，我想知道是否有人有使用now和next.js的经验。我的now.json文件：“版本”：2{ "src": "next.config.js", "use": "@now/next" }}`
链接到已部
浏览 1提问于2018-11-15得票数 3
回答已采纳
使用Knockout.js，是否有一种方法可以让元素的原始内容显示可观察到的绑定是否未定义？ko.applyBindings(new ViewModel());我知道有一些使用visible、hidden或if的解决方案，但我发现这些方法太麻烦了；我不希望相同的元素写两次，每次写一次。沿着这条路走，如果JS被禁用，那么什么都不会出现。爬虫也是如此:他们只会看到一个空的<p>标记。
总之，我想说的是“如果存在此消息，请显示它，否则不要使用元素和它的文本
浏览 4提问于2014-11-20得票数 2
回答已采纳
我正在用scrapy写一个爬虫，但是，我遇到了一些用js渲染的网站，因此urllib2.open_url不能工作。有没有什么方法可以用webbrowser来做这件事，或者有没有其他没有webbrowser的解决方案来处理js站点？
浏览 1提问于2013-01-11得票数 2
根据我的测试，Facebook的爬虫不会像浏览器那样呈现客户端模板。
我希望不惜一切代价避免for服务器和为Open Graph对象构建HTML文件。
浏览 2提问于2013-05-10得票数 7
我是一个相对新手的程序员，对PHP有很好的理解，但更多的是阅读，理解和复制我需要的部分，而不是从头开始开发。我已经查看了cURL，但似乎没有提供我正在寻找的东西，除非我遗漏了什么？
浏览 5提问于2013-02-21得票数 0
我在JMeter中有一个爬虫测试(爬虫)的问题，我在java中也有本机代码，它不能工作，因为我需要在POST中发送一个名为javax.faces.ViewState的参数
我只需要绕过这个参数，然后我将我的代码留在Java中，根据您的意见，爬虫(爬虫)会更可行。
浏览 2提问于2017-04-06得票数 0
1回答
我正在写一个爬虫。一旦爬虫登录到一个网站，我想使爬虫“停留-始终登录”。我该怎么做呢？客户端(如浏览器、爬虫等)使服务器遵守此规则吗？当服务器在一天内允许有限的登录时，可能会出现这种情况。
浏览 0提问于2009-11-26得票数 0
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
创建共享数据连接和存储登录/密码等非常方便，但我不想使用胶水目录或爬虫。是否有可能只使用数据连接来获取胶水作业的连接信息/凭据，然后使用spark方法，绕过glue目录和动态框架等等？
浏览 9提问于2020-10-06得票数 1
回答已采纳
我正在用webkit写一个爬虫，webkit会缓存东西吗？我需要使用squid作为我的基于webkit的爬虫的代理吗？
浏览 0提问于2012-04-20得票数 1
回答已采纳
1回答
我想写一个爬虫来做一些基础设施(路由器，WAPS，系统等)的清单。所以，我在服务器上安装了一个应用程序，以及如何部署它。爬虫是怎么开始的？爬虫是如何返回数据的？
浏览 5提问于2008-12-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
