1回答
在这个网站https://mavin.io/category上有多个类别。然后，每个类别进一步具有更多的类别，依此类推。当一个类别到达最后一个类别时，它会显示产品列表，如页面https://mavin.io/search?q=&cat=33695所示 我想遍历所有类别并获得产品列表链接(而不是产品链接)，就像下面这样的https:/
浏览 24提问于2021-09-21得票数 0
回答已采纳
3回答
如何抓取动态表数据
、、、、
我想从中抓取表数据请看一下，给我一个方法去做。我能够为每个类别建立链接，如、等，但我不知道如何使其进一步导航到每个类别的分页表。在建立了所有的链接之后，我需要使用这些链接来提取表数据。
编辑：我在使用请求，BeautifulSoup4，
浏览 3提问于2020-05-11得票数 0
回答已采纳
在wordpress中，我需要在固定链接前加上一个自定义的分类标签，比如%writer%，然后维护标准的类别结构。例如，用于其中小说/惊险小说是标准的层次结构。所以我不需要为每个编写者重新创建类别结构。我可以将这个标签持久化，在会话变量中抓取写入器(‘get_query_var’)是没有问题的；并修改url以适合使用它来持久化写入器标签。在类别之
浏览 1提问于2012-11-07得票数 2
我想从一个类别中抓取产品，但我不希望蜘蛛沿着产品页面上找到的链接(相关产品来自同一品牌，但类型不同-例如。我想要的产品是香水，作为相关产品，它有一支口红)。类别的url是site.com/category_name/，产品的url是site.com/brand_name/product-name-here/。我应该如何定义爬网规则？
浏览 1提问于2015-01-16得票数 1
2回答
它应该开始抓取一个页面的链接，并从那里开始工作。具体地说，顶级页面包含类别列表、这些类别中的第二级页面事件以及事件中的最终第三级页面参与者。我不能预测会有多少类别，事件或参与者。我有点困惑于如何最好地设计这样一个爬虫，尤其是如何知道它何时完成爬行(它应该继续爬行，直到它发现并检索到所有相关的页面)。理想情况下，第一次抓取应该是同步的，其他一切都是异步的，以最大限度地并行解析并添加到
浏览 1提问于2009-11-24得票数 3
回答已采纳
我是PrestaShop的新手。我试图使用父类别id获得一个子类别数组，这样我可以在不同的情况下引用不同的子类别。实际上，我想在foreach循环中放置一个if语句，并检查它是否是循环的第一次迭代，然后抓取第一个子类别的链接，如果是第二个迭代，则获取第二个子类别的链接等等。有人能帮我吗？
提前感谢！为我糟糕的英语感到抱歉。
浏览 4提问于2016-01-11得票数 1
回答已采纳
我管理一个电子商务网站，稍微刷新其产品/类别收集每晚。有时产品/类别会被禁用，链接会从网站上消失，但尽管如此，它们还是会被Google爬行，显示为404。谷歌是否有可能逐级抓取网站，当其深入到链接的深度时，更新更高级别的页面，删除一些链接，然后为这些链接返回404(这些链接以前已经在更高的级别上链接)？
有可能消除这些错误吗？
浏览 0提问于2016-09-14得票数 0
回答已采纳
2回答
我的问题是关于CrawlSpider的我可以在运行时更改rules吗，比如def set_rules(cls,rules):cls.rules = rulesself.set_rules(rules)我的用例：
我正在使用scrapy抓取特定网站的某些类别A，B，C…Z。每个
浏览 0提问于2015-08-13得票数 0
1回答
我试图打开同一领域的多个网页。我需要这些链接，以刮一些数据(我有许可从网站)。我不能使用我实际上想要刮的域名，但举个例子:如果一个网站是，我只想刮掉以特定字符串结尾的网站上的所有页面:示例*
我希望有人能帮我
浏览 3提问于2016-08-12得票数 0
回答已采纳
我正在用Netsuite编辑以前设置的公司网站。如能提供有关如何将演示子选项卡链接到适当类别/页面的帮助，我将不胜感激。问题是:类别设置得很好，直到之前的设计师删除了一个类别。我已经重新创建了这个类别(名称与之前相同)，但是presentation子选项卡(主页上的侧导航)没有链接到它。子选项卡当前显示该类别不再可用。我已经确保了类别的设置与所有其他功能类别</e
浏览 0提问于2013-03-22得票数 0
1回答
有没有一种简单的方法(也许是插件？)要导出并导入到不同的WordPress安装中，博客中的所有链接包括描述和类别？我知道你可以通过/wp-链接-opml.php导出链接，但是我相信这样做会使链接描述变得松散。导入时，我希望链接放在它们的类别中--如果类别不存在，应该创建链接。如果可能的话，我更喜欢一种不侵入任何核心WordPress文件
浏览 0提问于2011-07-07得票数 0
回答已采纳
朋友但我不可能把它刮得一干二净。我尝试了以下方法：我试着刮掉所有的类别，但是它还是给了我空白的输出。soup.find_All('h3',{"class":"
浏览 0提问于2018-07-17得票数 0
回答已采纳
在我的本地机器上，我运行的是一个Wordpress网站。当我试图转到我的帖子时，它会重定向到我的主页。
我想让它显示相应的页面(帖子的页面)。在所有论坛上搜索过。一切都是徒劳的。
浏览 2提问于2012-08-03得票数 0
回答已采纳
1回答
我正在抓取电子商务网站，并抓取了多个类别，但其中一些产生的结果，但一些链接得到错误:蜘蛛错误处理…请告诉我如何排序。
浏览 0提问于2019-04-19得票数 0
3回答
我有一个像这样的永久链接/products-page/custom/test-product///do something但是上面的代码不是用work...is来抓取<
浏览 2提问于2013-01-18得票数 0
2回答
我有一个具有以下URL结构的博客站点：http://website.com/category/page1/http://website.com/category/article_title访问网站>进入类别</em
浏览 0提问于2012-07-24得票数 0
回答已采纳
1回答
在if语句下索引链接？
、、、
索引Google会有任何链接在if语句下吗？ <a"; if($user_category=="register2"){ $link="href='".$databaselink; echo $link;}"> BOOK</a>抓取可以看到并将被索引的链接的WIll？
请注意，此内容无需beein登录即可显示。是公开
浏览 0提问于2013-01-06得票数 0
我正在使用scrapy shell抓取这个站点的子类别部分中的所有链接：。="subcategories-div"]属性的div元素，所以我从那里缩小范围，直到找到链接的href。当我在Chrome中搜索这个Xpath时，这是有效的。它返回了我正在查找的链接，但是出于某种原因，它还返回了来自//*[@id="doc"]&#
浏览 1提问于2016-08-01得票数 0
我正在尝试使用google chrome扩展来抓取一个网站的表格。在该扩展的教程中，记录了如何抓取具有不同页面的网站，例如，“页面1”、“页面2”和“页面3”，其中每个页面都直接链接到主页上。然而，在的示例中，只有一个" next“按钮来访问下一个站点。如果我按照教程中的步骤为"next“页面创建一个链接，它将只考虑页面1和2。为每个页面创建"next”链接是不可行的，因为它们太多了。我
浏览 1提问于2017-01-12得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
