如何在不知道有多少页的情况下抓取所有页

文章/答案/技术大牛

发布

3回答

python、web-scraping

我有以下功能来收集所有的价格，但我有问题刮总页数。在不知道页面数量的情况下，我如何能够抓取所有页面？

浏览 11提问于2020-06-24得票数 0

回答已采纳

1回答

问题是在抓取下一页时重复信息，以及使用美汤和webdriver缺乏信息

python、selenium-webdriver、web-scraping、beautifulsoup、web-crawler

我正在尝试从这个抓取工作的链接。我将使用for抓取每个作业的所有链接。在获得第一页上的所有链接后，我将移动到下一页，并重复爬行作业的链接。但程序返回的结果如下所示：我的假设是，它实际上不会转到下一页，但仍然会从旧页爬行数据。在这种情

浏览 0提问于2021-02-21得票数 0

5回答

不爬行两次相同的内容

web-crawler

我正在构建一个小应用程序，它将抓取内容正在增长的站点(比如堆栈溢出)，区别是一旦创建的内容很少被修改。所以如果网站有500页，第二遍如果网站有501页，那么我只会抓取第一页和第二页。这会是处理这种情况

浏览 6提问于2009-11-08得票数 4

回答已采纳

1回答

逐页从网页中提取表格

r、function、web、web-scraping、httr

我已经写了一个从网页上抓取表格的代码。下面的代码从第一页提取表格(在url /page=0中)：login <- "john.johnson" (fakepassword)) as.dat

浏览 2提问于2020-07-02得票数 0

1回答

如何编写爬虫从instagram抓取数据？

web-scraping、web-crawler、instagram、instagram-api、scrapy-spider

出于研究目的，有没有办法抓取/监控instagram数据？那么任何人都可以有一些建议吗？或者可以给我一些相关的爬行任务的参考资料？

浏览 0提问于2016-08-29得票数 0

1回答

如何确保表格标题与表格在同一页上？

php、css、css-selectors、dompdf

我有多个表的标题在PHP中生成，并使用dompdf重命名。在生成PDF之前，我不知道表格的长度或会有多少表格。现在，在某些情况下，表格标题在一页的末尾，表格从下一页开始。我如何确保它们都在同一页上，但在所有新表上强制分页符？

浏览 0提问于2018-04-10得票数 0

1回答

Postscript仅在最后一页添加页脚

postscript

我正在使用一个生成PostScript文件的工具(abcm2ps)。它允许我添加自定义postcript代码。现在我知道如何在第一页添加页脚。center the textgrestore} def怎样才能只在最后一页添加页脚

浏览 0提问于2012-11-29得票数 0

回答已采纳

1回答

如何避免在以PDF格式显示BIRT报告时数据被剪切？

pdf、scripting、report、birt

导出PDF格式的报表后，我意识到有几行是隐藏的。正如您在图像中看到的那样：注意，第二页中的第一行不是由数据集获取的下一行，实际上应该是1月15日03:00。此外，没有分页，相反，默认的布局来自母版页，这是美国字母。也许多米尼克能帮上忙？多姆？

浏览 3提问于2015-01-29得票数 0

回答已采纳

1回答

我在Selenium通过ID或链接文本定位一组特定的选项卡链接元素时遇到了问题。下面是标签的HTML。当我的循环第一次加载页面时，"DESCRIPTION AND PRICE“选项卡处于活动状态，随后的表很容易使用BeautifulSoup (通过搜索具有特定表ID的表)进行抓取。我希望能够点击“完成”和“注释”选项卡使用链接文本方法(因为标签是不同的页面)。这将导致错误。另一个考虑是，我在html中没有看到任何提到iframe的地方。

浏览 0提问于2020-03-08得票数 1

2回答

如何制作未知页码的UIPageViewController？

ios、swift、uipageviewcontroller、uipagecontrol

我需要在UIPageViewController上显示一些媒体内容，并允许用户在媒体之间滑动(就像画廊一样)，我不知道前面有多少视频或图像，因为我必须从服务器上逐个获取它们。如何在未知页码和仅知道上一页和下一页视图控制器的情况下使用UIPageViewController？

浏览 8提问于2019-02-17得票数 0

1回答

Acumatica API获取所有附件

api、soap、acumatica

如第36页中的示例提前感谢。

浏览 1提问于2017-04-19得票数 0

1回答

如何在Xen中获取domU的机器内存分配

virtualization、xen

我知道在模式HVM中会有domU的物理到机器的映射，并且我想在特定domU的机器上获得memory address。因为我想要模拟当内存发生一点反转时，系统中会发生什么。我想知道特定domU的机器上的memory address，并颠倒这个地址区域上的随机位，然后查看这个虚拟化系统中的结果。我想知道如何才能在不更改Xen源代码的情况下获得特定domU的memory address。或任何建议来实现我的</em

浏览 33提问于2019-04-17得票数 0

2回答

刮擦站点以报告HTML中css选择器的出现情况

html、css、web-scraping、reporting

我想看看有多少我的团队的代码已经集成到一个大规模的网站。在任何一页上，它做了多少次。我环顾四周，却找不到任何工具--有没有人知

浏览 5提问于2015-11-02得票数 2

1回答

无法使用selenium单击Next按钮，因为页数未知

python、selenium、xpath、css-selectors、webdriverwait

我对硒很陌生，我试着刮：-我需要在这个页面上提到的所有细节，以及其他。另外，还有更多的页面包含相同的信息，也需要对它们进行抓取。我试图通过更改目标URL来抓取：- https://www.asklaila.com/search/Delhi-NCR/

浏览 7提问于2022-10-07得票数 1

回答已采纳

3回答

太咄咄逼人了？

web-services、web-crawler

现在，我正在测试它，我尝试了两种类型的设置：谢谢。再次尝试-每5秒2次请求- 30分钟和550链接后，我被禁止。我会每2秒提出一次请求，但我怀疑也会发生同样的情况。我想我得联系管理员-如果我能找到他。

浏览 6提问于2010-01-15得票数 4

回答已采纳

1回答

如何在WPF中用DocumentViewer预览每张多页的文档

c#、wpf、documentviewer

如何在WPF中用DocumentViewer预览带有的文档，每张多页(如2、4、6、8页等)。默认情况下，DocumentViewer只能预览每页一页的文档。但我想预览每张多页的文档，如下所示：我只是在WPF中使用DocumentViewer控件，我想查看每个工作表都有多页的文档，但是DocumentViewer没有一个属性或方法来这样做。所以我想我可以更改DocumentViewer.

浏览 16提问于2020-03-07得票数 3

回答已采纳

1回答

如何用python在scrapy上抓取2个相同域名的网页？

python、web-scraping、scrapy

大家好，我在抓取数据方面是个新手，我已经试过基本的了。但我的问题是，我有2个网页与相同的域名，我需要抓取*这是来自第一页的</e

浏览 0提问于2019-04-03得票数 0

1回答

如何从SEO的角度看待标签页？

seo、tags、page、seo-audit

如何从SEO的角度看待标签页？我们的网站上有标签页。什么是标记页面的最佳SEO实践，类似于我们对404页使用的现有建议？

浏览 0提问于2014-10-17得票数 0

回答已采纳

1回答

如何使用Apache PDFBox将页面no打印到PDF？

java、pdf、pdfbox

我有一个PDF文件，在该文件中，我必须使用Java库在PDF的每一页上打印页面no。而且Pdf有一个包含动态内容的表，我不知道我的内容需要在PDF上打印多少页，因为它包含一个包含动态数据的表。例如:在创建PDF时，文件可能有4或5页，在这种情况下，我必须在PDF页脚处的每一页上打印页数no。就像下面让我们假设内容将以PDF格式打印在4页

浏览 8提问于2022-05-31得票数 0

2回答

生产者/消费者的特殊情况

ruby、multithreading、algorithm、design-patterns

我试图同步一个特殊的生产者/消费者问题。这就是问题所在：如何在Ruby1.9.2中正确地同步这些线程？我试图在这两种情况下都使用监视器，但在某种程度上，我最终会陷入死锁。线程A.1抓取1链接(linkQ=0)输出1页(pageQ=1) 线程B抓取1页</em

浏览 2提问于2011-09-01得票数 3

点击加载更多