首页
学习
活动
专区
圈层
工具
发布

使用puppeteer 进行批量网页截图

每一行用\t分割后 前面是域名后面是url 域名用来md5后作为截图名 pageSize控制一次最多打开多少个页面 防止网页过多占用内存过多 配置里的'--proxy-server=socks5://127.0.0.1...可以改为调用goto后不等待,并行的打开网页,大大减少打开网页过程中花费的时间。...---- 第二版 由于第一版 虽说是一次打开多个标签页了,但是实质上还是和串行一个个打开没有区别,我在page的load事件上也没有找到能保存当前页面上下文并使其在后面可选择使用的好办法。...所以不如直接使用串行 由于截图任务要的是准确第一 速度第二 所以改为串行也未尝不可 主要改动的地方就是snp()方法 并且删掉了pageSize这个常量 async function snp(arr){...可以有效避免部分网页刚打开 load事件触发了就截图 截出的图不完整

3K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用 selenium 写的多进程全网页截图工具,发现了 PhantomJS 截图的 bug

    当然,还有今天要说的,可以使用 selenium 来作为全网页截图工具。...不过,我在使用 selenium 作为全网页截图的过程中,发现了 PhantomJS 的一个“bug”,具体的情况后面详细讲解。...2、启动工具脚本,会使用多进程批量进行网页截图,截图后的图片保存在当前目录下 pics 文件夹下面,如果这个文件夹不存在则会自动创建。...webshot(tup) 函数 这个函数就是这个工具最主要的函数,所做的事情是先读取文件,然后使用 selenium 去启动无头浏览器 PhantomJS 来进行整个网页的截图。...语句主要使用了一个读取当前网页的高度和一个下滑网页的语句。

    1.4K20

    网页自动截图 浏览器定时截图方法

    对于变化频繁的网站内容,希望通过截图的方式记录页面状态,比如每天截图保存商品库存和价格,或者分析股市涨跌态势等。需要浏览器定时打开网页,刷新页面截图保存到文件。...2、创建打开网址的步骤,添加需要截图的网址。勾选“网页发生跳转”选项,这样软件自动等待网页加载完毕才进入下一步。如果你需要截图多个网页,在此窗口中添加多个网址即可。...软件每个周期只打开一个网页截图,多个网址按从上到下的顺序依次执行。3、当页面打开后,针对响应式网页,此时截图是不完整的。...4、创建一个保存内容的步骤,勾选“保存网页截图”选项,选择保存范围为全部页面;设定图片文件名的命名方式为【CurrentDateTime】,以当前日期时间作为文件名,再选择保存文件格式为“JPEG”,最后设定文件保存路径...通过定时截图,可以了解页面内容变化过程,但不能确定变化时刻。如果需要了解页面内容变化的瞬间,还可以实时监控页面变化,设定监控条件,当满足监控条件时再自动截图。

    5.3K111
    领券