专栏首页python3使用pyppeteer 下载chromium 报错 或速度慢

使用pyppeteer 下载chromium 报错 或速度慢

一、概述

使用Reuqests-html的render函数,它会在用户目录(默认是~/.pyppeteer/)中下载一个chromium,然后用它来执行JS代码。

执行之后,会下载chromium 

[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.

但是速度特别慢,几个小时都不一定能好。长时间允许会导致连接失败。

二、手动下载chromium

创建一个.py 文件 粘贴以下内容

import pyppeteer.chromium_downloader
print('默认版本是:{}'.format(pyppeteer.__chromium_revision__))
print('可执行文件默认路径:{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平台下载链接为:{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

执行输出:

默认版本是:588429
可执行文件默认路径:C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe
win64平台下载链接为:https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip

注意:输出结果,可能和我的不一样,请根据实际情况来。

将上面的复制一下,使用迅雷下载,大概有130M,几分钟就下载好了。

将下载好的chrome-win32.zip解压,得到chrome-win32目录

注意:上面的路径:C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429

是不存在的,需要自己手动创建一下。其实只需要创建588429即可。

将chrome-win32目录复制到588429里面即可。

最终只要:

C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe

存在即可

最后再次执行你的爬虫程序,就不会提示下载chromium了

本文参考链接:

https://www.jianshu.com/p/1c4666b0a830

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!
本文分享自作者个人站点/博客:http://www.py3study.com/复制
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • 使用Pyppeteer抓取渲染网页

    GitHub地址是:https://miyakogi.github.io/pyppeteer

    SeanCheney
  • python接口自动化35-r.html.render() 下载无反应问题解决

    使用requests-html库渲染html页面的时候,初次使用需下载 chromium 浏览器,但是这个地址是从国外下载的,所以慢的你怀疑人生,你懂得! py...

    上海-悠悠
  • 爬虫界新神器 | 一款比Selenium更高效的利器

    提起Selenium想必大家都不陌生,作为一款知名的Web自动化测试框架,Selenium支持多款主流浏览器,提供了功能丰富的API接口,经常被我们用作爬虫工具...

    Python编程之家
  • Pyppeteer:比selenium更高效的爬虫界的新神器

    随着互联网的发展,前端技术也在不断变化,数据的加载方式也不再是单纯的服务端渲染了。现在你可以看到很多网站的数据可能都是通过接口的形式传输的,或者即使不是接口那也...

    IT大咖说
  • 爬虫神器!比selenium更高效!

    介绍Pyppeteer之前先说一下Puppeteer,Puppeteer是谷歌出品的一款基于Node.js开发的一款工具,主要是用来操纵Chrome浏览器的 A...

    小小詹同学
  • 别只用 Selenium,新神器 Pyppeteer 绕过淘宝更简单!

    如果大家对 Python 爬虫有所了解的话,想必你应该听说过 Selenium 这个库,这实际上是一个自动化测试工具,现在已经被广泛用于网络爬虫中来应对 Jav...

    崔庆才
  • 超越Selenium的存在---Pyppeteer

    如果大家对 Python 爬虫有所了解的话,想必你应该听说过 Selenium 这个库,这实际上是一个自动化测试工具,现在已经被广泛用于网络爬虫中来应对 Jav...

    我被狗咬了
  • Python爬虫神器pyppeteer,对 js 加密降维打击

    pyppeteer 是对无头浏览器 puppeteer的 Python 封装。无头浏览器广泛用于自动化测试,同时也是一种很好地爬虫思路。

    一墨编程学习
  • 使用pyppeteer淘宝登录

    现在淘宝的商品搜索页必须要登录才能见,所以必须要cookies才能进行下一步操作。本期介绍如何使用pyppeteer登录淘宝,获取Cookies。

    小歪
  • web自动化|pyppeteer的使用-python版本puppeteer

    pyppeteer:puppeteer的非官方python库.支持python3.5|3.6|3.7

    测试邦
  • Reuqests-html教程

    最近爬虫遇到的情况是,爬取的网站使用JavaScript渲染的,网站爬取的结果只有一堆JS代码。之前遇到这种情况的处理办法是用Splash(一般是配合Scrap...

    py3study
  • requests-html快速入门

    版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/...

    乐百川
  • 最完美方案!模拟浏览器如何正确隐藏特征

    在前天的公众号文章《别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征》中,我们提到目前网上的反检测方法几乎都是掩耳盗铃,因为模拟浏...

    青南
  • 使用Selenium实现HTML转PDF

    前段时间,州的先生为了在觅道文档中实现 markdown 转 pdf 的功能,考察和调研的市面上的一些通行解决方案,详见>>>Python转换HTML为PDF方...

    州的先生
  • 不仅仅可以用来做爬虫,Puppeteer 还可以干这个!

    自动化测试对于软件开发来说是一个很重要也很方便的东西,但是自动化测试工具除了能用来做测试以外,还能被用来做一些模拟人类操作的事情,所以一些 E2E 自动化测试工...

    崔庆才
  • Scrapy 和 Pyppeteer 更优雅的对接方案

    现在越来越多的网页都已经演变为 SPA 页面,而且越来越多的网站采用了各种 JavaScript 混淆和加密技术,这使得 JavaScript 逆向难度变得很大...

    崔庆才
  • Python转换HTML为PDF方案合集,你中意哪种?

    将 HTML 网页转换为 PDF 是很多人常见的一个需求,在浏览器上,我们可以通过浏览器的“打印”功能直接将网页打印输出为 PDF。

    州的先生

扫码关注腾讯云开发者

领取腾讯云代金券