python使用selenium+chromedriver调用chrome截图

selenium在使用时一直提醒换掉phantomjs 改用 chrome的headless模式,主要是因为phantomjs的维护已经很少了,而chrome的headless模式越来越完善。 本来只是自己研究研究,踩了几个坑,想不到昨天线上截图服务器出了问题,初步判断是淘宝搞事,用js获取当前浏览器类型,直接不去请求数据了。 只好马上开始换用chrome,踩了很多坑,留下了悲伤的泪水。 以下步骤可以先在windows尝试。都兼容的

首先是chromedriver的下载,https://sites.google.com/a/chromium.org/chromedriver/ 去官网选最新版就好 下好后,服务器上要添加执行权限

 chmod +x chromedriver

然后安装chromium-browser,windows本来就有chrome桌面版就可以了 这里有个坑,服务器安装完chrome直接截图的话,中文会表现为方块,所以要安装字体包

sudo apt-get install ttf-wqy-zenhei

在windows下可以直接启动了

browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
chrome.save_screenshot(img_name)
browser.quit()

但是服务器并没有屏幕。很多教程比较老。都是用虚拟屏幕的,现在完全不需要了,headless模式登场

chrome_option = webdriver.ChromeOptions()
chrome_option.add_argument('--headless')
browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
browser.quit()

如果这时候还是报未知错误。可能是沙盒模式启动错误,添加这个关闭沙盒模式

chrome_option.add_argument('no-sandbox')

接下来是代理设置,普通的http代理很简单,proxy为'http://ip:port'这样的形式

chrome_option.add_argument('--proxy-server={}'.format(proxy))

可是https就有问题了。需要关闭chrome的证书认证,找了很久,终于找到了解决方案,原来之前headless模式一直没有实现这个功能,直到半个月前才有消息 围观大佬 https://bugs.chromium.org/p/chromium/issues/detail?id=721739#c60 于是有了解决方案,= = 找了好久啊,注意这里的版本是有限制的 chroem >= 65 chromedriver>2.35 反正最新版就对了

配置忽略ssl错误

capabilities = DesiredCapabilities.CHROME.copy()
capabilities['acceptSslCerts'] = True
capabilities['acceptInsecureCerts'] = True
browser = webdriver.Chrome(desired_capabilities=capabilities)

还有一个坑,chrome直接设置超时会使浏览器崩溃,导致无法进行下去,像我的需求,载入了一段时间后还是想停止载入并截图的 所以可以用一个非常神奇的方式。临时写个插件给浏览器加载,让浏览器在100秒后停止运行js

chrome_option.add_argument('--load-extension=' + os.getcwd() + '/workers/timeout')
manifest.json
{
  "manifest_version": 2,
  "name": "Amir's Extension",
  "version": "1.0.0",
  "content_scripts": [
    {
      "all_frames": true,
      "matches": ["*://*/*"],
      "js": ["content.js"],
      "run_at": "document_start"
    }
  ]
}
content.js
setTimeout(function(){
    window.stop()
    setInterval(function () {window.stop()}, 1000);
}, 100000);

其实有插件的权限又可以搞很多事了。这里就不介绍了

最后是完整代码

class get_chroem:
    def __init__(self, *args, **kwargs):
        self.browser = None
        self.args = args
        self.kwargs = kwargs
        self.window_size = None
  def _get_chrome(self, type, use_proxy):
    chrome_option = webdriver.ChromeOptions()
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    self.window_size = ('1440', '900')
    chrome_option.add_argument('--proxy-server={}'.format(proxy))
    chrome_option.add_argument('no-sandbox')
    chrome_option.add_argument('--headless')
    # 超时设置
    chrome_option.add_argument('--load-extension=' + os.getcwd() + '/workers/timeout')
    # 配置忽略ssl错误
    capabilities = DesiredCapabilities.CHROME.copy()
    capabilities['acceptSslCerts'] = True
    capabilities['acceptInsecureCerts'] = True
    browser = webdriver.Chrome(
        chrome_driver_path,
        chrome_options=chrome_option,
        # service_log_path='/opt/logs/chrome.log',
        desired_capabilities=capabilities)
    if self.window_size is not None:
        browser.set_window_size(*self.window_size)
    return browser
def __enter__(self):
    """
    :rtype: selenium.webdriver.chrome.webdriver.WebDriver
    :return:
    """
    self.browser = self._get_chrome(*self.args, **self.kwargs)
    return self.browser
def __exit__(self, exc_type, exc_value, traceback):
    if self.browser is None:
        return
    try:
        self.browser.quit()
    except:
        pass

用with语法调用口味更佳

截图

chrome.save_screenshot(img_name)

原文发布于微信公众号 - 编程坑太多(idig88)

原文发表时间:2018-04-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏木子昭的博客

Google在线深度学习神器Colab1. Colab 执行终端命令2. 用Colab编写在线爬虫,并在线展示成果3.在线机器学习,决策树案例 - 泰坦尼克乘客存活状况 4. 在线学习Python编程

Colab是google最近推出的一项Python在线编程的免费服务, 有了它,不学Python编程的理由又少了一个 Colab环境已经集成了流行的深度学习...

71550
来自专栏文渊之博

服务器磁盘的维护建议

维护建议--服务器磁盘 定期检查磁盘状态(大部分RAID提供商都提供了管理查看软件),当发现有单块磁盘损坏时应立即更换。 定期检查剩余空间,预估磁盘使用趋势。 ...

29280
来自专栏小白课代表

Autodesk 3DS MAX 2019安装教程

3D Studio Max,常简称为3d Max或3dsMAX,是Discreet公司开发的(后被Autodesk公司合并)基于PC系统的三维动画渲染和制作软件...

17920
来自专栏腾讯NEXT学位

小程序iOS客户端框架——控件事件逻辑框架与控件原生化(上)

? 小程序自发布以来,为开发者和用户提供了一种轻量级的App。作为一种不需要下载安装即可使用的应用,它实现了应用“触手可及”的梦想,用户扫一扫或者搜一下即可打...

18910
来自专栏武军超python专栏

2018年8月9号飞机大战项目答辩得到的经验和基本的win终端命令

今天遇到的新单词: adapter n适配器 virtual adj 虚拟的 interface n接口 corporation n公司,法人

12430
来自专栏区块链

XSS攻击——每周小讲堂

我们从一个很蠢的例子开始。 假设网站上有一个很简单的输入框,如果输入123并提交,就会保存并显示在url上。 比如现在填一段JS代码字符串并提交,就会得到一个包...

20960
来自专栏前端大白专栏

React Native: Possible unhandled promise rejection request fail

62960
来自专栏沈唁志

如何在Ubuntu 16.04上安装PrestaShop

如果您曾经考虑过开设在线商店,您可能会感受到各种免费的开源电子商务解决方案。虽然有这么多的选择意味着几乎可以肯定有一个可用的有效解决方案适合您的特定情况,但它也...

33730
来自专栏杨建荣的学习笔记

容灾切换中的数据库宕机问题简单分析(一) (r9笔记第12天)

最近对一个统计库做了计划内的容灾切换,即主备切换。操作的过程其实还是蛮顺利的。但是灾难切换中如果出现在问题,那就是灾难中的灾难了。 按照计划对配置信息做了同步,...

34160
来自专栏葡萄城控件技术团队

HTML5 & CSS3初学者指南(3) – HTML5新特性

介绍 本文介绍了 HTML5 的一些新特性。主要包含以下几个方面: Web 存储 地理位置 拖放 服务器发送事件 Web存储 HTML5...

26480

扫码关注云+社区

领取腾讯云代金券