python使用selenium+chromedriver调用chrome截图

IT架构圈

发布于 2018-06-01 12:08:24

3.8K3

发布于 2018-06-01 12:08:24

selenium在使用时一直提醒换掉phantomjs 改用 chrome的headless模式，主要是因为phantomjs的维护已经很少了，而chrome的headless模式越来越完善。本来只是自己研究研究，踩了几个坑，想不到昨天线上截图服务器出了问题，初步判断是淘宝搞事，用js获取当前浏览器类型，直接不去请求数据了。只好马上开始换用chrome，踩了很多坑，留下了悲伤的泪水。以下步骤可以先在windows尝试。都兼容的

首先是chromedriver的下载，https://sites.google.com/a/chromium.org/chromedriver/ 去官网选最新版就好下好后，服务器上要添加执行权限

 chmod +x chromedriver

然后安装chromium-browser，windows本来就有chrome桌面版就可以了这里有个坑，服务器安装完chrome直接截图的话，中文会表现为方块，所以要安装字体包

sudo apt-get install ttf-wqy-zenhei

在windows下可以直接启动了

browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
chrome.save_screenshot(img_name)
browser.quit()

但是服务器并没有屏幕。很多教程比较老。都是用虚拟屏幕的，现在完全不需要了，headless模式登场

chrome_option = webdriver.ChromeOptions()
chrome_option.add_argument('--headless')
browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
browser.quit()

如果这时候还是报未知错误。可能是沙盒模式启动错误，添加这个关闭沙盒模式

chrome_option.add_argument('no-sandbox')

接下来是代理设置，普通的http代理很简单，proxy为'http://ip:port'这样的形式

chrome_option.add_argument('--proxy-server={}'.format(proxy))

可是https就有问题了。需要关闭chrome的证书认证，找了很久，终于找到了解决方案，原来之前headless模式一直没有实现这个功能，直到半个月前才有消息围观大佬 https://bugs.chromium.org/p/chromium/issues/detail?id=721739#c60 于是有了解决方案，= = 找了好久啊,注意这里的版本是有限制的 chroem >= 65 chromedriver>2.35 反正最新版就对了

配置忽略ssl错误

capabilities = DesiredCapabilities.CHROME.copy()
capabilities['acceptSslCerts'] = True
capabilities['acceptInsecureCerts'] = True
browser = webdriver.Chrome(desired_capabilities=capabilities)

还有一个坑，chrome直接设置超时会使浏览器崩溃，导致无法进行下去，像我的需求，载入了一段时间后还是想停止载入并截图的所以可以用一个非常神奇的方式。临时写个插件给浏览器加载,让浏览器在100秒后停止运行js

chrome_option.add_argument('--load-extension=' + os.getcwd() + '/workers/timeout')
manifest.json
{
  "manifest_version": 2,
  "name": "Amir's Extension",
  "version": "1.0.0",
  "content_scripts": [
    {
      "all_frames": true,
      "matches": ["*://*/*"],
      "js": ["content.js"],
      "run_at": "document_start"
    }
  ]
}
content.js
setTimeout(function(){
    window.stop()
    setInterval(function () {window.stop()}, 1000);
}, 100000);

其实有插件的权限又可以搞很多事了。这里就不介绍了

最后是完整代码

class get_chroem:
    def __init__(self, *args, **kwargs):
        self.browser = None
        self.args = args
        self.kwargs = kwargs
        self.window_size = None
  def _get_chrome(self, type, use_proxy):
    chrome_option = webdriver.ChromeOptions()
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    self.window_size = ('1440', '900')
    chrome_option.add_argument('--proxy-server={}'.format(proxy))
    chrome_option.add_argument('no-sandbox')
    chrome_option.add_argument('--headless')
    # 超时设置
    chrome_option.add_argument('--load-extension=' + os.getcwd() + '/workers/timeout')
    # 配置忽略ssl错误
    capabilities = DesiredCapabilities.CHROME.copy()
    capabilities['acceptSslCerts'] = True
    capabilities['acceptInsecureCerts'] = True
    browser = webdriver.Chrome(
        chrome_driver_path,
        chrome_options=chrome_option,
        # service_log_path='/opt/logs/chrome.log',
        desired_capabilities=capabilities)
    if self.window_size is not None:
        browser.set_window_size(*self.window_size)
    return browser
def __enter__(self):
    """
    :rtype: selenium.webdriver.chrome.webdriver.WebDriver
    :return:
    """
    self.browser = self._get_chrome(*self.args, **self.kwargs)
    return self.browser
def __exit__(self, exc_type, exc_value, traceback):
    if self.browser is None:
        return
    try:
        self.browser.quit()
    except:
        pass

用with语法调用口味更佳