Selenium 简单介绍、安装、启动

友儿

发布于 2022-10-05 10:34:54

36000

代码可运行

文章被收录于专栏：友儿友儿

运行总次数：0

代码可运行

Selenium简单介绍

https://selenium-python.readthedocs.io/
https://python-selenium-zh.readthedocs.io/zh_CN/latest/

什么是selenium

通过浏览器驱动来自动化操纵浏览器的工具

selenium -> 传输指令 -> webdriver -> 转换指令 -> 浏览器

webdriver的出现是为了兼容各语言各版本, 使java或者python都可以通过同一个webdriver达到操纵浏览器的目的.

selenium常用来做什么?

本质是模拟用户行为, 可以用于以下领域

自动化测试
获取网页数据
- 复杂动态网页
- 账号比较重要, 保证不被反爬风控
- 数据量小, 但是验证复杂的网站
- 获取session
  - 用户端无法获取session, 但是selenium可以

Selenium安装

安装Python版本的selenium

pip install selenium

查看当前浏览器版本

最新版本为89

下载对应浏览器版本的chrome driver

http://npm.taobao.org/mirrors/chromedriver/

下载后解压至特定目录

H:\drivers\chromedriver.exe

快速启动

创建一个webdriver驱动实例

from selenium import webdriver

driver_path = r"H:\drivers\chromedriver.exe"
browser = webdriver.Chrome(executable_path=driver_path)

浏览器设置

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("disable-blink-features=AutomationControlled")
browser = webdriver.Chrome(executable_path=driver_path,

请求网址

定位搜索框并模拟键盘输入

search_input = browser.find_element_by_css_selector('input[aria-label="搜索"]')
search_input.send_keys("鼠标")

定位搜索按钮并模拟鼠标输入

search_button = browser.find_element_by_css_selector('button[aria-label="搜索"]')
search_button.click()

页面解析

item_array = search.parse_jd_item(browser.page_source)

from selenium import webdriver
from jd_crawler.jd_parser import search
import time

driver_path = r"H:\drivers\chromedriver.exe"

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("disable-blink-features=AutomationControlled")
browser = webdriver.Chrome(executable_path=driver_path, chrome_options=chrome_options)


def sim_search(keyword, url):
    browser.get(url)
    search_input = browser.find_element_by_css_selector('input[aria-label="搜索"]')
    search_input.send_keys(keyword)
    search_button = browser.find_element_by_css_selector('button[aria-label="搜索"]')
    search_button.click()


def main(keyword, url):
    sim_search(keyword, url)
    time.sleep(3)
    item_array = search.parse_jd_item(browser.page_source)
    print(item_array)
    browser.close()


if __name__ == "__main__":
    jd_url = "https://www.jd.com/"
    main("鼠标", jd_url)