web爬虫-Selenium进阶操作

#导入包
from selenium import webdriver
import csv
#定义分页总数
MAX_PAGE_NUM = 5
#定义分页数字位数
MAX_PAGE_DIG = 3

#打开谷歌浏览器 并访问要抓取数据的地址
#注意：驱动chromedriver.exe与改python文件在同一个目录
driver = webdriver.Chrome('chromedriver.exe') 

#创建csv文件进行写入
csv_file = open('results.csv', 'w')
csv_writer = csv.writer(csv_file)
#写入csv标题头内容
csv_writer.writerow(['购买者', '商品价格'])
for i in range(1, MAX_PAGE_NUM + 1):
  #获取分页url中的数字内容:001 002...004 005
  page_num = (MAX_PAGE_DIG - len(str(i))) * "0" + str(i)
  url = "http://econpy.pythonanywhere.com/ex/" + page_num + ".html"
  driver.get(url)
  # 使用xpath找到购买者和商品价格元素列表
  buyers = driver.find_elements_by_xpath('//div[@title="buyer-name"]')
  prices = driver.find_elements_by_xpath('//span[@class="item-price"]')
  # 打印所有信息
  num_page_items = len(buyers)
  for i in range(num_page_items):
    #数据写入csv文件
    csv_writer.writerow([buyers[i].text, prices[i].text])
#完成任务后 关闭浏览器
driver.close()