Python爬虫系列（二）Quotes to Scrape(谚语网站的爬取实战)

 #xpath和自动化的结合使用

 #from lxml import etree
 from bs4 import BeautifulSoup
 from selenium import webdriver
 import time
 #加载驱动
 driver=webdriver.Chrome("G:/chromedriver/chromedriver.exe")
 #driver = webdriver.PhantomJS()#这个我没试
 #打开目标网址并获取源码
 driver.get('http://quotes.toscrape.com/')
 soup=BeautifulSoup(driver.page_source,'lxml')
 i=0
 while True:
 try:
 #找到并获取第一页的谚语位置span集合:items，点击下一页之后会变成下一页的谚语集合
 items=soup.find_all('span',class_='text')
 #打印获取到第一页的谚语
 for item in items:
 print('谚语'+str(i)+':')
 print(item.text)
 i+=1
 #获取下一页next按钮
 elem=driver.find_element_by_xpath('//ul[@class="pager"]/li[@class="next"]/a')
 elem.click()
 #停顿2秒，页面观察点击下一页的效果
 time.sleep(2)
 #获取下一页源码
 soup=BeautifulSoup(driver.page_source,'lxml')
 except:
 break