拒绝撕逼，用数据来告诉你选择器到底哪家强

爬虫

发布于 2018-04-08 11:57:31

7060

发布于 2018-04-08 11:57:31

文章被收录于专栏：Python与爬虫Python与爬虫

几天写了一篇文章，爬虫入门到精通-网页的解析（xpath） - 知乎专栏

然后有人问我，xpath速度比bs4快么?说实话，我也不太清楚。。。

还有人说，“XPATH是最快的”,那么xpath,bs4,pyquery到底谁比较快呢？

作为一个严谨的程序员，我们必须拿数据说话

测试环境

硬件环境：
1. 操作系统：Windows7 64
2. 处理器：Inter(R)Xeon(R) CPU E5-2650 v3
3. 内存：8G
软件环境：
1. pyquery:1.2.17
2. lxml:3.7.3
3. bs4:4.5.1
4. parsel:1.1.0

代码如下：

from pyquery import PyQuery as pq
from lxml import etree
from bs4 import BeautifulSoup
from parsel import Selector

html = u"""
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>
"""

然后每段都跑10000次