采花大盗速成秘籍之YQL

理想情况下，在一个和谐的网络里，应该允许网站彼此自由的分享数据，不过和谐的网络就好像和谐的社会一样，从未真正存在过，除了少数开放了API的网站，更多的时候，我们只能通过采集来获得数据，于是诞生了采花大盗 🙂

通常，要成为采花大盗的话必须熟悉正则，但对很多人来说，这是一个不低的技术门槛，不过雅虎推出的YQL改变了这种状况。YQL全称为Yahoo! Query Language，它把整个网络看做是一个数据库，用户可以通过类似SQL的方式进行查询，使用前可以先看看YQL Guide。

下面看一个例子，假设我们想采集当当网的每日特价中的商品，如下图所示：

当当网每日特价

现在可以出手了，打开YQL Console，运行如下代码即可获得相关数据：

select * from html
where url='http://www.dangdang.com/'
and xpath='//ul[@id="homepage_promotion_count_ul"]/li/p[@class="name"]/a'

通过指定XPath，就能得到想要的数据，如果不熟悉XPath，可以通过Firebug获得：

通过Firebug得到XPath

友情提示：由于客观因素，不保证本文介绍的YQL演示例子始终可用。

运行成功后，会在被采集网站的服务器上留下类似如下内容的日志：

"GET /robots.txt HTTP/1.0" 200 .. "-" "Yahoo Pipes .."
"GET .. HTTP/1.0" 200 .. "-" "Mozilla .. (compatible; Yahoo Pipes ..) .."

YQL抓取了robots.txt，可见它比较本分，网站可以通过设置robots.txt禁止YQL采集数据，此外，为了提防一小撮别有用心的人，雅虎限定了YQL的使用频率，具体参见文档。

歌声响起：路边的野花不要采，不采白不采。不过正所谓盗亦有道，不要滥用YQL。