Ajax是目前流行的网页加载模式,可以不刷新网页页面实现数据更新。 但是对我们需要抓取网页内容来说,多了一层障碍,不过无敌的Python很容易抓取Ajax内容。 需要注意的是要添加一个Content-Type的Header,给的值是application/json。否则会发生错误!
import urllib
import urllib2
import json
if __name__ == "__main__":
d = '{"pageIndex":0,"pageSize":30,"title":""}'
request = urllib2.Request(ajax_url, d)
request.add_header("Content-Type", "application/json; charset=utf-8")
print request.headers
f = urllib2.urlopen(request) #'{"pageIndex":0,"pageSize":15,"title":""}'
content = f.read()
content = rss_content.decode("gbk")
content = json.loads(content)