python和Ajax在一起了？真的？？？

Python研究者

发布于 2020-10-29 16:51:23

4150

发布于 2020-10-29 16:51:23

文章被收录于专栏：Python研究者Python研究者

Ajax动态网页加载爬取新浪微博某关键词下的信息

前言

有些时候我们使用浏览器查看页面正常显示的数据与使用requests抓取页面html得到的数据不一致，这是因为requests获取的是原始的HTML文档，而浏览器中的页面是经过JavaScript处理数据后的结果。这些处理过的数据可能是通过Ajax加载的，可能包含HTML文档中，可能经过特定算法计算后生成的。

一、Ajax原理

1、什么是Ajax？ Ajax全称为Asynchronous JavaScript and XML，即为异步的JavaScript（JS语言）和XML（万能的数据传输格式）。 2、异步化？ Ajax的工作原理相当于在用户和服务器之间加了—个中间层(AJAX引擎)，使用户操作与服务器响应异步化。并不是所有的用户请求都提交给服务器。像—些数据验证和数据处理等都交给Ajax引擎自己来做，只有确定需要从服务器读取新数据时再由Ajax引擎代为向服务器提交请求它能够利用，JavaScript在保证不被刷新，连接不变的情况下，服务器交换数据并更新部分网页的技术。像传统的网页（不使用Ajax）若要更新网页内容，必须重新加载网页，比如猫眼、豆瓣等。下图为对比图：

3、示例浏览网页的时候，我们发现很多网页都有下滑查看更多的选项。比如，就拿新浪微博主页来说。一直往下滑，看到几个微博之后就没有了，而是会出现一个加载的动画，很快就出现了新的微博内容，这个过程就是Ajax加载的过程

二、准备环境+爬取网站

ananconda3——spyder 谷歌浏览器 https://m.weibo.cn/

三、网页分析与定位

1、本次爬取选取“夺冠”这一关键词

2、检查元素——Network——XHR——Ctrl+R

3、滑动页面，依次查看前三页page，Request URL中包含多个参数

选了前三页观察，发现在Request URL里面除了最后page=2，page=3，其他参数都不发生变化

4、观察Preview里面的信息

想要获取的信息都在data——cards——mblog下面

分别查询三个页面发现，只有在第一页中时，有些cards下面不存在mblog，也就是说爬出来的内容可能会为空，所以本次爬取我舍去第一页内容不全的，从page=2开始，这样可以保证爬出来的内容比较全。

三、代码实现

1、导入库

from urllib.parse import urlencode
import requests
import json

使用urlencode主要用于正常识别输入的汉字、空格以及其他特殊字符，由于url中传入了部分参数，所以需识别参数拼接为完整的url 输出格式为对象格式：{“key1”:obj,“key2”:obj,“key3”:obj…}，所以导入json包 2、解析页面定义一个获取页面的函数，其中的参数params包含如下所示

除了page以外，其他参数均不变。定义一个base_url,所有网页的base_url为同一个。

base_url='https://m.weibo.cn/api/container/getIndex?'

这里需要用到urlencode对参数进行转化拼接，使其转化并生成出每一页完整的url

def get_page(page):
    params = {
        'containerid':'231522type=1&t=10&q=#夺冠#',
        'page_type':'searchall',
        'isnewpage':'1',
        'luicode':'10000011',
        'lfid':'100103type=38&q=夺冠&t=0',
        'page_type': 'searchall',
        'page':page
    }
    url = base_url + urlencode(params)
    try:
        rq = requests.get(url,headers = headers)
        if rq.status_code == 200 :
            return rq.json()
    except rq.ConnectionError as e:
        print('程序错误',e.args)

3、定位id和raw_text 第一个函数返回rq.json(),目的是获取如下界面的全部解析码

print(re.json())后，输出全部内容

j = get_page(page)返回那个解析页面，从解析页面里面找data——cards，items为cards下面所有的东西，我只想获得mblog下的id和raw_text,所以用了一个循环。先找到mblog用item接收，再再item下找到id用id接收，再找raw_text用raw_text接收，用append进行列表的依次添加，得到 all_id和all_raw_text。最后转化为字典形式

def parse_page(j):
        items = j['data']['cards']
        all_id=[]
        all_raw_text=[]
        for item in items:
            item = item['mblog']
            id=item['id']
            raw_text=item['raw_text']
            all_id.append(id)
            all_raw_text.append(raw_text)
        weibo = dict(zip(all_id,all_raw_text))      #zip,将两个列表合并成一个字典
        return weibo

4、存入txt文件存入为json格式

def write_text(result):
    with open('关键词信息.txt','a',encoding='utf-8') as f:
            f.write(json.dumps(result, ensure_ascii=False) + '\n')
            f.write('\n')
    f.close()

5、主函数调用 Referer,User-Agent,X-Reuestes-With均在网页里

if __name__ == '__main__':
    base_url = 'https://m.weibo.cn/api/container/getIndex?'
    headers = {"Referer": 'https://m.weibo.cn/search?containerid=100103type%3D1%26q%3D%E5%A4%BA%E5%86%A0',
               "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
               "X-Requested-With":'XMLHttpRequest'}
    for page in range(2,50):
        j = get_page(page)
        result = parse_page(j)
        print(result)
        write_text(result)