聊聊爬取某团数据

我被狗咬了

发布于 2022-01-05 08:44:21

7880

发布于 2022-01-05 08:44:21

文章被收录于专栏：Python乱炖Python乱炖

正所谓：民以食为先，食以安为先，今天我们来爬取某团的美食店家数据，看看有什么好吃的，有哪些优惠套餐。

爬前分析

URL请求参数

首先进入美团并打开开发者工具，如下图所示：

可以发现商店数据保存在上图中的红框3中的URL链接，那么我们看看该URL长什么样：

https://fs.meituan.com/meishi/api/poi/getPoiList?cityName=%E4%BD%9B%E5%B1%B1&cateId=0&areaId=0&sort=&dinnerCountAttrId=&page=1&userId=1570290508&uuid=6c096f87c97a427abf04.1640047401.1.0.0&platform=1&partner=126&originUrl=https%3A%2F%2Ffs.meituan.com%2Fmeishi%2F&riskLevel=1&optimusCode=10&_token=eJx1T01vqkAU%2FS%2BzLXFmhBnApAu0ArZIpT5KselCEZkRhcKMqDT9750mvsVbvOQm5%2BOenNz7BdrZFowwQjZCGujyFowAHqABBRqQQm2ogRDBBBGCDA1k%2F3qWZWpg074%2BgNG7QUyNEvPj13hR%2Bh3rlGomtT60Gx0qOjTU%2FGZmKgKYlJ9iBOFODI45l6d1NcjqI1RcMA7VCf8JANVw%2FKMaFJY3XN9Q%2FtVz9YqqELyoFMsfz4d9jJtz70Qsv1uy1eZ6nbDkLXT4yo1rfRc7U%2F2UcbdZeil6WsRyUUYLFIrSrmXweqdzq7qgq5F3IopRbTv2uJPWpWwhhPvLKewT%2FzBji9MyJbx6CJrg8siDJLPKPi%2FmdRZw17aem252kIRumgOdsvETT22yLXAgd1EToa7dTqafMabobDcJ9pI%2B8Ff%2BvK08XX8Ztqx0G7upNxYU%2Bi7amxO%2FoDXufZqm42tSEOkxc6Xnrums92HqPAvheQitw8J23mC83Mb34PsHk8iWQw%3D%3D

其中token参数值是我们常人不能看懂的，点击网页的下一页，可以发现，新的URL请求参数只有page、originUrl、token这三个请求参数发生变化，其中page参数、orginUrl参数是控制翻页而且有规律的，token参数是没规律的，所以我们只要破解token加密参数的加密方式就可以获取到该URL链接的所有数据了，由于token参数最后一个字符是以等号结尾，那么有极大可能是通过base64加密的。

代码测试

那么我们来简单地写个爬虫测试，来测试使用这些参数能不能获取数据，主要代码如下所示：

url='https://fs.meituan.com/meishi/api/poi/getPoiList?'
params = {
    'cityName': '佛山',
    'cateId': '0',
    'areaId': '0',
    'sort': '',
    'dinnerCountAttrId': '',
    'page': '2',
    'userId': '自身的ip',
    'uuid': '47e30751bdcc4cb3b9ca.1639966171.1.0.0',
    'platform': '1',
    'partner': '126',
    'originUrl': ' https://gz.meituan.com/meishi/pn2/',
    'riskLevel': '1',
    'optimusCode': '10',
    '_token': 'eJyFT8luo0AQ/Ze+BrlplgYszcEYxBYWAzZ2ohwwBpsQmh07jubf05Gcw5xGKukt9fRU9QV66wSWiGUVlmXAnPdgCdCCXWDAgHGgGyywrMgjJIsCYkD2ryfL1Dv2Ow0sXwVRYrAovf0YIdWviMeYkbD8xjwoRykn0PnJWDQCLuPYDksIi2FR5+U4pWSRNTWkfLiUsCUcpGf8L4QgoIV1TAspVg9MHzj+apd+RtuG8kwoy+3rxz1D3uqub9RczbNZC82P2febudqIm1ifbGOVBdPRcG6w1ZWws5KuOqunlacc3LgtDjlRruJhHSp7jbPVlsg6JO9GFEgShgEpLqc+skhnF4X+8nTAfmnttd7gIyTZ6W0tXurReub3vPd0jMw2Tuvmup0MP4oEsZs8bu0MVbMtVIdvPpvASBWvdRsfOkkKwxR5Wk6m8qRMRuLwc2hApODO1VzZDePumR+Ctj3vSRrX+MXc9e+yudUcuKtW6ee9cZLE8s3rWnKd6Lb9A/5+A0x9m9s=',
}
#发送网络请求
response=requests.get(url,headers=headers,params=params).json()
print(response)

运行结果如下所示：

我们通过URL的参数可以获取到数据，但过几分钟后再用上面的代码来获取数据就会报错，如下图所示：

可以推测这token加密最重要的参数与时间有关。

token加密

打开开发者工具，点击右上角三个小点，选择Search，搜索token，如下图所示：

搜索结果如下图所示：

可以发现，只有一个js文件，双击打开该js文件，并搜索token，如下图所示：

从图中可以发现，token参数值是d这个变量，而d由window.Rohr_Opt.reload()方法获得，在该方法中要传递p参数，问题来了p参数是什么呢，我们在2528行代码设置断点，并刷新页面，如下图所示：

是不是觉得p参数的值很熟悉，该参数正是我们要访问的URL链接而且没有token值。那么我们进入window.Rohr_Opt.reload()方法中，看看该方法是怎样的，如下图所示：

该方法大概意思是创建jw，jx变量，把jv值进行切割处理，将处理好的jv赋值给jx并传递到iJ()方法中，再把iJ()方法的返回值赋给iP.sign。我们在上一步中的代码测试中推测token加密与时间有关，果然不出所料，该方法确实需要传递时间参数。通过new Date().getTime()方法获取到的时间传递到iP.cts中，再把iP参数传递到iI()方法中并把返回值返回给jw，最后通过encodeURIComponent()进行编码，并结果返回。

那么我们在3369行代码中设置断点，并刷新页面，如下图所示：

可以发现该jv正是我们上面所说的p参数，经过系列的切割，最终得到的jx，那么我们进入iJ()方法并观察该方法的作用，如下图所示：

在iJ()方法中并没有看到有关随机数之类的参数、方法，并且经过一系列的寻找，也没有发现有有关随机数、时间的参数和方法，只要在网页中下图中的选项不变，那么iJ()返回出来的是定值。：

如下图所示，jx参数值除了page、originUrl这两个参数可能会发生变化，其他的都是定值：

在代码测试中，同一个token参数值，前几分钟可以请求成功，但过几分钟都就请求失败，那么可以推测时间是最重要的参数，而page、originUrl参数可以看作是定值。其中iP.cts负责存放系统时间，

我们进入浏览器的控制台console，并在控制台输入iP，如下图所示：

我们发现里面有一个名为cts参数，而在上面的iP.cts中接收一个系统时间。

要么一开始iP中的cts参数值为空，当代码运行到3364行的时候，再将系统时间传进去；要么是一开始有个时间，当代码运行到3364行的时候，再将cts参数值进行替换当前系统时间。不管怎样，cts参数都是当前系统的时间。

在控制台iP中，还有一个参数ts，而且比cts参数值小，在代码测试中，同一段代码，一开始可以运行并获取数据，而过几分钟后就运行会报错，这就说明了ts与cts影响着token参数，经过我们的测试，修不修改这个ts参数对token没影响，

将iP中的cts参数值替换后，再将iP传入iI()方法进行处理加密，最后返回jw。

进入iI()方法并观察其作用，如下图所示：

iI()方法大概是通过delate算法来把传入的iP数据进行压缩，压缩后断点代码再使用iD方法进行处理。那么问题来了，这些方法都是一个接着一个来套用，iD方法肯定又套用了其他方法，这样我们很难通过构造js方法来破解token加密。

怎么办好呢，首先token参数最后一个字符是以等号结尾，那么有极大可能是通过base64加密的，而且token参数加密最重要的是cts时间参数，那么我们投机取巧，只需要将在源代码Sources中复制jw参数下来，通过base64解码并将cts时间参数值替换成当前系统时间，再通过base64加密就可以获取到token参数值了。

好了，token参数加密已经成功通过我们的投机取巧破解出来了，接下来我们正式爬取某团商店的数据了。

实战演练

token参数获取

我们来复制jw参数并通过解码、替换、编码等一些列操作来获取token参数值，主要代码如下所示：

    jw= "eJx1T11Po0AU/S/zCikzAwzQxIeCWqELlkpbWeMDRRgoA7QMUNH433dMui8mJjc5H/fk5N5P0LlvYI4gtCCUwZh1YA7QDM4IkEHPxYZoEGsGJgRCIoP0h6cL79DtbsH8BauGTHTj9dvYCP2CVEJkg5iv8pViQbEm5jvjiggo+v7E54pCP2Z1VvZD0szStlYE50WpiBN+CQDRUEeiQWB1xeSK/X/ti1dEBS9pI1jmXdgxQsNiuguLTCnpyb23H+hbmXrT/RNbsYtPfUTWnNvnpXPRC7NCLQv1Y2ZuWhaN0FobeLt3JG9y7obcNReKa1lZ7EaTlL/reTN5xWrrNJjyvN6zahPAOMVSU5d26z11BR32AWpspvZdFDgw92kwHeE+S3Rt2U/9Y9yOf1aLS/FwCuzlJOEgX7FtoeH4uVfoZuAUcXZ7dlVpPUaHs+KHUYVKS3u3M/PxUFuLRJdSK2xqvJsqi8V/E13dbSvOUKY9F6PnNeHNDfj6By7+lng="
    # 将jw进行解码
    jw= base64.b64decode(jw)
    # 解码后的参数进行解压转换为字符串
    jw = str(zlib.decompress(jw), 'utf-8')

首先我们在源代码Sources中复制jw参数值，通过base64.b64decode()方法将jw参数进行解码，然后在通过zlib.decompress()方法对解密后的jw参数进行解压并用str()方法将解压后的字节转换为字符串。

# 将字符串转换为表达式
jw = eval(jw)
# 将jw中的cts参数替换
jw['cts'] = int(time.time() * 1000)
# 编码字符串
jw = str(jw).encode()
# 将jw进行base64编码
token = base64.b64encode(zlib.compress(jw)).decode()

再通过eval()方法将字符串jw当成有效的表达式来求值并返回计算，通过time.time()方法获取当前系统时间并将jw中的cts参数的时间替换，再将替换后的jw转换为字符串并使用encode()方法进行编码，最后使用base64.b64encode进行编码形成我们要的token参数。

数据获取

首先我们发送网络请求，主要代码如下所示：

def get_data():
    #获取token参数值
    token=get_token()
    params = {
        'cityName': '广州',
        'cateId': '0',
        'areaId': '0',
        'sort': '',
        'dinnerCountAttrId': '',
        'page': '1',
        'userId': '自身的id',
        'uuid': '47e30751bdcc4cb3b9ca.1639966171.1.0.0',
        'platform': '1',
        'partner': '126',
        'originUrl': ' https://gz.meituan.com/meishi/',
        'riskLevel': '1',
        'optimusCode': '10',
        '_token': token,
    }
    #发送网络请求
    repsonse=requests.get(url,headers=headers,params=params)
    #将获取的数据传递在自定义方法analysis_data
    analysis_data(repsonse.json())

首先我们自定义字典params来存放请求所需的参数，再通过requests.get()方法来发送网络请求并将请求响应的json数据传递给自定义方法analysis_data()中。

def analysis_data(data):
    # 提取解析数据
    data_list=data.get('data').get('poiInfos')
    for i in data_list:
        dealList= i.get('dealList')
        shop = {
            # 商店名
            'shop_name': i.get('title'),
            # 评价数
            'allCommentNum': i.get('allCommentNum'),
            # 评分
            'avgScore': i.get('avgScore'),
            # 平均消费
            'avgPrice': i.get('avgPrice'),
            # 商店地址
            'address': i.get('address'),
            # 优惠套餐
            'dealList': ''
        }
        # 创建优惠套餐数据列表
        food_taocan=[]
        for i in dealList:
            #将数据保存在优惠套餐列表中
            food_taocan.append(i.get('title')+'价格——'+str(i.get('price')))
        #将优惠套餐列表中的数据转换为字符串，并保存在shop字典中的dealList
        shop['dealList']=','.join(food_taocan)
        # 将shop字典中的值以列表的形式传递到自定义方法saving_data中
        saving_data(list(shop.values()))

自定义方法analysis_data接收到数据后，就开始解析数据并将解析到的数据传递给自定义方法saving_data()方法中。

保存数据

在上一步我们成功获取到数据了，接下来我们将获取到的数据保存在MySQL数据库中，主要代码如下所示：

def saving_data(data):
    # 连接数据库
    db = pymysql.connect(host=host, user=user, password=passwd, port=port, db='meituan')
    # 获取游标
    cursor = db.cursor()
    # 插入数据，其中插入的字段分别为商店名，评论数，评分，平均消费，地址，优惠套餐
    sql = 'insert into shopdata(shop_name,allCommentNum, avgScore, avgPrice,address,dealList) values(%s,%s,%s,%s,%s,%s)'
    try:
        # 执行单条sql语句插入数据
        cursor.execute(sql,data)
        print(data)
        # 提交数据
        db.commit()
    except Exception as e:
        # 当保存数据不成功将打印错误信息并取消当前执行的操作
        print(e)
        db.rollback()
    db.close()

首先我们调用pymysql.connect()方法来连接数据库，通过.cursor()获取游标，再通过.execute()方法执行单条的sql语句，执行成功后返回受影响的行数，使用了try-except语句，当保存的数据不成功，就调用rollback()方法，撤消当前事务中所做的所有更改，并释放此连接对象当前使用的任何数据库锁。好了，主要代码已经编写好了，接下来将编写启动爬虫代码，代码如下所示：

if __name__ == '__main__':
    for i in range(1,10):
        get_data(i)

结果展示

好了，爬取某团商店数据就讲到这里了，感谢观看！！！

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2021-12-29，如有侵权请联系 cloudcommunity@tencent.com 删除

tcp/ip

本文分享自 Python乱炖微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度