登录态数据抓取：Python爬虫携带Cookie与Session的应用技巧

小白学大数据

发布于 2024-06-08 18:00:33

550

发布于 2024-06-08 18:00:33

概述

在进行网络数据抓取时，有些数据需要用户处于登录状态才能获取。这时就需要使用Cookie和Session来维持登录态。Cookie是服务器发给浏览器的小数据片段，存储在用户计算机中，用于在用户请求时辨识用户身份。Session则是存储在服务器端的用户会话信息，用于保持用户的活动状态。

什么是Cookie和Session

Cookie是一种小型文本文件，由网站服务器发送给用户浏览器，存储在用户本地计算机上。主要用于跟踪用户在网站上的活动，如登录信息、购物车内容等。每个Cookie都包含了一个键值对，用于识别用户和追踪其行为。通过携带Cookie信息，网站可以识别用户身份和保存用户的个性化设置，从而提供更好的用户体验。 Session是服务器端创建的关于用户会话的信息集合。在用户首次访问服务器时，服务器会为用户分配一个唯一的会话ID，并在服务器端存储与该ID相关的信息。通过Session，服务器可以跟踪用户的会话状态，保存用户的登录状态、购物车内容等数据，以确保用户在同一会话期间的连续性。Session通常用于保持用户登录状态，以及在用户跨页面进行交互时传递信息。与Cookie不同的是，Session数据存储在服务器端，相对更安全，但也需要更多的服务器资源来维护。

使用方式

在处理需要登录态的数据时，以下几种方式是常见且有效的：

方式一：将Cookie插入Headers请求头

import requests

session = requests.Session()

# 将Cookie插入Headers请求头
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Cookie': 'your_cookie_here'
}
response = session.get("https://www.example.com", headers=headers)

print(response.text)

session.close()

方式二：Cookies直接作为requests方法的参数

import requests

cookies = {
    'cookie_name': 'cookie_value'
}

response = requests.get("https://www.example.com", cookies=cookies)

print(response.text)

方式三：session会话保持

import requests

session = requests.Session()

# 模拟登录操作
login_data = {'username': 'your_username', 'password': 'your_password'}
session.post('https://www.example.com/login', data=login_data)

# 后续请求会自动携带会话信息
response = session.get('https://www.example.com/profile')

print(response.text)

session.close()

如何保持IP不变

在某些场景下，需要保持请求的IP地址不变，可以通过代理来实现。下面是一个简单的示例代码：

import requests

session = requests.Session()

# 设置代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

proxy = {
    'http': f'http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}',
    'https': f'http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}'
}
session.proxies = proxy

# 发送请求
response = session.get("http://example.com")
print(response.text)

session.close()

京东案例

下面我们以京东网站为例，演示如何使用Python爬虫携带Cookie与Session的应用技巧：

import requests

session = requests.Session()

# 代理设置
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"
proxies = {
    "http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}",
    "https": f"https://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
}

# 模拟登录京东
login_data = {'username': 'your_username', 'password': 'your_password'}
session.post('https://passport.jd.com/login', data=login_data, proxies=proxies)

# 获取个人订单页
response = session.get('https://order.jd.com/myOrder', proxies=proxies)
print(response.text)

session.close()

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2024-03-15，如有侵权请联系 cloudcommunity@tencent.com 删除

爬虫