移动端Temu App数据抓包与商品爬取方案

{
  "code": 0,  // 接口状态码，0表示成功
  "message": "success",
  "data": {
    "total": 100,  // 符合条件的商品总数
    "page": 1,     // 当前页码
    "page_size": 20,
    "products": [
      {
        "product_id": "123456",  // 商品唯一ID
        "title": "iPhone 15 Case, Shockproof Silicone Cover",  // 商品标题
        "price": 9.99,           // 商品价格（美元）
        "original_price": 19.99, // 商品原价
        "sales_volume": 1250,    // 商品销量
        "image_url": "https://example.com/iphone15-case.jpg",  // 商品主图URL
        "category": "electronics",  // 商品品类
        "shop_name": "Temu Official Store",  // 店铺名称
        "rating": 4.8             // 商品评分（5分制）
      },
      // 更多商品数据...
    ]
  }
}

import requests
import pandas as pd
import time
import random
from fake_useragent import UserAgent

# -------------------------- 代理配置 --------------------------
# 你的代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 构建带认证的代理URL
PROXY_URL = f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"

# -------------------------- 配置参数（需根据实际抓包结果修改）--------------------------
API_URL = "https://api.temu.com/api/v2/product/list"  # 商品列表接口URL（从Fiddler抓包获取）
COOKIE = "your_cookie_from_fiddler"  # 从Fiddler抓包结果中复制Cookie
CATEGORY = "electronics"  # 目标商品品类（英文）
PRICE_MIN = 10  # 最低价格（美元）
PRICE_MAX = 100  # 最高价格（美元）
PAGE_START = 1  # 起始页码
PAGE_END = 5  # 结束页码（建议不超过10，避免请求频率过高）

# -------------------------- 反爬优化配置 --------------------------
ua = UserAgent()  # 随机生成User-Agent
REQUEST_INTERVAL = random.uniform(1.5, 3.5)  # 每次请求间隔（1.5-3.5秒），避免频率过高

# -------------------------- 核心爬取函数 --------------------------
def get_temu_products(page):
    """
    爬取单个页码的商品数据
    :param page: 当前页码
    :return: 商品列表（字典格式）
    """
    # 1. 构造请求参数
    params = {
        "category": CATEGORY,
        "page": page,
        "page_size": 20,
        "sort": "sales_volume_desc",  # 按销量降序爬取
        "price_min": PRICE_MIN,
        "price_max": PRICE_MAX,
        "platform": "android",  # 伪装Android设备
        "version": "1.10.0"  # Temu App版本号（从抓包结果获取）
    }
    
    # 2. 构造请求头（伪装移动端设备，加入Cookie）
    headers = {
        "User-Agent": ua.android,  # 随机生成Android设备User-Agent
        "Referer": "https://m.temu.com/",
        "Cookie": COOKIE,
        "Accept": "application/json, text/plain, */*",
        "Connection": "keep-alive"
    }
    
    # 3. 配置带认证的代理
    proxies = {
        "http": PROXY_URL,
        "https": PROXY_URL
    }
    
    try:
        # 4. 发送GET请求，获取响应数据
        response = requests.get(
            url=API_URL,
            params=params,
            headers=headers,
            proxies=proxies,  # 使用配置好的代理
            timeout=10  # 超时时间设置为10秒
        )
        response.raise_for_status()  # 若状态码非200，抛出异常
        data = response.json()
        
        # 5. 解析响应数据，提取商品核心字段
        if data.get("code") == 0:
            products = data["data"]["products"]
            product_list = []
            for product in products:
                # 解析单个商品数据，过滤无效字段
                product_info = {
                    "商品ID": product.get("product_id", ""),
                    "商品标题": product.get("title", ""),
                    "售价(美元)": product.get("price", 0.0),
                    "原价(美元)": product.get("original_price", 0.0),
                    "销量": product.get("sales_volume", 0),
                    "商品主图URL": product.get("image_url", ""),
                    "品类": product.get("category", ""),
                    "店铺名称": product.get("shop_name", ""),
                    "商品评分": product.get("rating", 0.0)
                }
                product_list.append(product_info)
            print(f"第{page}页爬取成功，获取商品{len(product_list)}条")
            return product_list
        else:
            print(f"第{page}页爬取失败，接口返回错误：{data.get('message')}")
            return []
    except Exception as e:
        print(f"第{page}页爬取异常：{str(e)}")
        return []

# -------------------------- 主函数（批量爬取+数据存储）--------------------------
def main():
    # 初始化商品列表，用于存储所有爬取到的数据
    all_products = []
    
    # 循环爬取指定页码范围的商品数据
    for page in range(PAGE_START, PAGE_END + 1):
        products = get_temu_products(page)
        if products:
            all_products.extend(products)
        # 控制请求频率，避免被反爬
        time.sleep(REQUEST_INTERVAL)
    
    # 数据存储：将爬取到的商品数据保存为Excel文件
    if all_products:
        # 转换为DataFrame格式，便于存储和处理
        df = pd.DataFrame(all_products)
        # 去重处理（避免重复爬取同一商品）
        df.drop_duplicates(subset=["商品ID"], inplace=True)
        # 保存为Excel文件，存储路径可自定义
        save_path = f"temu_{CATEGORY}_products.xlsx"
        df.to_excel(save_path, index=False, encoding="utf-8")
        print(f"\n爬取完成！共获取有效商品{len(df)}条，已保存至：{save_path}")
    else:
        print("\n爬取失败，未获取到任何商品数据")

if __name__ == "__main__":
    main()

def get_product_detail(product_id):
    """爬取单个商品的详情数据"""
    detail_url = "https://api.temu.com/api/v2/product/detail"  # 详情接口URL（抓包获取）
    params = {
        "product_id": product_id,
        "platform": "android",
        "version": "1.10.0"
    }
    headers = {
        "User-Agent": ua.android,
        "Cookie": COOKIE,
        "Referer": "https://m.temu.com/"
    }
    try:
        response = requests.get(detail_url, params=params, headers=headers, timeout=10)
        response.raise_for_status()
        data = response.json()
        if data.get("code") == 0:
            detail = data["data"]
            # 解析详情字段
            return {
                "商品ID": product_id,
                "商品描述": detail.get("description", ""),
                "规格参数": detail.get("specs", ""),  # 可进一步解析为字典
                "评价数量": detail.get("review_count", 0),
                "好评率": detail.get("positive_rate", 0.0)
            }
        else:
            return {}
    except Exception as e:
        print(f"商品{product_id}详情爬取异常：{str(e)}")
        return {}