pip install requests beautifulsoup4 pandas urllib3


Python >=3.8，Windows/Linux/Mac 均可，推荐腾讯云 CVM 轻量应用服务器做本地调试（仅用于学习测试）。

四、HyperSpider 核心代码实现（合规版）

# hyper_spider_douyin_union.py
import time
import urllib.robotparser
from urllib.parse import urlparse
import requests
from bs4 import BeautifulSoup
import pandas as pd
import logging

# -------------------------- 日志配置（便于审计采集行为） --------------------------
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s - %(levelname)s - %(message)s",
    filename="hyper_spider.log"
)
logger = logging.getLogger("HyperSpider")

# -------------------------- 合规配置项（必须手动配置） --------------------------
USER_AGENT = "HyperSpider/1.0 (+https://github.com/demo; study purpose only)"
# 请求间隔，最低3秒，建议设置更大，降低站点压力
CRAWL_DELAY = 3
TIMEOUT = 10

# 导出存储列表
result_list = []

def check_robots_permission(target_url: str) -> bool:
    """
    校验robots.txt，判断是否允许抓取该URL
    """
    parsed_url = urlparse(target_url)
    robots_url = f"{parsed_url.scheme}://{parsed_url.netloc}/robots.txt"
    rp = urllib.robotparser.RobotFileParser()
    rp.set_url(robots_url)
    try:
        rp.read()
        allow = rp.can_fetch(USER_AGENT, target_url)
        logger.info(f"robots校验结果 url={target_url}, allow={allow}")
        return allow
    except Exception as e:
        logger.warning(f"读取robots失败: {str(e)}")
        # robots.txt无法读取时，默认禁止抓取，保守合规
        return False

def fetch_public_page(url: str):
    """
    获取页面公开HTML，仅robots允许的页面才会请求
    """
    if not check_robots_permission(url):
        logger.warning(f"robots禁止访问，跳过：{url}")
        return None

    headers = {
        "User-Agent": USER_AGENT
    }
    try:
        resp = requests.get(url, headers=headers, timeout=TIMEOUT)
        if resp.status_code != 200:
            logger.error(f"请求失败，状态码:{resp.status_code} url={url}")
            return None
        time.sleep(CRAWL_DELAY) # 强制延时
        return resp.text
    except Exception as e:
        logger.error(f"页面请求异常: {str(e)}")
        return None

def parse_public_info(html: str):
    """
    解析页面公开信息：商家名称、商品标题、类目、佣金比例
    【重点】不解析手机号、联系人等隐私信息
    此处为模拟解析逻辑，真实环境需要根据页面DOM结构调整
    """
    soup = BeautifulSoup(html, "html.parser")
    # =========模拟解析，仅演示结构，线上页面dom结构会变化=========
    items = soup.select(".goods-item")
    for item in items:
        shop_name = item.select_one(".shop-name").get_text(strip=True) if item.select_one(".shop-name") else ""
        goods_title = item.select_one(".goods-title").get_text(strip=True) if item.select_one(".goods-title") else ""
        category = item.select_one(".category").get_text(strip=True) if item.select_one(".category") else ""
        commission_rate = item.select_one(".commission").get_text(strip=True) if item.select_one(".commission") else ""

        row = {
            "商家名称": shop_name,
            "商品标题": goods_title,
            "商品类目": category,
            "佣金比例": commission_rate
        }
        result_list.append(row)
    return

def export_csv(file_name="精选联盟公开商家信息.csv"):
    """导出公开数据至本地CSV"""
    df = pd.DataFrame(result_list)
    df.to_csv(file_name, index=False, encoding="utf-8-sig")
    logger.info(f"数据导出完成，文件：{file_name}，总记录数：{len(result_list)}")

def main():
    # ============【测试地址】仅用于本地学习，不可直接访问抖音线上精选联盟地址===========
    test_url = "https://demo-study-site.com/douyin/union/demo"
    logger.info("HyperSpider启动，仅用于电商公开信息学习采集")
    html = fetch_public_page(test_url)
    if html:
        parse_public_info(html)
    export_csv()
    logger.info("任务结束")

if __name__ == "__main__":
    main()


打开输出 CSV 文件，字段：商家名称、商品标题、商品类目、佣金比例。

，可以查看 robots 校验结果、请求状态、异常信息，方便自查采集行为是否合规。

六、HyperSpider 合规使用规范（必看）

Q1：为什么 HyperSpider 不支持商家电话采集？

A：手机号码属于《个人信息保护法》定义的个人信息。未经信息主体同意，采集、存储、使用手机号涉嫌违法。同时抖音精选联盟平台规则明确禁止未经许可抓取商家联系方式，因此框架设计层面直接移除该功能。

A：robots.txt 是网站所有者声明哪些页面允许爬虫访问的协议文件，是爬虫开发者最基础的合规判断依据。HyperSpider 内置自动校验模块，每次请求前都会检查。

Q3：能不能部署在腾讯云服务器上跑爬虫？

，但必须遵守目标网站规则以及腾讯云服务协议。严禁利用云服务器大规模对第三方站点发起爬虫请求，否则会触发云平台风控。

Q4：如果页面上商家自愿公开手机号，是否可以采集？

A：即使页面上展示手机号，采集行为依然需要满足《个人信息保护法》“合法、正当、必要” 原则，并且取得信息主体同意。电商商家手机号属于商业联系人信息，批量采集依然存在法律风险，本工具不提供该解析功能。

HyperSpider 是面向电商市场调研学习的轻量爬虫框架，核心亮点是内置 robots 协议校验、请求限速等合规机制。本文代码仅用于学习网页解析、爬虫合规体系开发。

在抖音精选联盟生态下，获取商家与商品公开信息，

；爬虫仅作为技术研究手段。所有开发者在做电商数据项目时，需要同步熟悉《网络安全法》《个人信息保护法》以及平台服务协议，守住合规底线，避免法律风险。

HyperSpider-抖音精选联盟商家采集软件操作教程

人工智能

本文介绍HyperSpider抖音精选联盟合规数据采集工具，聚焦公开商家名称、商品标题、类目及佣金比例等非敏感信息解析。内置robots协议校验、请求限速功能，遵循《个人信息保护法》与平台规范，不采集手机号等隐私数据，提供技术学习代码及操作教程。

4核4G3M云服务器 新用户低至38元/年！

2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

HyperSpider-抖音精选联盟商家采集软件操作教程

HyperSpider-抖音精选联盟商家采集软件操作教程

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐