首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >HyperSpider采集器使用教程 抖音小店商家电话如何批量采集

HyperSpider采集器使用教程 抖音小店商家电话如何批量采集

原创
作者头像
vx-taobao01221
发布于 2026-11-18 11:00:24
发布于 2026-11-18 11:00:24
400
举报

HyperSpider采集器使用教程:抖音小店商家电话如何批量采集(合规公开数据版)

前置声明:本文讨论的“商家电话批量采集”,严格限定为商家在抖音小店/精选联盟公开页面上主动展示的联系电话。电话号码属于个人信息,受《个人信息保护法》约束;未经信息主体同意的批量采集、存储与后续使用存在法律风险。HyperSpider 框架本身不内置手机号采集模块,本文展示的是 “本地保存公开页面 → 多源召回电话 → 清洗导出” 的工程化流程,全程不发起对平台的自动化高频请求,不涉及登录绕过、验证码识别或风控对抗。

一、为什么“先保存、再解析”是更稳妥的批量采集路径

直接写脚本请求抖音页面来提取电话,在实际工程中会遇到三个硬伤:

第一,页面结构高频变动。 抖音小店的前端 DOM 路径随版本迭代频繁调整,今天能命中的选择器,明天就可能失效。

第二,动态渲染字段拿不到。 很多公开页面的关键信息由 JavaScript 异步加载,requests.get() 返回的 HTML 中并不包含电话字段。

第三,请求的页面未必是“公开可见”的那一份。 登录态、地域、设备类型都可能影响返回内容,脚本拿到的数据可能超出你预期的公开范围。

相比之下,“手动保存公开页面 → 本地解析”虽然多了一步操作,但数据来源是确定、可复核、可回溯的:保存下来的 HTML 就是那一刻的公开快照,不向平台施加任何请求压力,也不会因为“采集行为本身”引发合规争议。

二、HyperSpider 的定位与本文代码的关系

HyperSpider 是一款面向电商公开数据调研的轻量 Python 本地爬虫框架,核心设计原则是:先校验 robots.txt、控制请求频率、不采集手机号等个人信息、不模拟登录绕过平台权限。它的内置采集字段白名单仅覆盖商家名称、商品标题、类目、佣金比例、公开店铺链接等业务公开字段。

因此,本文的工程结构分为两层:

层级

负责内容

与 HyperSpider 的关系

采集层

按 robots 规则、限速获取公开页面 HTML

由 HyperSpider 的合规请求模块承担

解析层

从已保存的公开 HTML中多源召回电话号码,清洗、评分、导出

本文扩展的本地解析模块,不替代 HyperSpider 的采集定位

这样的分层既保留了 HyperSpider 的合规骨架,又把“电话提取”严格限制在本地文件解析的边界内,不引入任何对平台的非公开接口调用。

三、环境准备

代码语言:javascript
复制
pip install beautifulsoup4 requests pandas urllib3
  • requests / urllib.robotparser:HyperSpider 采集层使用,负责合规 HTTP 请求与 robots 校验;
  • beautifulsoup4:解析本地保存的 HTML 文件;
  • pandas:结构化结果导出 CSV;
  • Python 版本 ≥ 3.8,Windows / Linux / macOS 均可,推荐在腾讯云 CVM 轻量应用服务器上做本地调试。

四、第一步:合规地获取公开页面快照

HyperSpider 的请求模块在任何网络访问前先执行 robots 校验,并强制串行限速。以下代码为采集层的核心片段(仅作框架逻辑展示):

代码语言:javascript
复制
import time
import urllib.robotparser
from urllib.parse import urlparse
import requests

USER_AGENT = "HyperSpider/1.0 (+study purpose; public data research)"
CRAWL_DELAY = 3
TIMEOUT = 10


def check_robots_permission(target_url: str) -> bool:
    parsed = urlparse(target_url)
    robots_url = f"{parsed.scheme}://{parsed.netloc}/robots.txt"
    rp = urllib.robotparser.RobotFileParser()
    rp.set_url(robots_url)
    try:
        rp.read()
    except Exception:
        return False  # 协议读取失败,保守禁止
    return rp.can_fetch(USER_AGENT, target_url)


def fetch_public_page(url: str):
    if not check_robots_permission(url):
        return None
    headers = {"User-Agent": USER_AGENT}
    try:
        resp = requests.get(url, headers=headers, timeout=TIMEOUT)
        if resp.status_code != 200:
            return None
        time.sleep(CRAWL_DELAY)
        return resp.text
    except Exception:
        return None

实操建议:对于抖音小店/精选联盟的商家公开页,更推荐在浏览器中手动打开确认电话可见后,右键“另存为”保存为 .html 文件,放入 input/ 目录。这一步替代了脚本对平台的直接请求,从源头消除高频访问和风控触发的可能性。

五、第二步:多源召回电话(核心解析代码)

电话在公开页面中至少可能出现在四个位置:正文文本、tel: 超链接、JSON-LD 结构化数据、内联 JSON 状态。只盯正文正则,会漏掉后三类。以下代码对本地保存的 HTML 做多通道召回 + 宽松匹配 + 严格校验。

5.1 正则与校验规则

代码语言:javascript
复制
import re

# 宽松召回:手机 / 400 / 座机,允许分隔符
PHONE_CANDIDATE = re.compile(
    r"(?:(?:\+|00)86[\s-]?)?"
    r"(?:1[3-9]\d[\s-]?\d{4}[\s-]?\d{4}"
    r"|400[\s-]?\d{3}[\s-]?\d{4}"
    r"|0\d{2,3}[\s-]?\d{7,8})"
)

CONTEXT_WORDS = ["联系", "电话", "客服", "咨询", "contact", "tel", "phone"]


def normalize(raw: str) -> str:
    s = re.sub(r"[\s\-()]", "", raw)
    for prefix in ("+86", "0086"):
        if s.startswith(prefix):
            s = s[len(prefix):]
            break
    return s


def is_plausible(phone: str) -> bool:
    if re.fullmatch(r"1[3-9]\d{9}", phone):
        return phone[1] not in "012"   # 过滤订单号/时间戳的误命中
    if re.fullmatch(r"400\d{7}", phone):
        return True
    if re.fullmatch(r"0\d{9,11}", phone):
        return True
    return False

手机号第二位排除 0/1/2 这一条,能过滤掉大量“长得像手机号”的订单号、时间戳和内部编码。

5.2 四通道提取函数

代码语言:javascript
复制
import json
from typing import Set
from bs4 import BeautifulSoup


def extract_from_text(text: str) -> Set[str]:
    return {m.group() for m in PHONE_CANDIDATE.finditer(text)}


def extract_from_tel_links(soup: BeautifulSoup) -> Set[str]:
    result = set()
    for a in soup.find_all("a", href=True):
        href = a["href"].strip()
        if href.lower().startswith("tel:"):
            result.add(href[4:].strip())
    return result


def extract_from_json_ld(soup: BeautifulSoup) -> Set[str]:
    result = set()
    for script in soup.find_all("script", type="application/ld+json"):
        try:
            data = json.loads(script.string or "")
        except (json.JSONDecodeError, TypeError):
            continue
        stack = [data]
        while stack:
            node = stack.pop()
            if isinstance(node, dict):
                for key, value in node.items():
                    if key.lower() in ("telephone", "phone", "tel") and isinstance(value, str):
                        result.add(value)
                    if isinstance(value, (dict, list)):
                        stack.append(value)
            elif isinstance(node, list):
                stack.extend(node)
    return result


def extract_from_inline_json(soup: BeautifulSoup) -> Set[str]:
    """扫描非 ld+json 的 script 标签中 tel/phone 字段"""
    result = set()
    for script in soup.find_all("script"):
        if script.get("type") == "application/ld+json":
            continue
        raw = script.string or ""
        if not raw.strip().startswith(("{", "[")):
            continue
        try:
            data = json.loads(raw)
        except json.JSONDecodeError:
            continue
        stack = [data]
        while stack:
            node = stack.pop()
            if isinstance(node, dict):
                for key, value in node.items():
                    if key.lower() in ("tel", "phone", "telephone") and isinstance(value, str):
                        if PHONE_CANDIDATE.search(value):
                            result.add(value)
                    if isinstance(value, (dict, list)):
                        stack.append(value)
            elif isinstance(node, list):
                stack.extend(node)
    return result

四个通道各自独立,结果取并集。某类页面即使正文里没有电话,JSON-LD 或内联 JSON 通道仍然可能命中。

5.3 上下文评分与去重导出

代码语言:javascript
复制
import csv
import os
from dataclasses import dataclass, field
from typing import List

INPUT_DIR = "input"
OUTPUT_CSV = "output/contacts.csv"


@dataclass
class Contact:
    phone: str
    source: str
    channel: str
    context: str = ""
    score: int = 0


def build_context(text: str, phone: str, window: int = 40) -> str:
    idx = text.find(phone)
    if idx == -1:
        return ""
    return text[max(0, idx - window): idx + len(phone) + window]


def score_contact(phone: str, context: str) -> int:
    score = 0
    ctx_lower = context.lower()
    score += sum(1 for w in CONTEXT_WORDS if w in ctx_lower)
    if re.fullmatch(r"1[3-9]\d{9}", phone):
        score += 2
    if phone.startswith("400"):
        score += 1
    return score


def process_file(path: str, source_name: str) -> List[Contact]:
    with open(path, "r", encoding="utf-8", errors="ignore") as f:
        html = f.read()
    soup = BeautifulSoup(html, "html.parser")
    text = soup.get_text(separator=" ", strip=True)

    raw_map = {}

    def add(phones: Set[str], channel: str):
        for p in phones:
            n = normalize(p)
            if n and is_plausible(n):
                raw_map.setdefault(n, channel)

    add(extract_from_text(text), "text")
    add(extract_from_tel_links(soup), "tel_link")
    add(extract_from_json_ld(soup), "json_ld")
    add(extract_from_inline_json(soup), "inline_json")

    contacts = []
    for phone, channel in raw_map.items():
        ctx = build_context(text, phone)
        contacts.append(Contact(
            phone=phone,
            source=source_name,
            channel=channel,
            context=ctx,
            score=score_contact(phone, ctx),
        ))
    contacts.sort(key=lambda c: (-c.score, c.phone))
    return contacts


def main():
    if not os.path.isdir(INPUT_DIR):
        print(f"[提示] 请创建 {INPUT_DIR}/ 并放入本地保存的公开页面 HTML 文件")
        return

    all_contacts = []
    for root, _, files in os.walk(INPUT_DIR):
        for name in files:
            if not name.lower().endswith((".html", ".htm")):
                continue
            path = os.path.join(root, name)
            try:
                all_contacts.extend(process_file(path, name))
            except Exception as e:
                print(f"[跳过] {name}:{e}")

    seen = set()
    unique = []
    for c in all_contacts:
        key = (c.phone, c.source)
        if key not in seen:
            seen.add(key)
            unique.append(c)

    os.makedirs(os.path.dirname(OUTPUT_CSV), exist_ok=True)
    with open(OUTPUT_CSV, "w", newline="", encoding="utf-8-sig") as f:
        writer = csv.writer(f)
        writer.writerow(["电话", "来源文件", "来源通道", "上下文得分", "上下文片段"])
        for c in unique:
            writer.writerow([c.phone, c.source, c.channel, c.score, c.context])

    print(f"[完成] 有效记录 {len(unique)} 条 → {OUTPUT_CSV}")


if __name__ == "__main__":
    main()

运行后,output/contacts.csv 会按上下文得分降序排列。来源通道列有实际工程价值:一条记录来自 json_ld,说明它是页面结构化数据中明确声明的电话,可信度天然高于从正文正则碰出来的号码,人工复核时优先看这一列。

六、几个关键设计点

  1. 多通道召回,单通道失效不影响整体。 抖音页面一旦改版导致正文选择器失效,tel: 链接和 JSON-LD 通道仍然可能拿到电话。这种冗余设计把“页面结构变动”的维护成本降到最低。
  2. 宽松召回 + 严格校验分开。 正则负责“宁可多捞”,is_plausible 负责“把明显不对的扔掉”。两个阶段职责分离,调参时互不干扰。
  3. 上下文得分只做粗排序,不做自动决策。 得分高的记录优先复核,但最终是否可用应由人工结合上下文片段判断。代码不替使用者做“哪个电话能用”的决定。
  4. 全程本地文件操作,零网络请求。 解析阶段只读 input/ 下的 HTML 文件,不向抖音服务器发送任何数据,不存在“解析过程被平台识别为爬虫”的暴露面。

七、合规边界总结

  • 只处理商家主动公开的电话。如果商家没有在公开页面展示电话,工具无法获取,也不应通过任何非正常手段获取。
  • 不将导出数据出售、共享或用于骚扰性营销。采集到的电话仅限个人技术学习、市场研究或合法的商务对接场景使用。
  • 优先使用平台官方开放能力。抖音精选联盟/抖店开放平台提供了授权链路下的数据接口,真实业务数据获取应首选官方 API,本文的本地解析方案仅作为公开页面整理的技术学习参考。
  • HyperSpider 的采集层不包含电话提取规则。本文的解析模块是独立扩展,不改变框架“不采集个人信息”的设计定位;使用者在任何情况下都不应将解析结果用于违反《个人信息保护法》或平台规则的目的。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • HyperSpider采集器使用教程:抖音小店商家电话如何批量采集(合规公开数据版)
    • 一、为什么“先保存、再解析”是更稳妥的批量采集路径
    • 二、HyperSpider 的定位与本文代码的关系
    • 三、环境准备
    • 四、第一步:合规地获取公开页面快照
    • 五、第二步:多源召回电话(核心解析代码)
      • 5.1 正则与校验规则
      • 5.2 四通道提取函数
      • 5.3 上下文评分与去重导出
    • 六、几个关键设计点
    • 七、合规边界总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档