前置声明:本文讨论的“商家电话批量采集”,严格限定为商家在抖音小店/精选联盟公开页面上主动展示的联系电话。电话号码属于个人信息,受《个人信息保护法》约束;未经信息主体同意的批量采集、存储与后续使用存在法律风险。HyperSpider 框架本身不内置手机号采集模块,本文展示的是 “本地保存公开页面 → 多源召回电话 → 清洗导出” 的工程化流程,全程不发起对平台的自动化高频请求,不涉及登录绕过、验证码识别或风控对抗。
直接写脚本请求抖音页面来提取电话,在实际工程中会遇到三个硬伤:
第一,页面结构高频变动。 抖音小店的前端 DOM 路径随版本迭代频繁调整,今天能命中的选择器,明天就可能失效。
第二,动态渲染字段拿不到。 很多公开页面的关键信息由 JavaScript 异步加载,requests.get() 返回的 HTML 中并不包含电话字段。
第三,请求的页面未必是“公开可见”的那一份。 登录态、地域、设备类型都可能影响返回内容,脚本拿到的数据可能超出你预期的公开范围。
相比之下,“手动保存公开页面 → 本地解析”虽然多了一步操作,但数据来源是确定、可复核、可回溯的:保存下来的 HTML 就是那一刻的公开快照,不向平台施加任何请求压力,也不会因为“采集行为本身”引发合规争议。
HyperSpider 是一款面向电商公开数据调研的轻量 Python 本地爬虫框架,核心设计原则是:先校验 robots.txt、控制请求频率、不采集手机号等个人信息、不模拟登录绕过平台权限。它的内置采集字段白名单仅覆盖商家名称、商品标题、类目、佣金比例、公开店铺链接等业务公开字段。
因此,本文的工程结构分为两层:
层级 | 负责内容 | 与 HyperSpider 的关系 |
|---|---|---|
采集层 | 按 robots 规则、限速获取公开页面 HTML | 由 HyperSpider 的合规请求模块承担 |
解析层 | 从已保存的公开 HTML中多源召回电话号码,清洗、评分、导出 | 本文扩展的本地解析模块,不替代 HyperSpider 的采集定位 |
这样的分层既保留了 HyperSpider 的合规骨架,又把“电话提取”严格限制在本地文件解析的边界内,不引入任何对平台的非公开接口调用。
pip install beautifulsoup4 requests pandas urllib3requests / urllib.robotparser:HyperSpider 采集层使用,负责合规 HTTP 请求与 robots 校验;beautifulsoup4:解析本地保存的 HTML 文件;pandas:结构化结果导出 CSV;HyperSpider 的请求模块在任何网络访问前先执行 robots 校验,并强制串行限速。以下代码为采集层的核心片段(仅作框架逻辑展示):
import time
import urllib.robotparser
from urllib.parse import urlparse
import requests
USER_AGENT = "HyperSpider/1.0 (+study purpose; public data research)"
CRAWL_DELAY = 3
TIMEOUT = 10
def check_robots_permission(target_url: str) -> bool:
parsed = urlparse(target_url)
robots_url = f"{parsed.scheme}://{parsed.netloc}/robots.txt"
rp = urllib.robotparser.RobotFileParser()
rp.set_url(robots_url)
try:
rp.read()
except Exception:
return False # 协议读取失败,保守禁止
return rp.can_fetch(USER_AGENT, target_url)
def fetch_public_page(url: str):
if not check_robots_permission(url):
return None
headers = {"User-Agent": USER_AGENT}
try:
resp = requests.get(url, headers=headers, timeout=TIMEOUT)
if resp.status_code != 200:
return None
time.sleep(CRAWL_DELAY)
return resp.text
except Exception:
return None实操建议:对于抖音小店/精选联盟的商家公开页,更推荐在浏览器中手动打开确认电话可见后,右键“另存为”保存为 .html 文件,放入 input/ 目录。这一步替代了脚本对平台的直接请求,从源头消除高频访问和风控触发的可能性。
电话在公开页面中至少可能出现在四个位置:正文文本、tel: 超链接、JSON-LD 结构化数据、内联 JSON 状态。只盯正文正则,会漏掉后三类。以下代码对本地保存的 HTML 做多通道召回 + 宽松匹配 + 严格校验。
import re
# 宽松召回:手机 / 400 / 座机,允许分隔符
PHONE_CANDIDATE = re.compile(
r"(?:(?:\+|00)86[\s-]?)?"
r"(?:1[3-9]\d[\s-]?\d{4}[\s-]?\d{4}"
r"|400[\s-]?\d{3}[\s-]?\d{4}"
r"|0\d{2,3}[\s-]?\d{7,8})"
)
CONTEXT_WORDS = ["联系", "电话", "客服", "咨询", "contact", "tel", "phone"]
def normalize(raw: str) -> str:
s = re.sub(r"[\s\-()]", "", raw)
for prefix in ("+86", "0086"):
if s.startswith(prefix):
s = s[len(prefix):]
break
return s
def is_plausible(phone: str) -> bool:
if re.fullmatch(r"1[3-9]\d{9}", phone):
return phone[1] not in "012" # 过滤订单号/时间戳的误命中
if re.fullmatch(r"400\d{7}", phone):
return True
if re.fullmatch(r"0\d{9,11}", phone):
return True
return False手机号第二位排除 0/1/2 这一条,能过滤掉大量“长得像手机号”的订单号、时间戳和内部编码。
import json
from typing import Set
from bs4 import BeautifulSoup
def extract_from_text(text: str) -> Set[str]:
return {m.group() for m in PHONE_CANDIDATE.finditer(text)}
def extract_from_tel_links(soup: BeautifulSoup) -> Set[str]:
result = set()
for a in soup.find_all("a", href=True):
href = a["href"].strip()
if href.lower().startswith("tel:"):
result.add(href[4:].strip())
return result
def extract_from_json_ld(soup: BeautifulSoup) -> Set[str]:
result = set()
for script in soup.find_all("script", type="application/ld+json"):
try:
data = json.loads(script.string or "")
except (json.JSONDecodeError, TypeError):
continue
stack = [data]
while stack:
node = stack.pop()
if isinstance(node, dict):
for key, value in node.items():
if key.lower() in ("telephone", "phone", "tel") and isinstance(value, str):
result.add(value)
if isinstance(value, (dict, list)):
stack.append(value)
elif isinstance(node, list):
stack.extend(node)
return result
def extract_from_inline_json(soup: BeautifulSoup) -> Set[str]:
"""扫描非 ld+json 的 script 标签中 tel/phone 字段"""
result = set()
for script in soup.find_all("script"):
if script.get("type") == "application/ld+json":
continue
raw = script.string or ""
if not raw.strip().startswith(("{", "[")):
continue
try:
data = json.loads(raw)
except json.JSONDecodeError:
continue
stack = [data]
while stack:
node = stack.pop()
if isinstance(node, dict):
for key, value in node.items():
if key.lower() in ("tel", "phone", "telephone") and isinstance(value, str):
if PHONE_CANDIDATE.search(value):
result.add(value)
if isinstance(value, (dict, list)):
stack.append(value)
elif isinstance(node, list):
stack.extend(node)
return result四个通道各自独立,结果取并集。某类页面即使正文里没有电话,JSON-LD 或内联 JSON 通道仍然可能命中。
import csv
import os
from dataclasses import dataclass, field
from typing import List
INPUT_DIR = "input"
OUTPUT_CSV = "output/contacts.csv"
@dataclass
class Contact:
phone: str
source: str
channel: str
context: str = ""
score: int = 0
def build_context(text: str, phone: str, window: int = 40) -> str:
idx = text.find(phone)
if idx == -1:
return ""
return text[max(0, idx - window): idx + len(phone) + window]
def score_contact(phone: str, context: str) -> int:
score = 0
ctx_lower = context.lower()
score += sum(1 for w in CONTEXT_WORDS if w in ctx_lower)
if re.fullmatch(r"1[3-9]\d{9}", phone):
score += 2
if phone.startswith("400"):
score += 1
return score
def process_file(path: str, source_name: str) -> List[Contact]:
with open(path, "r", encoding="utf-8", errors="ignore") as f:
html = f.read()
soup = BeautifulSoup(html, "html.parser")
text = soup.get_text(separator=" ", strip=True)
raw_map = {}
def add(phones: Set[str], channel: str):
for p in phones:
n = normalize(p)
if n and is_plausible(n):
raw_map.setdefault(n, channel)
add(extract_from_text(text), "text")
add(extract_from_tel_links(soup), "tel_link")
add(extract_from_json_ld(soup), "json_ld")
add(extract_from_inline_json(soup), "inline_json")
contacts = []
for phone, channel in raw_map.items():
ctx = build_context(text, phone)
contacts.append(Contact(
phone=phone,
source=source_name,
channel=channel,
context=ctx,
score=score_contact(phone, ctx),
))
contacts.sort(key=lambda c: (-c.score, c.phone))
return contacts
def main():
if not os.path.isdir(INPUT_DIR):
print(f"[提示] 请创建 {INPUT_DIR}/ 并放入本地保存的公开页面 HTML 文件")
return
all_contacts = []
for root, _, files in os.walk(INPUT_DIR):
for name in files:
if not name.lower().endswith((".html", ".htm")):
continue
path = os.path.join(root, name)
try:
all_contacts.extend(process_file(path, name))
except Exception as e:
print(f"[跳过] {name}:{e}")
seen = set()
unique = []
for c in all_contacts:
key = (c.phone, c.source)
if key not in seen:
seen.add(key)
unique.append(c)
os.makedirs(os.path.dirname(OUTPUT_CSV), exist_ok=True)
with open(OUTPUT_CSV, "w", newline="", encoding="utf-8-sig") as f:
writer = csv.writer(f)
writer.writerow(["电话", "来源文件", "来源通道", "上下文得分", "上下文片段"])
for c in unique:
writer.writerow([c.phone, c.source, c.channel, c.score, c.context])
print(f"[完成] 有效记录 {len(unique)} 条 → {OUTPUT_CSV}")
if __name__ == "__main__":
main()运行后,output/contacts.csv 会按上下文得分降序排列。来源通道列有实际工程价值:一条记录来自 json_ld,说明它是页面结构化数据中明确声明的电话,可信度天然高于从正文正则碰出来的号码,人工复核时优先看这一列。
tel: 链接和 JSON-LD 通道仍然可能拿到电话。这种冗余设计把“页面结构变动”的维护成本降到最低。is_plausible 负责“把明显不对的扔掉”。两个阶段职责分离,调参时互不干扰。input/ 下的 HTML 文件,不向抖音服务器发送任何数据,不存在“解析过程被平台识别为爬虫”的暴露面。原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。