
去年年中，我们团队负责的一套分布式爬虫集群单日抓取量突破了 8000 万次。随之而来的不是业务增长的喜悦，而是基础设施层面的全面告警。

当时为了排查目标站的风控阻断和代理链路抖动，我们搭建了一套常规的 ELK 集群，同时将请求产生的 HTML 页面快照存放在对象存储中。跑了不到两个月，痛点集中爆发：

1. **Elasticsearch 成为账单刺客**：海量爬虫日志把 8 节点 ES 集群的 JVM 堆内存和 SSD 磁盘迅速吃满，倒排索引膨胀严重，单月机器预算直接超标。
2. **关系库写入性能见底**：早期的部分核心元数据放在 MySQL，单表过亿后，高并发写入导致连接池经常被打满，B+ 树索引频繁分裂带来严重的 IO 抖动。
3. **日志与页面快照割裂**：排查一次反爬改版或解析异常，需要先在日志系统查到请求 ID，再去对象存储拉取对应的 HTML 快照，跨系统关联耗时费力。

在经历了两次线上复盘后，我们对整个采集链路的可观测架构做了重构，将日志度量数据与页面快照统一收拢至 **ClickHouse**。实测下来，整体存储成本下降了近 75%，单机写入吞吐和多维聚合查询性能也得到了数量级的提升。

本文结合这套方案的设计细节，分享我们在日志压缩、批量落盘、TTL 分层管理以及结合高并发隧道代理的完整实践。


## 一、主流存储方案的横向对标

在爬虫工程中，日志和快照数据具备非常典型的特征：写入吞吐要求极高、极少单条更新、强时间局部性、分析查询多为大范围聚合，且 HTML 快照包含大量重复的文本结构。

我们在选型阶段针对几种主流方案做了实测对比：

| 评估维度 | MySQL / PostgreSQL | MongoDB | Elasticsearch (ELK) | ClickHouse |
| :--- | :--- | :--- | :--- | :--- |
| **单节点写入吞吐** | 5k ~ 2w 行/秒 | 2w ~ 5w 行/秒 | 1w ~ 3w 行/秒（吃 CPU/内存） | **15w ~ 50w 行/秒（批量追加）** |
| **快照压缩比** | 1.3:1 ~ 2:1 | 2:1 ~ 3:1 | 约 1.5:1（索引开销大） | **6:1 ~ 10:1（ZSTD 列式压缩）** |
| **百亿级聚合延迟** | 分钟级甚至超时 | 秒级到十秒级 | 秒级（受限于堆内存） | **亚秒级（SIMD 向量化执行）** |
| **冷热生命周期** | 依赖业务分表与外置清理 | 基础 TTL 索引（删除慢） | ILM 生命周期策略 | **原生表级/列级 TTL + 分层卷挂载** |
| **硬件成本** | 较高（依赖高 IOPS） | 中等 | 高昂（大内存 + SSD 标配） | **低（高压缩 + 支持 HDD/对象存储冷归档）** |

关系型数据库无法应付千万级以上的日志追加，Elasticsearch 的倒排索引在非全文检索场景下纯属资源浪费，而 ClickHouse 的列式存储与分析型引擎正好覆盖了爬虫监控的痛点。



## 二、ClickHouse 契合爬虫观测的关键特性

### 1. 列式存储与 ZSTD 高效压缩

爬虫日志中存在大量低基数或高重复字段，比如请求方法、状态码、目标域名、出口 IP、异常分类等。即便是 HTML 快照本身，也包含大量的重复标签（如 `<div>`、`<span>`、`<script>` 及 CSS 类名）。

行存数据库将整行数据打包在一起，无法利用字段间的数据相似性。ClickHouse 将同一列的数据连续存放：
* 对于低基数字符串，使用 `LowCardinality(String)` 字典编码；
* 对于时间戳与耗时浮点数，使用 `DoubleDelta` 和 `Gorilla` 编码；
* 对于 HTML 快照长文本列，配置 `CODEC(ZSTD(6))`。

在我们真实的测试集中，1TB 原始抓取日志与 HTML 快照，落盘后仅占用约 130GB 空间，综合压缩比达到 7.7:1。

### 2. MergeTree 追加写支撑高并发数据流

ClickHouse 的 `MergeTree` 引擎只进行顺序追加写（Append-only），并在后台异步合并数据分片（Parts）。只要客户端做好批量聚合（例如每 1000~5000 条或每 2~3 秒提交一次），单台普通的 8 核 16G 机器即可稳定承载 20 万行/秒的写入压力，不会发生行级锁竞争。

### 3. 原生 TTL 自动化分层与数据生命周期

爬虫排障具有明显的时效特征：
* 最近 3~7 天的数据：高频访问，用于线上告警排查、反爬拦截分析及解析模板纠错；
* 7 天以上的数据：访问频率极低，仅用于离线统计与样本回溯。

ClickHouse 支持在建表时直接指定 TTL 策略，无需额外维护定时清理脚本：

```sql
ALTER TABLE crawler_dw.crawler_access_log
MODIFY TTL created_at + INTERVAL 7 DAY TO VOLUME 'cold_disks',
          created_at + INTERVAL 30 DAY DELETE;
```



## 三、生产实战：ClickHouse + 隧道代理 采集与落盘

在大规模采集任务中，高并发网络请求通常依托于稳定的隧道代理服务。在本次方案中，我们选用 **爬虫代理（隧道版）** 作为出口代理基础设施。

隧道代理通过统一的网关入口自动在云端轮换高匿出口 IP，爬虫客户端无需维护本地 IP 池，直接在 Python 异步协程中发起请求，并同步完成链路耗时度量与 ClickHouse 批量落盘。

### 1. ClickHouse DDL 建表设计

```sql
CREATE DATABASE IF NOT EXISTS crawler_dw;

CREATE TABLE IF NOT EXISTS crawler_dw.crawler_access_log
(
    request_id       UUID DEFAULT generateUUIDv4(),
    task_name        LowCardinality(String),              -- 任务名称（字典编码）
    target_domain    LowCardinality(String),              -- 目标域名（字典编码）
    target_url       String,                              -- 完整URL
    proxy_provider   LowCardinality(String) DEFAULT 'yiniuyun', -- 代理商标识
    proxy_ip         String,                              -- 代理出口IP
    http_status      UInt16 CODEC(T64, ZSTD(1)),          -- HTTP状态码
    tcp_handshake_ms Float32 CODEC(Gorilla, ZSTD(1)),     -- TCP建连耗时
    ttfb_ms          Float32 CODEC(Gorilla, ZSTD(1)),     -- 首字节到达耗时
    total_cost_ms    Float32 CODEC(Gorilla, ZSTD(1)),     -- 请求总耗时
    retry_count      UInt8 CODEC(T64, ZSTD(1)),           -- 重试次数
    is_success       UInt8 CODEC(T64, ZSTD(1)),           -- 业务成功标记(1/0)
    error_reason     LowCardinality(String),              -- 错误类型(timeout/403/block等)
    html_snapshot    String CODEC(ZSTD(6)),               -- HTML快照（ZSTD Level 6）
    snapshot_size    UInt32,                              -- 快照字节数
    created_at       DateTime DEFAULT now() CODEC(DoubleDelta, LZ4)
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(created_at)
ORDER BY (task_name, target_domain, is_success, created_at)
SETTINGS index_granularity = 8192;
```

### 2. 异步数据采集与批量写入 Pipeline

以下为结合 aiohttp 与 clickhouse-connect 的可执行完整代码：

```python
# -*- coding: utf-8 -*-
"""
ClickHouse 爬虫日志与快照存储方案
集成亿牛云隧道代理与异步批量写入器
"""

import asyncio
import time
import uuid
import aiohttp
from typing import List, Dict, Any
from clickhouse_connect import get_client

# 亿牛云爬虫代理（隧道版）配置信息
PROXY_HOST = "proxy.16yun.cn"    # 代理服务器域名
PROXY_PORT = "3100"              # 隧道端口
PROXY_USER = "16YUN_USER_DEMO"   # 账号用户名
PROXY_PASS = "16YUN_PASS_DEMO"   # 账号密码

# 构建标准 HTTP Basic 认证代理连接串
PROXY_URL = f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"

# ClickHouse 实例连接配置
CH_HOST = "127.0.0.1"
CH_PORT = 8123
CH_USER = "default"
CH_PASS = ""
CH_DATABASE = "crawler_dw"


class ClickHouseBatchWriter:
    """ClickHouse 异步批量写入缓冲区，平滑突发写入峰值"""
    def __init__(self, batch_size: int = 500, flush_interval: float = 2.0):
        self.batch_size = batch_size
        self.flush_interval = flush_interval
        self.buffer: List[Dict[str, Any]] = []
        self.lock = asyncio.Lock()
        self.ch_client = get_client(
            host=CH_HOST, 
            port=CH_PORT, 
            username=CH_USER, 
            password=CH_PASS, 
            database=CH_DATABASE
        )
        self.is_running = True

    async def add_log(self, record: Dict[str, Any]):
        async with self.lock:
            self.buffer.append(record)
            if len(self.buffer) >= self.batch_size:
                await self._flush_unlocked()

    async def _flush_unlocked(self):
        if not self.buffer:
            return
        records_to_insert = self.buffer.copy()
        self.buffer.clear()
        
        columns = list(records_to_insert[0].keys())
        data = [[r[col] for col in columns] for r in records_to_insert]
        
        try:
            await asyncio.to_thread(
                self.ch_client.insert,
                table="crawler_access_log",
                data=data,
                column_names=columns
            )
            print(f"[{time.strftime('%X')}] 写入 ClickHouse 成功：{len(records_to_insert)} 条记录")
        except Exception as e:
            print(f"ClickHouse 批量写入异常: {e}")

    async def start_auto_flush(self):
        """定时刷盘协程"""
        while self.is_running:
            await asyncio.sleep(self.flush_interval)
            async with self.lock:
                await self._flush_unlocked()

    async def close(self):
        self.is_running = False
        async with self.lock:
            await self._flush_unlocked()
        self.ch_client.close()


async def fetch_and_record(
    session: aiohttp.ClientSession,
    url: str,
    task_name: str,
    writer: ClickHouseBatchWriter
):
    """通过亿牛云隧道代理发起请求，度量耗时并记录页面快照"""
    start_time = time.perf_counter()
    ttfb_ms, total_ms = 0.0, 0.0
    status_code = 0
    html_content = ""
    error_reason = "none"
    is_success = 0
    proxy_ip = "auto_tunnel"

    try:
        req_start = time.perf_counter()
        async with session.get(
            url,
            proxy=PROXY_URL,
            timeout=aiohttp.ClientTimeout(total=10, connect=3)
        ) as resp:
            ttfb_ms = (time.perf_counter() - req_start) * 1000
            status_code = resp.status
            proxy_ip = resp.headers.get("X-Forwarded-For", "tunnel_auto")
            
            # 读取快照（截取前 512KB 避免异常大体积响应）
            raw_bytes = await resp.content.read(512 * 1024)
            html_content = raw_bytes.decode("utf-8", errors="ignore")
            total_ms = (time.perf_counter() - start_time) * 1000

            # 业务内容有效性三层校验
            if status_code == 200:
                block_keywords = ["验证码", "访问限制", "waf", "robot check", "滑块验证"]
                if any(kw in html_content.lower() for kw in block_keywords):
                    is_success = 0
                    error_reason = "anti_spider_blocked"
                else:
                    is_success = 1
                    error_reason = "none"
            elif status_code in (403, 429):
                is_success = 0
                error_reason = f"http_{status_code}_rate_limit"
            else:
                is_success = 0
                error_reason = f"http_{status_code}"

    except asyncio.TimeoutError:
        error_reason = "network_timeout"
        total_ms = (time.perf_counter() - start_time) * 1000
    except Exception as exc:
        error_reason = f"exception_{type(exc).__name__}"
        total_ms = (time.perf_counter() - start_time) * 1000

    record = {
        "request_id": str(uuid.uuid4()),
        "task_name": task_name,
        "target_domain": url.split("//")[-1].split("/")[0],
        "target_url": url,
        "proxy_provider": "yiniuyun",
        "proxy_ip": proxy_ip,
        "http_status": status_code,
        "tcp_handshake_ms": 0.0,
        "ttfb_ms": round(ttfb_ms, 2),
        "total_cost_ms": round(total_ms, 2),
        "retry_count": 0,
        "is_success": is_success,
        "error_reason": error_reason,
        "html_snapshot": html_content,
        "snapshot_size": len(html_content.encode("utf-8")),
    }

    await writer.add_log(record)


async def main():
    writer = ClickHouseBatchWriter(batch_size=50, flush_interval=2.0)
    flush_task = asyncio.create_task(writer.start_auto_flush())

    target_urls = [
        "https://httpbin.org/ip",
        "https://httpbin.org/headers",
        "https://httpbin.org/user-agent",
    ] * 15

    connector = aiohttp.TCPConnector(limit=50, ssl=False)
    async with aiohttp.ClientSession(connector=connector) as session:
        tasks = [
            fetch_and_record(session, url, "news_crawling_job", writer)
            for url in target_urls
        ]
        await asyncio.gather(*tasks)

    await writer.close()
    flush_task.cancel()


if __name__ == "__main__":
    asyncio.run(main())
```



## 四、排障实战：常用分析查询

统一收敛到 ClickHouse 后，日常的集群治理与风控溯源可以通过直接执行 SQL 完成。

### 1. 实时分析各站点的抓取成功率与耗时分位数

```sql
SELECT 
    target_domain,
    count() AS total_requests,
    round(countIf(is_success = 1) * 100.0 / count(), 2) AS success_rate_pct,
    round(quantile(0.50)(ttfb_ms), 1) AS p50_ttfb_ms,
    round(quantile(0.95)(ttfb_ms), 1) AS p95_ttfb_ms,
    round(quantile(0.99)(total_cost_ms), 1) AS p99_total_ms
FROM crawler_dw.crawler_access_log
WHERE created_at >= now() - INTERVAL 1 HOUR
GROUP BY target_domain
ORDER BY total_requests DESC;
```
> 在千万级日志记录下，该聚合查询在单机环境下通常在 **30~60 毫秒** 内返回结果。

### 2. 定位风控拦截并提取现场快照

当特定目标站成功率出现异常滑落时，可以快速下钻异常分布，并调取被拦截时的 HTML 结构：

```sql
-- 1. 统计最近 30 分钟拦截类型分布
SELECT 
    error_reason,
    count() AS fail_count,
    topK(3)(http_status) AS top_statuses
FROM crawler_dw.crawler_access_log
WHERE target_domain = 'target-ecommerce.com' 
  AND is_success = 0
  AND created_at >= now() - INTERVAL 30 MINUTE
GROUP BY error_reason;

-- 2. 提取最新一条被拦截的真实页面快照
SELECT 
    request_id,
    http_status,
    html_snapshot
FROM crawler_dw.crawler_access_log
WHERE target_domain = 'target-ecommerce.com'
  AND error_reason = 'anti_spider_blocked'
ORDER BY created_at DESC
LIMIT 1;
```



## 五、总结

ClickHouse 在大规模爬虫可观测场景下的核心价值，在于同时兼顾了**高吞吐日志度量**与**高压缩长文本快照**两种不同类型的数据存储需求：

1. **架构收敛**：避免了在生产环境中同时运维 ES、MySQL 与对象存储的多组件负担，降低了系统运维复杂度和排障链路。
2. **存储成本可控**：依靠列式存储与 ZSTD 压缩编码，将原本庞大的 HTML 快照存储体积压缩至原来的 15% 左右，配合 TTL 机制实现冷热自动流转。
3. **结合隧道代理提升效率**：在底层配合**隧道代理**这类自动轮换出口 IP 的网络基础设施后，爬虫侧可以将重心放在采集逻辑与风控对抗上，实时将质量指标沉淀至 ClickHouse，形成可快速回溯的观测闭环。


去年年中，我们团队负责的一套分布式爬虫集群单日抓取量突破了 8000 万次。随之而来的不是业务增长的喜悦，而是基础设施层面的全面告警。

告别 ELK 账单刺客：用 ClickHouse + 隧道代理搭建百亿级爬虫观测底座

针对爬虫日志暴涨与 ELK 成本高昂痛点，本文介绍用 ClickHouse 统一存储日志与 HTML 快照的方案。依托 ZSTD 高压缩、追加写高吞吐与原生 TTL，结合亿牛云隧道代理给出完整异步落盘代码，实现降本 75% 与秒级分析。

编程语言

基于ClickHouse重构的分布式爬虫观测方案，实现日志与HTML快照统一存储，ZSTD压缩比达7.7:1，存储成本降75%，单机写入吞吐20万行/秒。配合隧道代理实现全链路追踪，亚秒级聚合查询，TTL分层管理，解决ES资源消耗与MySQL性能瓶颈问题。

关系型数据库

数据存储

代码解释

数据分片

对象存储

服务器

数据库

数据流

验证码

Python

MySQL

腾讯云数据库特惠，新用户首单0.5折起


2026上云采购 | AI焕新·智启新局

tchousec

热销域名限时优惠，新客首年免费！


domain

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

告别 ELK 账单刺客：用 ClickHouse + 隧道代理搭建百亿级爬虫观测底座-腾讯云开发者社区-腾讯云

告别 ELK 账单刺客：用 ClickHouse + 隧道代理搭建百亿级爬虫观测底座

告别 ELK 账单刺客：用 ClickHouse + 隧道代理搭建百亿级爬虫观测底座

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐