一、问题场景：我在量化实盘中遇到的真实困境

我第一次真正意识到“时间轴也是数据”的时候，是在做跨市场因子研究。

当时我的研究对象不再只是 A 股，而是同时包含：

我想比较不同市场资产过去 N 个交易日的表现，然后把这些数据放到同一个研究 DataFrame 里。

结果第一版程序跑出来以后，缺失值非常多。

后来我才发现，我当时实际上做了一件错误的事情：

我把不同市场的交易日直接当成了同一条时间轴。

比如某一天 A 股正常交易，但美股因为当地节假日休市。

如果我直接做日期对齐，那么美股当天出现空值是完全正常的。

这个区别对量化研究非常重要。

如果我把正常休市当成数据缺失，然后用前值填充，甚至把它当成当天的收盘价继续计算，那么我就可能人为制造出一条不存在的行情。

1. 自然日期和交易日期不是一个概念

我现在做多市场数据工程时，会把时间轴拆成三个概念：

自然日期
   ↓
市场交易日
   ↓
具体行情时间


分钟策略则进一步关注交易时间。

A股：可能有完整交易
港股：可能有完整交易
美股：可能还没有开始交易


如果我把它们强行放在一条时间轴上，所谓的数据缺口自然会大量出现。

2. 不同市场的时区也会制造假缺口

假设我把所有行情统一转换成 UTC 时间，再按日期分组。

原本属于当地交易日的数据，可能在 UTC 日期上发生跨日。

那么很可能把本来属于同一个交易日的数据拆到两个自然日期里。

这也是我现在尽量避免直接用自然日期进行跨市场数据拼接的原因。

3. 日线数据和分钟数据不能使用同一套缺口逻辑

日 K 缺一根，我通常会检查交易日连续性。

所以我后来把数据完整性检查设计成“按周期分层”。

merged = pd.merge(
    a_share,
    us_stock,
    on="trade_date",
    how="outer",
)


我当时犯的错误是把空值数量直接当成数据质量指标。

跨市场数据做 outer join 以后出现 NaN，本身并不能证明数据缺失。

我后来尝试建立一个完整的自然日期索引：

然后所有市场 reindex 到这个索引。

这个方案看起来整齐，但实际上更糟。

因为它把“市场没有交易”和“数据接口漏数据”混在了一起。

第三阶段：按市场分别建立时间轴

我现在更倾向于先分别获取各市场数据。

A股数据
    ↓
A股自己的交易日集合

港股数据
    ↓
港股自己的交易日集合

美股数据
    ↓
美股自己的交易日集合


然后在研究层根据具体策略需求决定如何对齐。

如果研究的是单市场策略，我根本不需要跨市场补齐。

如果研究的是跨市场因子，我才进行显式对齐。

这个思路虽然多了一点工程代码，但错误会少很多。

下面这个例子模拟我的一个实际检查流程：分别读取三个市场的数据，然后先检查每个市场自己的数据范围和重复记录，而不是一上来就强行合并。

import os
import datetime
from typing import Dict

import pandas as pd
from quantdash import QuantDash


def timestamp_ms(year: int, month: int, day: int) -> int:
    """生成毫秒时间戳。"""
    dt = datetime.datetime(year, month, day)
    return int(dt.timestamp() * 1000)


def validate_market_data(
    symbol: str,
    df: pd.DataFrame,
) -> Dict[str, object]:
    """检查单个市场行情数据。"""
    if df.empty:
        return {
            "symbol": symbol,
            "rows": 0,
            "duplicate_dates": 0,
            "missing_core_values": True,
            "status": "empty",
        }

    date_column = "trade_date"

    if date_column not in df.columns:
        return {
            "symbol": symbol,
            "rows": len(df),
            "duplicate_dates": -1,
            "missing_core_values": True,
            "status": "missing_trade_date",
        }

    duplicate_count = int(
        df[date_column].duplicated().sum()
    )

    core_columns = [
        "open",
        "high",
        "low",
        "close",
        "volume",
    ]

    available_columns = [
        column
        for column in core_columns
        if column in df.columns
    ]

    missing_core_values = bool(
        df[available_columns].isna().any().any()
    )

    status = "ok"

    if duplicate_count > 0:
        status = "duplicate"

    if missing_core_values:
        status = "missing_values"

    return {
        "symbol": symbol,
        "rows": len(df),
        "duplicate_dates": duplicate_count,
        "missing_core_values": missing_core_values,
        "status": status,
        "first_date": str(df[date_column].min()),
        "last_date": str(df[date_column].max()),
    }


def main() -> None:
    api_key = os.getenv("QUANTDASH_API_KEY")

    if not api_key:
        raise RuntimeError(
            "请设置 QUANTDASH_API_KEY 环境变量"
        )

    qd = QuantDash(api_key=api_key)

    start_time = timestamp_ms(2026, 5, 1)
    end_time = timestamp_ms(2026, 6, 1)

    symbols = [
        "600519.SH",
        "00700.HK",
        "AAPL.US",
    ]

    results = []

    try:
        for symbol in symbols:
            df = qd.klines.get(
                symbol,
                period="1d",
                start_time=start_time,
                end_time=end_time,
                to_dataframe=True,
            )

            df = df.sort_values(
                "trade_date"
            ).reset_index(drop=True)

            result = validate_market_data(
                symbol,
                df,
            )

            results.append(result)

        report = pd.DataFrame(results)

        print("多市场数据质量检查结果:")
        print(report.to_string(index=False))

    except Exception as exc:
        print(f"数据获取失败: {exc}")


if __name__ == "__main__":
    main()


这段程序有一个我特别强调的地方：

我没有把三个市场直接拼成一个 DataFrame。

我的经验是，数据工程里“先合并再处理”非常容易掩盖原始问题。

原始市场数据
      ↓
单市场质量检查
      ↓
统一字段
      ↓
统一时间语义
      ↓
研究需求决定对齐方式


多市场数据什么时候可以直接对齐？

那么我会使用“最近有效观测”思路，而不是简单按照自然日期填充。

那就应该基于时间戳做 as-of 类型的时间匹配。

所以我现在写数据处理代码之前，通常先问自己：

量化研究中如何处理数据缺口：真正难的不是补数据，而是统一时间轴

编程语言

数据库

算法

多市场数据合并后出现"缺失"多源于交易日历与时区差异而非数据源问题。本文从实战出发，解析自然日期与交易日区分、时区转换影响，提出按市场分别校验再对齐的流程，强调先定位NaN来源而非直接填充，并区分日线与分钟级数据检查逻辑，避免错误对齐与假缺口。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

量化研究中如何处理数据缺口：真正难的不是补数据，而是统一时间轴

量化研究中如何处理数据缺口：真正难的不是补数据，而是统一时间轴

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐