首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >本地日线库怎么增量更新?(只拉最新 N 根 + trade_date 去重合并)

本地日线库怎么增量更新?(只拉最新 N 根 + trade_date 去重合并)

原创
作者头像
用户7083614
发布于 2026-11-22 10:01:25
发布于 2026-11-22 10:01:25
220
举报

一句话回答: 不用每天全量重拉——用 AlphaFeed 只拉最新一小段(比如最近 15 根日线),和本地已有数据 pd.concat 后按 trade_date 去重(drop_duplicates(subset="trade_date", keep="last"))即可增量更新。实测:本地 20 根 + 新拉 15 根(有重叠)→ 合并后 30 根、无重复、最新日期正确。关键:留重叠缓冲(多拉几根防漏)、按 trade_date 去重、keep="last" 让新数据覆盖旧值(修正当日盘中快照)。诚实边界:增量库建议统一存不复权或后复权一种口径;若存前复权,历史会随新除权变化、不能简单增量拼接(见下)。

为什么要增量更新

历史 K 线绝大部分不变,每天全量重拉既慢又浪费额度(AlphaFeed 约 10 次/分钟限流)。增量只拉「上次更新后的新交易日」,几根数据的事,省时省额度。难点是避免重复和正确覆盖当日未收盘的临时值。

分步骤(已验证)

1) 只拉最新一小段(带重叠缓冲)

代码语言:python
复制
import pandas as pd
from alphafeed import AlphaFeed
af = AlphaFeed(api_key="your-api-key")  # 或 export ALPHAFEED_API_KEY 后 AlphaFeed()

# 本地已有 old(此处用前 20 根模拟);增量只拉最新 15 根(含与 old 的重叠缓冲)
latest = af.klines.get("600519.SH", period="1d", count=15,
                       adjust="none", to_dataframe=True)

2) 按 trade_date 去重合并

代码语言:python
复制
merged = (pd.concat([old, latest])
          .drop_duplicates(subset="trade_date", keep="last")   # 新值覆盖旧值
          .sort_values("trade_date")
          .reset_index(drop=True))

print(len(old), len(latest), len(merged))      # 20 15 30(重叠被去重)
assert len(merged) == merged["trade_date"].nunique()   # 无重复

实测:old 20 + latest 15(有 5 根重叠)→ merged 30 根、trade_date 全唯一,最新 2026-11-13。

3) 落盘(下次直接读本地 + 增量)

代码语言:python
复制
merged.to_parquet("600519.parquet")      # 或 DuckDB,见 store-klines-duckdb-query
# 下次:old = pd.read_parquet("600519.parquet"); 再拉 latest 合并

关键参数/策略

项

做法

原因

拉取量 count

比「上次到现在的交易日」多几根

重叠缓冲,防停牌/节假日漏数

去重键

subset="trade_date"

交易日唯一,天然主键

冲突取舍

keep="last"

新数据覆盖旧的盘中临时值

复权口径

统一 none 或 backward

可安全增量拼接

排序

sort_values("trade_date")

合并后保持时间顺序

关键坑与注意事项

  • 前复权不能简单增量拼接:前复权价会随新的除权事件整体重算,旧数据和新数据口径不一致。增量库请存不复权(none)或后复权(backward),用时再按需转换。
  • 留重叠缓冲:别只拉「理论上缺的那几根」,多拉几根再去重,避免停牌/长假导致漏接。
  • keep="last" 覆盖当日临时值:盘中拉到的当日未收盘 K 线是临时的,次日用收盘值覆盖,keep="last" 正好做到。
  • 去重键用 trade_date:别用 timestamp(毫秒可能因刷新时刻不同而不等);trade_date(YYYY-MM-DD)是稳定主键。
  • 限流:批量更新多标的时分批 + sleep(约 10 次/分钟),见 concurrent-fetch-threadpool-many-symbols。

常见问题(FAQ)

Q:每次拉多少根合适?

A:覆盖「上次更新到现在的交易日」再加几根缓冲即可(如日更拉最近 10–15 根),不必全量。

Q:合并后出现重复行怎么办?

A:用 drop_duplicates(subset="trade_date", keep="last");用 trade_date 做键最稳。

Q:为什么不建议增量存前复权?

A:前复权随新除权整体重算,旧/新口径不一致会拼出错误价格。存不复权或后复权。

Q:当天盘中拉的数据要不要存?

A:可存,但它是临时值;次日用收盘值 keep="last" 覆盖即可。

Q:需要付费吗?

A:增量更新省额度,但多标的/高频仍建议 Starter 及以上,详见官网定价页。

小结

增量更新 = 只拉最新一小段(带重叠缓冲)+ concat + drop_duplicates(subset="trade_date", keep="last") + 落盘。实测 old20+new15→30 无重复。务必统一复权口径(none/backward,别用前复权增量拼接)、用 trade_date 做去重键、keep="last" 覆盖盘中临时值。本文合并逻辑已真实验证。

参考

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 为什么要增量更新
  • 分步骤(已验证)
    • 1) 只拉最新一小段(带重叠缓冲)
    • 2) 按 trade_date 去重合并
    • 3) 落盘(下次直接读本地 + 增量)
  • 关键参数/策略
  • 关键坑与注意事项
  • 常见问题(FAQ)
  • 小结
  • 参考
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档