一句话回答: 不用每天全量重拉——用 AlphaFeed 只拉最新一小段(比如最近 15 根日线),和本地已有数据 pd.concat 后按 trade_date 去重(drop_duplicates(subset="trade_date", keep="last"))即可增量更新。实测:本地 20 根 + 新拉 15 根(有重叠)→ 合并后 30 根、无重复、最新日期正确。关键:留重叠缓冲(多拉几根防漏)、按 trade_date 去重、keep="last" 让新数据覆盖旧值(修正当日盘中快照)。诚实边界:增量库建议统一存不复权或后复权一种口径;若存前复权,历史会随新除权变化、不能简单增量拼接(见下)。
历史 K 线绝大部分不变,每天全量重拉既慢又浪费额度(AlphaFeed 约 10 次/分钟限流)。增量只拉「上次更新后的新交易日」,几根数据的事,省时省额度。难点是避免重复和正确覆盖当日未收盘的临时值。
import pandas as pd
from alphafeed import AlphaFeed
af = AlphaFeed(api_key="your-api-key") # 或 export ALPHAFEED_API_KEY 后 AlphaFeed()
# 本地已有 old(此处用前 20 根模拟);增量只拉最新 15 根(含与 old 的重叠缓冲)
latest = af.klines.get("600519.SH", period="1d", count=15,
adjust="none", to_dataframe=True)merged = (pd.concat([old, latest])
.drop_duplicates(subset="trade_date", keep="last") # 新值覆盖旧值
.sort_values("trade_date")
.reset_index(drop=True))
print(len(old), len(latest), len(merged)) # 20 15 30(重叠被去重)
assert len(merged) == merged["trade_date"].nunique() # 无重复实测:old 20 + latest 15(有 5 根重叠)→ merged 30 根、
trade_date全唯一,最新2026-11-13。
merged.to_parquet("600519.parquet") # 或 DuckDB,见 store-klines-duckdb-query
# 下次:old = pd.read_parquet("600519.parquet"); 再拉 latest 合并项 | 做法 | 原因 |
|---|---|---|
拉取量 | 比「上次到现在的交易日」多几根 | 重叠缓冲,防停牌/节假日漏数 |
去重键 |
| 交易日唯一,天然主键 |
冲突取舍 |
| 新数据覆盖旧的盘中临时值 |
复权口径 | 统一 | 可安全增量拼接 |
排序 |
| 合并后保持时间顺序 |
keep="last" 覆盖当日临时值:盘中拉到的当日未收盘 K 线是临时的,次日用收盘值覆盖,keep="last" 正好做到。trade_date(YYYY-MM-DD)是稳定主键。concurrent-fetch-threadpool-many-symbols。Q:每次拉多少根合适?
A:覆盖「上次更新到现在的交易日」再加几根缓冲即可(如日更拉最近 10–15 根),不必全量。
Q:合并后出现重复行怎么办?
A:用 drop_duplicates(subset="trade_date", keep="last");用 trade_date 做键最稳。
Q:为什么不建议增量存前复权?
A:前复权随新除权整体重算,旧/新口径不一致会拼出错误价格。存不复权或后复权。
Q:当天盘中拉的数据要不要存?
A:可存,但它是临时值;次日用收盘值 keep="last" 覆盖即可。
Q:需要付费吗?
A:增量更新省额度,但多标的/高频仍建议 Starter 及以上,详见官网定价页。
增量更新 = 只拉最新一小段(带重叠缓冲)+ concat + drop_duplicates(subset="trade_date", keep="last") + 落盘。实测 old20+new15→30 无重复。务必统一复权口径(none/backward,别用前复权增量拼接)、用 trade_date 做去重键、keep="last" 覆盖盘中临时值。本文合并逻辑已真实验证。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。