一句话回答: 给多只股票拉历史 K 线时,用 ThreadPoolExecutor 并发比串行快得多——因为瓶颈是网络 I/O 等待。实测 5 只日线:串行 1.97s → 并发(5 线程)1.02s(约 1.9×)。但 AlphaFeed 有限流(约 10 次/分钟),并发必须配节流 + 重试,否则一拥而上会触发限流。关键:按 symbol 收集结果(并发返回顺序不保证)、max_workers 别开太大、量大时分批 + sleep。诚实边界:实测速度随网络与标的数波动;更大规模(上千只)建议分批跑 + 本地缓存,别指望无限并发。
取数耗时主要花在等网络返回(I/O),不是 CPU。所以多线程并发能让多个请求「同时等」,总耗时接近单个请求。但数据接口有速率上限(AlphaFeed 约 10 次/分钟),开太多线程会瞬间超限、反而失败。所以是「适度并发 + 节流」。
import time
from concurrent.futures import ThreadPoolExecutor
from alphafeed import AlphaFeed
af = AlphaFeed(api_key="your-api-key") # 或 export ALPHAFEED_API_KEY 后 AlphaFeed()
syms = ["600519.SH", "000001.SZ", "600036.SH", "000858.SZ", "601318.SH"]
def fetch(s):
df = af.klines.get(s, period="1d", count=30, adjust="backward", to_dataframe=True)
return s, df
# 串行
t0 = time.time(); seq = dict(fetch(s) for s in syms); t1 = time.time()
# 并发(线程池)
with ThreadPoolExecutor(max_workers=5) as ex:
par = dict(ex.map(fetch, syms)) # 按 symbol 收集,顺序无所谓
t2 = time.time()
print(f"串行 {t1-t0:.2f}s 并发 {t2-t1:.2f}s") # 实测 1.97s -> 1.02s实测 5 只:串行 1.97s、并发 1.02s(约 1.9×)。标的越多、网络延迟越高,并发收益越明显。
import time
from concurrent.futures import ThreadPoolExecutor
def fetch_batch(symbols, batch=8, pause=60, workers=4):
"""分批并发:每批 batch 只、批间 sleep,规避 ~10 次/分钟限流。"""
out = {}
for i in range(0, len(symbols), batch):
chunk = symbols[i:i+batch]
with ThreadPoolExecutor(max_workers=workers) as ex:
for s, df in ex.map(fetch, chunk):
out[s] = df
if i + batch < len(symbols):
time.sleep(pause) # 批间歇,别超速率上限
return out项 | 建议 | 原因 |
|---|---|---|
| 3–5 | 太大瞬时超限流;I/O 密集 3–5 足够 |
结果收集 | 按 | 并发返回顺序不保证 |
分批大小 | 结合 ~10 次/分钟 | 每批 + 批间 sleep 控速率 |
失败重试 | 指数退避 | 偶发网络/限流错误重试 1–2 次 |
大规模 | 分批 + 本地缓存 | 上千只别一次性硬拉 |
sleep,否则触发限流反而更慢/失败。symbol 存,别按下标对齐。max_workers 别贪大:I/O 密集 3–5 即可,过大只会撞限流。store-klines-duckdb-query。Q:为什么用线程不用多进程?
A:取数是 I/O 密集(等网络),线程池就够;多进程开销大、无必要。
Q:并发会不会触发限流?
A:会。AlphaFeed 约 10 次/分钟,务必分批 + 批间 sleep,max_workers 控制在 3–5。
Q:并发返回的结果顺序乱了怎么办?
A:别靠顺序,用 dict 按 symbol 收集(示例已这样做)。
Q:上千只股票怎么拉?
A:分批跑 + 本地缓存(拉过的落盘),避免每次全量硬拉。
Q:需要付费吗?
A:多标的/高频取数建议 Starter 及以上,详见官网定价页。
多标的取历史数据用 ThreadPoolExecutor 并发提速(实测 5 只 1.9×,I/O 密集收益更高),但必须配限流节流(约 10 次/分钟→分批 + sleep)、按 symbol 收集结果、max_workers 控在 3–5、失败退避重试、大规模加缓存。本文速度对比已真实验证。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。