Backtrader 是 2015 年开源的 Python 量化回测框架(支持实盘交易),功能丰富,操作方便灵活:
如果你想在本地通过 Python 尽可能“随心所欲”的进行策略回测和交易,选它!选它!选它!就选它!
Bcaktrader 的安装很简单,不依赖额外的库,除了绘图时依赖的 matplotlib 库(版本要求是 >=1.4.1):
# 若已经安装了 matplotlib ,只需安装 backtrader
pip install backtrader
# 若没有安装 matplotlib,可将其与 backtrader 一起安装
pip install backtrader[plotting]
下图是 Bcaktrader 的主要模块,Backtrader 以“大脑”cerebro 为统一的调度中心,数据、策略、回测条件等信息都会导入 cerebro 中,并由 cerebro 启动和完成回测,最后返回回测结果:
QIML公众号独家绘制
Backtrader各模块各司其职,对模块进行灵活的配置可满足绝大部分的回测需求。通常的回测流程如下:
step 1:构建策略
step 2:实例化策略引擎 cerebro,由 cerebro 来驱动回测
用一张图总结以上步骤:
QIML公众号独家绘制
Backtrader 回测代码编写流程如下:
import backtrader as bt # 导入 Backtrader
import backtrader.indicators as btind # 导入策略分析模块
import backtrader.feeds as btfeeds # 导入数据模块
# 创建策略
class TestStrategy(bt.Strategy):
# 可选,设置回测的可变参数:如移动均线的周期
params = (
(...,...), # 最后一个“,”最好别删!
)
def log(self, txt, dt=None):
'''可选,构建策略打印日志的函数:可用于打印订单记录或交易记录等'''
dt = dt or self.datas[0].datetime.date(0)
print('%s, %s' % (dt.isoformat(), txt))
def __init__(self):
'''必选,初始化属性、计算指标等'''
pass
def notify_order(self, order):
'''可选,打印订单信息'''
pass
def notify_trade(self, trade):
'''可选,打印交易信息'''
pass
def next(self):
'''必选,编写交易策略逻辑'''
sma = btind.SimpleMovingAverage(...) # 计算均线
pass
# 实例化 cerebro
cerebro = bt.Cerebro()
# 通过 feeds 读取数据
data = btfeeds.BacktraderCSVData(...)
# 将数据传递给 “大脑”
cerebro.adddata(data)
# 通过经纪商设置初始资金
cerebro.broker.setcash(...)
# 设置单笔交易的数量
cerebro.addsizer(...)
# 设置交易佣金
cerebro.broker.setcommission(...)
# 添加策略
cerebro.addstrategy(TestStrategy)
# 添加策略分析指标
cerebro.addanalyzer(...)
# 添加观测器
cerebro.addobserver(...)
# 启动回测
cerebro.run()
# 可视化回测结果
cerebro.plot()
下面就参照上面的模板,一步步教大家如何用 Backtrader 进行选股回测 。本文省去了选股过程,直接提供最终的选股结果,然后对选股结果做回测,具体的回测条件如下:
测试用到 2 个数据集,一个是日度历史行情数据,另一个是最终的选股结果数据集 。
1、日度行情数据集
测试用的数据集 daily_price.csv 对应的是 510 只股票各自从 2019-01-02 至 2021-01-28 的日度行情数据(后复权),共有 8 个字段,除 sec_code 字段外,其余 7 个字段是 Data Feeds 导入 DataFrame 数据时默认必须包含的字段:
daily_price = pd.read_csv("daily_price.csv", parse_dates=['datetime'])
daily_price
datetime sec_code open high low close volume openinterest
0 2019-01-02 600466.SH 33.064891 33.496709 31.954503 32.386321 10629352 0
1 2019-01-02 603228.SH 50.660230 51.458513 50.394136 51.120778 426147 0
2 2019-01-02 600315.SH 148.258423 150.480132 148.258423 149.558935 2138556 0
3 2019-01-02 000750.SZ 49.512579 53.154883 48.715825 51.561375 227557612 0
... ... ... ... ... ... ... ... ...
255968 2021-01-28 300558.SZ 134.155888 137.600704 130.700970 131.569750 5330301 0
255969 2021-01-28 600171.SH 39.774873 39.830040 38.864630 38.947380 12354183 0
255970 2021-01-28 600597.SH 47.190201 49.243025 46.250355 46.423484 32409940 0
255971 2021-01-28 600584.SH 204.725839 210.226650 199.225028 199.799026 68831481 0
255972 rows × 8 columns
测试用的数据集 trade_info.csv 就是最终的选股结果,共包含 3 个字段:trade_date 调仓期(每月最后一个交易日)、sec_code 持仓成分股代码、weight 持仓权重 。
trade_info = pd.read_csv("trade_info.csv", parse_dates=['trade_date'])
trade_info
trade_date sec_code weight
0 2019-01-31 000006.SZ 0.007282
1 2019-01-31 000008.SZ 0.009783
2 2019-01-31 000025.SZ 0.006928
3 2019-01-31 000090.SZ 0.007234
... ... ... ...
2491 2021-01-28 603737.SH 0.019291
2492 2021-01-28 603816.SH 0.022646
2493 2021-01-28 603866.SH 0.018611
2494 2021-01-28 688088.SH 0.007600
2495 rows × 3 columns
导入 backtrader 时,约定俗成的将其缩写为 bt 。由于回测用到的各种原材料都是需要被添加给“大脑” cerebro的,所以最开始可以先实例化大脑:
import backtrader as bt # 导入 Backtrader
# 实例化 cerebro
cerebro = bt.Cerebro()
如果没啥感觉,可以运行如下代码小试一下,若返回下面的结果,恭喜你!成功完成一个“空”回测 ~
import backtrader as bt # 导入 Backtrader
# 实例化 cerebro
cerebro = bt.Cerebro()
# 打印初始资金
print('Starting Portfolio Value: %.2f' % cerebro.broker.getvalue())
# 启动回测
cerebro.run()
# 打印回测完成后的资金
print('Final Portfolio Value: %.2f' % cerebro.broker.getvalue())
Starting Portfolio Value: 10000.00
Final Portfolio Value: 10000.00
4、如何导入多只股票的历史行情数据?
Backtrader 通过 DataFeeds 模块来导入各式各样的数据。由于读取 daily_price.csv 文件后就生成了 DataFrame 表格,所以选用 DataFeeds 的 PandasData() 方法来导入,导入的 DataFrame 有默认的格式要求:
该如何导入本次回测用到的 510 只股票的数据,并让 Backtrader 知道这是哪只股票的数据?我们采用的是循环导入的方式,每次循环导入一只股票的数据并将数据名称命名为股票名,如下所示:
# 按股票代码,依次循环传入数据
for stock in daily_price['sec_code'].unique():
# 日期对齐
data = pd.DataFrame(index=daily_price.index.unique()) # 获取回测区间内所有交易日
df = daily_price.query(f"sec_code=='{stock}'")[['open','high','low','close','volume','openinterest']]
data_ = pd.merge(data, df, left_index=True, right_index=True, how='left')
# 缺失值处理:日期对齐时会使得有些交易日的数据为空,所以需要对缺失数据进行填充
data_.loc[:,['volume','openinterest']] = data_.loc[:,['volume','openinterest']].fillna(0)
data_.loc[:,['open','high','low','close']] = data_.loc[:,['open','high','low','close']].fillna(method='pad')
data_.loc[:,['open','high','low','close']] = data_.loc[:,['open','high','low','close']].fillna(0)
# 导入数据
datafeed = bt.feeds.PandasData(dataname=data_, fromdate=datetime.datetime(2019,1,2), todate=datetime.datetime(2021,1,28))
cerebro.adddata(datafeed, name=stock) # 通过 name 实现数据集与股票的一一对应
print(f"{stock} Done !")
在导入多只股票数据时需注意以下细节:
▪ 各股交易日不统一:上市日期不一致、退市日期不一致、回测区间内出现停牌等,都会使得不同股票各自的交易日数量不统一,所以要以回测区间内所有交易日为基础,对每只股票缺失的交易日进行补齐;
▪ 行情数据缺失:在补齐交易日过程中,会使得补充的交易日缺失行情数据,需对缺失数据进行填充。比如将缺失的 volume 填充为 0,表示股票无法交易的状态;将缺失的高开低收做前向填充;将上市前缺失的高开低收填充为 0 等;
▪ 股票与行情数据的匹配:通过设置 adddata() 方法中 name 参数,来实现数据集与股票的一 一对应关系。
Backtrader 通过 Broker 模块来模拟证券交易中的“经纪商”角色(比如大家熟悉的证券公司),所以像初始资金、手续费等与经纪商相关的各种信息是通过 Broker 模块来配置的:
# 初始资金 100,000,000
cerebro.broker.setcash(100000000.0)
# 佣金,双边各 0.0003
cerebro.broker.setcommission(commission=0.0003)
# 滑点:双边各 0.0001
cerebro.broker.set_slippage_perc(perc=0.0001)
此外,还可以通过 analyzers 策略分析模块和 observers 观测器模块提前配置好要返回的回测结果,比如想要返回策略的收益率序列、常规的策略评价指标,就可以提前将指标添加给大脑:
cerebro.addanalyzer(bt.analyzers.TimeReturn, _name='pnl') # 返回收益率时序数据
cerebro.addanalyzer(bt.analyzers.AnnualReturn, _name='_AnnualReturn') # 年化收益率
cerebro.addanalyzer(bt.analyzers.SharpeRatio, _name='_SharpeRatio') # 夏普比率
cerebro.addanalyzer(bt.analyzers.DrawDown, _name='_DrawDown') # 回撤
6、如何编写交易策略?
所有的交易策略都是写在自定义的策略类里,如下面的 TestStrategy 类,自定义的策略类名称可以任意取,但必须继承 Backtrader 内置的 Strategy 类,即 bt.Strategy 。相当于是给大家提供了一个策略接口,大家只需调用这个接口,专心编写自己的策略,而无需关心接口的具体内容。
class TestStrategy(bt.Strategy): # 类的名字可以随意取
...
那如何基于 trade_info.csv 的调仓信息在构建的 TestStrategy 里实现买卖操作呢?在TestStrategy 里至少需要定义 __init__() 和 next() 方法。其中, __init__() 用于初始化各类属性,next() 用于下单交易,如下所示:
# 通过继承 Strategy 基类,来构建自己的交易策略子类
class MyStrategy(bt.Strategy):
# 定义我们自己写的这个 MyStrategy 类的专有属性
def __init__(self):
'''必选,策略中各类指标的批量计算或是批量生成交易信号都可以写在这里'''
pass
# 构建交易函数: 策略交易的主体部分
def next(self):
'''必选,在这里根据交易信号进行买卖下单操作'''
pass
具体到选股策略:1. trade_info.csv 里的调仓日和持仓列表就可以定义在 __init__() 里,方便 next() 函数调用;2. 在 next() 里,判断每个交易日是否为调仓日,如果是调仓日就按调仓权重卖出旧股,买入新股。具体代码如下:
# 回测策略
class TestStrategy(bt.Strategy):
'''选股策略'''
def __init__(self):
self.buy_stock = trade_info # 保留调仓列表
# 读取调仓日期,即每月的最后一个交易日,回测时,会在这一天下单,然后在下一个交易日,以开盘价买入
self.trade_dates = pd.to_datetime(self.buy_stock['trade_date'].unique()).tolist()
self.order_list = [] # 记录以往订单,方便调仓日对未完成订单做处理
self.buy_stocks_pre = [] # 记录上一期持仓
def next(self):
dt = self.datas[0].datetime.date(0) # 获取当前的回测时间点
# 如果是调仓日,则进行调仓操作
if dt in self.trade_dates:
print("--------------{} 为调仓日----------".format(dt))
# 在调仓之前,取消之前所下的没成交也未到期的订单
if len(self.order_list) > 0:
for od in self.order_list:
self.cancel(od) # 如果订单未完成,则撤销订单
self.order_list = [] #重置订单列表
# 提取当前调仓日的持仓列表
buy_stocks_data = self.buy_stock.query(f"trade_date=='{dt}'")
long_list = buy_stocks_data['sec_code'].tolist()
print('long_list', long_list) # 打印持仓列表
# 对现有持仓中,调仓后不再继续持有的股票进行卖出平仓
sell_stock = [i for i in self.buy_stocks_pre if i not in long_list]
print('sell_stock', sell_stock) # 打印平仓列表
if len(sell_stock) > 0:
print("-----------对不再持有的股票进行平仓--------------")
for stock in sell_stock:
data = self.getdatabyname(stock)
if self.getposition(data).size > 0 :
od = self.close(data=data)
self.order_list.append(od) # 记录卖出订单
# 买入此次调仓的股票:多退少补原则
print("-----------买入此次调仓期的股票--------------")
for stock in long_list:
w = buy_stocks_data.query(f"sec_code=='{stock}'")['weight'].iloc[0] # 提取持仓权重
data = self.getdatabyname(stock)
order = self.order_target_percent(data=data, target=w*0.95) # 为减少可用资金不足的情况,留 5% 的现金做备用
self.order_list.append(order)
self.buy_stocks_pre = long_list # 保存此次调仓的股票列表
# 将编写的策略添加给大脑,别忘了 !
cerebro.addstrategy(TestStrategy)
策略细节说明:
1、__init__() 函数在回测过程中只会在最开始的时候调用一次,而 next() 会每个交易日依次循环调用多次;
2、为了提高回测效率,对于策略用到的辅助数据、一次性就能计算完成的指标等,都建议在 __init__() 里生成或计算;对于复杂的选股策略,建议参考本文的方式,事先确定好调仓日期、成分、权重,再将结果导入 Backtrader 做回测;
3、Backtrader 默认情况下是:在 t 日运行下单函数,然后在 t+1 日以开盘价成交;
4、交易函数说明:
在 TestStrategy 里还可以定义许多打印日志的函数,常用的有 notify_order() 订单日志、notify_trade() 交易日志、notify_cashvalue() 资金信息、notify_store() 交易事件说明等等。比如再往上面的 TestStrategy 里添加 notify_order() ,用于打印具体的订单信息:
def notify_order(self, order):
# 未被处理的订单
if order.status in [order.Submitted, order.Accepted]:
return
# 已经处理的订单
if order.status in [order.Completed, order.Canceled, order.Margin]:
if order.isbuy():
self.log(
'BUY EXECUTED, ref:%.0f,Price: %.2f, Cost: %.2f, Comm %.2f, Size: %.2f, Stock: %s' %
(order.ref, # 订单编号
order.executed.price, # 成交价
order.executed.value, # 成交额
order.executed.comm, # 佣金
order.executed.size, # 成交量
order.data._name)) # 股票名称
else: # Sell
self.log('SELL EXECUTED, ref:%.0f, Price: %.2f, Cost: %.2f, Comm %.2f, Size: %.2f, Stock: %s' %
(order.ref,
order.executed.price,
order.executed.value,
order.executed.comm,
order.executed.size,
order.data._name))
打印的部分日志信息如下:
2019-02-01, BUY EXECUTED, ref:1,Price: 177.31, Cost: 697180.74, Comm 209.15, Size: 3932.00, Stock: 000006.SZ
2019-02-01, BUY EXECUTED, ref:2,Price: 81.76, Cost: 937090.98, Comm 281.13, Size: 11462.00, Stock: 000008.SZ
2019-02-01, BUY EXECUTED, ref:3,Price: 46.15, Cost: 662750.37, Comm 198.83, Size: 14360.00, Stock: 000025.SZ
2019-02-01, BUY EXECUTED, ref:4,Price: 25.11, Cost: 691557.36, Comm 207.47, Size: 27536.00, Stock: 000090.SZ
2019-02-01, BUY EXECUTED, ref:5,Price: 6.13, Cost: 333978.23, Comm 100.19, Size: 54439.00, Stock: 000536.SZ
2019-02-01, BUY EXECUTED, ref:6,Price: 30.00, Cost: 286969.07, Comm 86.09, Size: 9567.00, Stock: 000587.SZ
2019-02-01, BUY EXECUTED, ref:7,Price: 103.05, Cost: 1263876.16, Comm 379.16, Size: 12265.00, Stock: 000598.SZ
2019-02-01, BUY EXECUTED, ref:8,Price: 36.84, Cost: 451202.22, Comm 135.36, Size: 12247.00, Stock: 000612.SZ
2019-02-01, BUY EXECUTED, ref:9,Price: 172.78, Cost: 891370.87, Comm 267.41, Size: 5159.00, Stock: 000636.SZ
8、如何提取回测结果?
想要提取回测结果,首先要确保已经启动并完成回测,然后再从返回的 result 中提取事先配置好的回测结果:
# 启动回测
result = cerebro.run()
# 从返回的 result 中提取回测结果
strat = result[0]
# 返回日度收益率序列
daily_return = pd.Series(strat.analyzers.pnl.get_analysis())
# 打印评价指标
print("--------------- AnnualReturn -----------------")
print(strat.analyzers._AnnualReturn.get_analysis())
print("--------------- SharpeRatio -----------------")
print(strat.analyzers._SharpeRatio.get_analysis())
print("--------------- DrawDown -----------------")
print(strat.analyzers._DrawDown.get_analysis())
最终打印出来的原始结果如下所示,也可以按需对结果的数据结果做进一步的处理:
--------------- AnnualReturn -----------------
OrderedDict([(2019, 0.2421668400755459), (2020, 0.21542275632539853), (2021, 0.017567210073598405)])
--------------- SharpeRatio -----------------
OrderedDict([('sharperatio', 1.5512121051534207)])
--------------- DrawDown -----------------
AutoOrderedDict([('len', 136), ('drawdown', 6.655064560818994), ('moneydown', 10952970.349310666), ('max', AutoOrderedDict([('len', 206), ('drawdown', 20.374812759676267), ('moneydown', 27705182.493407518)]))])
小结
本文先是整体介绍了 Backtrader 的功能和主要模块,然后教大家用 Backtrader 实现了一个简单的选股回测流程:
导入 Backtrader → 实例化大脑 → 导入数据 → 配置回测条件 → 编写交易逻辑 → 打印日志 → 运行回测 → 提取回测结果
其实 Backtrader 的功能远不止这些,还有很多功能没有提及,也有很多细节未做深入讲解。如何可视化回测结果?如何对各模块的配置做修改?Backtrader 的数据调用规则是什么?支持的订单类型有哪些?订单撮合逻辑是怎样的?如何实现多策略回测?如何进行参数调优?如何对接实盘交易?...... 想要熟练的使用 Backtrader,还有很多内容要学。
最后问问自己:我打算放弃了么?放弃吧 ~ 不!放弃吧 ~ 不!放弃吧 ~ 不!
量化投资与机器学习微信公众号,是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业20W+关注者,连续2年被腾讯云+社区评选为“年度最佳作者”。