问transformers库中BertModel中的hidden_states元组的内容是如何排列的

EN

model = BertModel.from_pretrained('bert-base-uncased', config=BertConfig.from_pretrained('bert-base-uncased',output_hidden_states=True))
outputs = model(input_ids) 
hidden_states = outputs[2]

hidden_states是13个torch.FloatTensors的元组。每个张量的大小为：(batch_size, sequence_length, hidden_size)。根据文档，13个张量是嵌入和12个编码层的隐藏状态。

我的问题是：

hidden_states[0]是嵌入层，而hidden_states[12]是第12个编码层，还是

hidden_states[0]是嵌入层，而hidden_states[12]是第一个编码层，还是

hidden_states[0]是第12个编码层，而hidden_states[12]是嵌入层，还是

hidden_states[0]是第一个编码层，而hidden_states[12]是嵌入层吗

我在其他任何地方都没有发现这一点。