如何使用BERT层序列输出？

from transformers import BertTokenizer, BertModel

# 加载BERT模型和分词器
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 输入文本
text = "Hello, how are you?"

# 分词
tokens = tokenizer.tokenize(text)

# 添加特殊标记
tokens = ['[CLS]'] + tokens + ['[SEP]']

# 将分词转换为对应的ID
input_ids = tokenizer.convert_tokens_to_ids(tokens)

# 将ID转换为PyTorch张量
input_ids = torch.tensor([input_ids])

# 使用BERT模型获取层序列输出
outputs = model(input_ids)

# 获取层序列输出
layer_outputs = outputs[2]  # 第3个输出为层序列输出

# layer_outputs是一个包含所有层输出的元组，每个元素都是一个形状为(batch_size, sequence_length, hidden_size)的张量