hidden_size = output_layer.shape[-1].value # 768
print("=============================")
print("打印融合特征的相关张量的形状...= pooled_output
print("=============================")
输出:
=============================
打印融合特征的相关张量的形状...来获取,然后我们将每一层的768维度的特征映射成1维,对每一个特征进行最后一个维度的拼接后经过softmax层,得到每一层特征相对应的权重,最后经过[batchsize,max_len,1,12] ×...[batchsize,max_len,12,768],得到[batchszie,max_len,1,768],去除掉一维得到[batchsize,max_len,768],这样我们就得到了可以动态选择的特征...,接下来就可以利用该特征进行相关的微调任务了。