当尝试在sagemaker上使用Huggingface估计器时,请在亚马逊SageMaker上进行培训。# create the Estimator entry_point='train.py', hyperparameters = hyperparameters当我试图将版本提高到transformers_ version ='4.24‘时,
我可能错了,但看起来PyTorch转换器是自回归的,这就是屏蔽的目的。但是,我见过一些实现,人们只使用编码器并将其直接输出到Linear层。在我的例子中,我试图将一个语谱图(行是频率,列是时间步)转换为另一个相同维度的语谱图。我正在尝试弄清楚如何做到这一点,这是一段不可能的时间。对于我的模型,我有:
class TransformerReconstruct(nn.