huggingface-transformers:训练BERT并使用不同的注意力对其进行评估
huggingface-transformers:训练BERT并使用不同的注意力对其进行评估
提问于 2020-05-08 04:27:57
这是一个澄清问题。我正在尝试使用标准注意力训练BERT provided by huggingface，并使用不同的注意力定义进行评估。
我正在考虑的操作是在以下命令中将bert-base-uncased更改为我训练过的模型的路径(使用标准注意力)，并在我的自定义注意力版本的安装下运行--do_eval。
export GLUE_DIR=/path/to/glue
export TASK_NAME=MRPC
python ./examples/run_glue.py \
--model_name_or_path bert-base-uncased \
--task_name $TASK_NAME \
--do_eval \
--data_dir $GLUE_DIR/$TASK_NAME \
--max_seq_length 128 \
--per_gpu_eval_batch_size=8 \
--per_gpu_train_batch_size=8 \
--learning_rate 2e-5 \
--num_train_epochs 3.0 \
--output_dir /tmp/$TASK_NAME/然而，我得到了意想不到的结果。所以我想确保我使用的命令是正确的。有没有人可以跟我确认或者纠正我？
编辑:版本为2.8.0。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-05-11 20:42:29
是。通过@cronoik确认，这是正确的操作。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61667142
复制相关文章
相似问题
腾讯云开发者
