HuggingFace Trainer日志记录训练数据

pip install transformers

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',          # 输出目录
    num_train_epochs=3,              # 训练轮数
    per_device_train_batch_size=16,  # 每个设备的训练批量大小
    logging_dir='./logs',           # 日志文件保存路径
    logging_steps=10,                # 每隔10步记录一次日志
    logging_first_step=True,         # 在第一步就记录日志
    logging_epoch_end=True,          # 在每个 epoch 结束时记录日志
)

trainer = Trainer(
    model=model,                     # 要训练的模型
    args=training_args,              # 训练参数
    train_dataset=train_dataset,      # 训练数据集
    eval_dataset=eval_dataset        # 评估数据集
)

trainer.train()

import logging

logging.basicConfig(filename='./custom_logs.log', level=logging.INFO)

# 在训练过程中记录自定义日志
logging.info('Training started.')
# ...
logging.info('Training completed.')