如何使用deeppavlov构建基于自定义上下文的问答模型SQuAD
如何使用deeppavlov构建基于自定义上下文的问答模型SQuAD
提问于 2021-09-16 14:03:49
我有以下问题
- 数据集格式(是如何分割列车、测试和有效数据)
- 在何处放置数据集
- 如何更改数据集阅读器
- 的路径如何将模型保存在我自己的目录
- 以及如何使用经过训练的模型
H 210G 211
编辑
my_config['dataset_reader']['data_path'] = '/home/ec2-user/SageMaker/squad/data/'
my_config['metadata']['variables']['MODELS_PATH'] = '/home/ec2-user/SageMaker/squad/model/'我使用此命令更改配置文件中的dataset路径和模型路径。我的模型保存在这个位置，但它不是在训练期间使用我的数据集，而是在该文件夹中下载自己的数据集并使用它。
回答 1
Stack Overflow用户
发布于 2021-09-16 15:35:31
- 数据集的例子是https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/dataset_readers/squad_dataset_reader.py#L46您的数据集应该具有相同的格式.
2-3。数据集应放在文件夹https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/configs/squad/squad_torch_bert.json#L4中(您可以更改文件夹名)
- 模型保存在https://github.com/deepmipt/DeepPavlov/blob/f5117cd9ad1e64f6c2d970ecaa42fc09ccb23144/deeppavlov/configs/squad/squad_torch_bert.json#L166目录中(在这里您可以编写自己的目录)
经过培训的模型可以与命令一起使用：https://github.com/deepmipt/DeepPavlov在这里可以更详细地介绍如何启动模型
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69209916
复制相关文章
相似问题
腾讯云开发者
