牛逼！深度学习又添新框架，来自Facebook 【Pythia】

昱良

发布于 2019-07-04 15:59:05

8080

发布于 2019-07-04 15:59:05

文章被收录于专栏：机器学习算法与Python学习

项目：Pythia

领域：视觉 & 语言

公司：Facebook

GitHub：https://github.com/facebookresearch/pythia

官方文档：https://learnpythia.readthedocs.io/en/latest/

示例：https://colab.research.google.com/drive/1Z9fsh10rFtgWe4uy8nvU4mQmqdokdIRR

简介：Pythia 是一种模块化的即插即用深度学习框架，数据科学家和机器学习开发者能快速构建、复现和构建基准模型。支持视觉和语言领域的多任务处理。

特点：

支持分布式训练及多种数据集（包括对多种数据集内置的支持，有 VQA、VizWiz、TextVQA 和 VisualDialog）；
支持自定义的损失函数、度量标准、调度和最优化器等；
提供了常用的视觉和语言层级模块；
内建了很多语料库，包括 VQA、VizWiz、TextVQA 和 VisualDialog
SoTA 视觉和语言模型的推理实现，包括 LoRRA（VQA 和 TextVQA 的 SoTA）、Pythia 模型（VQA 2018 挑战赛冠军）和 BAN；
支持多任务，允许在多个数据集上同时训练；

安装：

1# Clone Pythia repository
2git clone https://github.com/facebookresearch/pythia ~/pythia
3
4# Install dependencies and setup
5cd ~/pythia
6python setup.py develop

使用：

获取数据：目前支持特征和 ImDB

 1cd ~/pythia;
 2# Create data folder
 3mkdir -p data && cd data;
 4
 5# Download and extract the features
 6wget https://dl.fbaipublicfiles.com/pythia/features/open_images.tar.gz
 7tar xf open_images.tar.gz
 8
 9# Get vocabularies
10wget http://dl.fbaipublicfiles.com/pythia/data/vocab.tar.gz
11tar xf vocab.tar.gz
12
13# Download detectron weights required by some models
14wget http://dl.fbaipublicfiles.com/pythia/data/detectron_weights.tar.gz
15tar xf detectron_weights.tar.gz
16
17# Download and extract ImDB
18mkdir -p imdb && cd imdb
19wget https://dl.fbaipublicfiles.com/pythia/data/imdb/textvqa_0.5.tar.gz
20tar xf textvqa_0.5.tar.gz

训练：

1cd ~/pythia;
2python tools/run.py --tasks vqa --datasets textvqa --model lorra --config **
3configs/vqa/textvqa/lorra.yml

推断：

1cd ~/pythia/data
2mkdir -p models && cd models;
3
4wget https://dl.fbaipublicfiles.com/pythia/pretrained_models/textvqa/lorra_best.pthcd ../..
5
6python tools/run.py --tasks vqa --datasets textvqa --model lorra --config **
7configs/vqa/textvqa/lorra.yml --resume_file data/models/lorra_best.pth **
8--evalai_inference 1 --run_type inference

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2019-06-26，如有侵权请联系 cloudcommunity@tencent.com 删除

https