如何将VOC XML文件转化成COCO数据格式

数据转换实在是个烦人的工作,被折磨了很久决定抽出时间整理一下,仅供参考。

在一个项目中,我需要将已有的VOC的xml标注文件转化成COCO的数据格式,为了方便理解,文章按如下顺序介绍:

  • XML文件内容长什么样
  • COCO的数据格式长什么样
  • XML如何转化成COCO格式

VOC XML长什么样?

下面我只把重要信息题练出来,如下所示:

<annotation>
    <folder>文件夹目录</folder>
    <filename>图片名.jpg</filename>
    <path>path_to\at002eg001.jpg</path>
    <source>
        <database>Unknown</database>
    </source>
    <size>
        <width>550</width>
        <height>518</height>
        <depth>3</depth>
    </size>
    <segmented>0</segmented>
    <object>
        <name>Apple</name>
        <pose>Unspecified</pose>
        <truncated>0</truncated>
        <difficult>0</difficult>
        <bndbox>
            <xmin>292</xmin>
            <ymin>218</ymin>
            <xmax>410</xmax>
            <ymax>331</ymax>
        </bndbox>
    </object>
    <object>
        ...
    </object>
</annotation>

可以看到一个xml文件包含如下信息:

  • folder: 文件夹
  • filename:文件名
  • path:路径
  • source:我项目里没有用到
  • size:图片大小
  • segmented:图像分割会用到,本文仅以目标检测(bounding box为例进行介绍)
  • object:一个xml文件可以有多个object,每个object表示一个box,每个box有如下信息组成:
    • name:改box框出来的object属于哪一类,例如Apple
    • bndbox:给出左上角和右下角的坐标
    • truncated:略
    • difficult:略

# COCO长什么样?

## COCO目录啥样? 不同于VOC,一张图片对应一个xml文件,coco是直接将所有图片以及对应的box信息写在了一个json文件里。通常整个coco目录长这样: python coco |______annotations # 存放标注信息 | |__train.json | |__val.json | |__test.json |______trainset # 存放训练集图像 |______valset # 存放验证集图像 |______testset # 存放测试集图像

## COCO的json文件啥样?

一个标准的json文件包含如下信息:

{
   "info": info,
   "images": [image],
   "annotations": [annotation],
   "licenses": [license],
}

info{
   "year": int,
   "version": str,
   "description": str,
   "contributor": str,
   "url": str,
   "date_created": datetime,
   }
image{
       "id": int,
       "width": int,
       "height": int,
       "file_name": str,
       "license": int,
       "flickr_url": str,
       "coco_url": str,
       "date_captured": datetime,
   }
license{
   "id": int,
   "name": str,
   "url": str,
   }

是不是有点抽象?官网就是这样的,酸爽不酸爽,反正我看官网看的一脸懵。。。可能是还欠点修行

那么json里具体每一个是干嘛用的呢?且let me一一道来。(散装英语说的好爽)

  • info: 这个记录的是你的数据集信息,例如
"info": { # 数据集信息描述
        "description": "COCO 2017 Dataset", # 数据集描述
        "url": "http://cocodataset.org", # 下载地址
        "version": "1.0", # 版本
        "year": 2017, # 年份
        "contributor": "COCO Consortium", # 提供者
        "date_created": "2017/09/01" # 数据创建日期
    }    `
  • licenses: 记录的就是license。。。,license可以有多个,因为可能你是从多个渠道获得的数据,例如
"licenses": [
        {
            "url": "http://creativecommons.org/licenses/by-nc-sa/2.0/",
            "id": 1,
            "name": "Attribution-NonCommercial-ShareAlike License"
        },
        ……
        ……
    ],
  • images:这个其实就是记录每一张图片的信息,主要的有 文件名、宽、高、id,其他的可选,如:
"images": [
        {
            "file_name": "000000397133.jpg", # 图片名
            "id": 397133 # 图片的ID编号(每张图片ID是唯一的)
            "height": 427, # 高
            "width": 640, # 宽
            
            "license": 4,
            "coco_url":  "http://images.cocodataset.org/val2017/000000397133.jpg",# 网路地址路径
            "date_captured": "2013-11-14 17:02:52", # 数据获取日期
            "flickr_url": "http://farm7.staticflickr.com/6116/6255196340_da26cf2c9e_z.jpg",# flickr网路地址
        },
        ……,
        ……
    ]
  • categories:这个很好理解,就是你的类别信息。 其中需要注意的是:
    • 有一个key是“supercategory”,之所以有这个是因为在COCO数据集中有的类别其实是可以归类为同一类的,例如猫和狗都属于Animal
    • id编号是从1开始的,0默认为背景 示例如下:

    "categories": [ { "supercategory": "person", # 主类别 "id": 1, # 类对应的id (0 默认为背景) "name": "person" # 子类别 }, { "supercategory": "Animal", "id": 2, "name": "bicycle" }, { "supercategory": "vehicle", "id": 3, "name": "car" }, …… …… ],

如何将XML转化为COCO格式

下面直接搬运别人已经写好的代码,亲测有效。使用注意事项:须先安装lxml库,另外你要确保你的xml文件里类别不要出错,例如我自己的数据集因为有的类别名称多了个下划线或者其他手贱误敲的字母,导致这些类别就被当成新的类别了。祝好运。

#!/usr/bin/python

# pip install lxml

import sys
import os
import json
import xml.etree.ElementTree as ET


START_BOUNDING_BOX_ID = 1
PRE_DEFINE_CATEGORIES = {}
# If necessary, pre-define category and its id
#  PRE_DEFINE_CATEGORIES = {"aeroplane": 1, "bicycle": 2, "bird": 3, "boat": 4,
                         #  "bottle":5, "bus": 6, "car": 7, "cat": 8, "chair": 9,
                         #  "cow": 10, "diningtable": 11, "dog": 12, "horse": 13,
                         #  "motorbike": 14, "person": 15, "pottedplant": 16,
                         #  "sheep": 17, "sofa": 18, "train": 19, "tvmonitor": 20}


def get(root, name):
    vars = root.findall(name)
    return vars


def get_and_check(root, name, length):
    vars = root.findall(name)
    if len(vars) == 0:
        raise NotImplementedError('Can not find %s in %s.'%(name, root.tag))
    if length > 0 and len(vars) != length:
        raise NotImplementedError('The size of %s is supposed to be %d, but is %d.'%(name, length, len(vars)))
    if length == 1:
        vars = vars[0]
    return vars


def get_filename_as_int(filename):
    try:
        filename = os.path.splitext(filename)[0]
        return int(filename)
    except:
        raise NotImplementedError('Filename %s is supposed to be an integer.'%(filename))


def convert(xml_list, xml_dir, json_file):
    list_fp = open(xml_list, 'r')
    json_dict = {"images":[], "type": "instances", "annotations": [],
                 "categories": []}
    categories = PRE_DEFINE_CATEGORIES
    bnd_id = START_BOUNDING_BOX_ID
    for line in list_fp:
        line = line.strip()
        print("Processing %s"%(line))
        xml_f = os.path.join(xml_dir, line)
        tree = ET.parse(xml_f)
        root = tree.getroot()
        path = get(root, 'path')
        if len(path) == 1:
            filename = os.path.basename(path[0].text)
        elif len(path) == 0:
            filename = get_and_check(root, 'filename', 1).text
        else:
            raise NotImplementedError('%d paths found in %s'%(len(path), line))
        ## The filename must be a number
        image_id = get_filename_as_int(filename)
        size = get_and_check(root, 'size', 1)
        width = int(get_and_check(size, 'width', 1).text)
        height = int(get_and_check(size, 'height', 1).text)
        image = {'file_name': filename, 'height': height, 'width': width,
                 'id':image_id}
        json_dict['images'].append(image)
        ## Cruuently we do not support segmentation
        #  segmented = get_and_check(root, 'segmented', 1).text
        #  assert segmented == '0'
        for obj in get(root, 'object'):
            category = get_and_check(obj, 'name', 1).text
            if category not in categories:
                new_id = len(categories)
                categories[category] = new_id
            category_id = categories[category]
            bndbox = get_and_check(obj, 'bndbox', 1)
            xmin = int(get_and_check(bndbox, 'xmin', 1).text) - 1
            ymin = int(get_and_check(bndbox, 'ymin', 1).text) - 1
            xmax = int(get_and_check(bndbox, 'xmax', 1).text)
            ymax = int(get_and_check(bndbox, 'ymax', 1).text)
            assert(xmax > xmin)
            assert(ymax > ymin)
            o_width = abs(xmax - xmin)
            o_height = abs(ymax - ymin)
            ann = {'area': o_width*o_height, 'iscrowd': 0, 'image_id':
                   image_id, 'bbox':[xmin, ymin, o_width, o_height],
                   'category_id': category_id, 'id': bnd_id, 'ignore': 0,
                   'segmentation': []}
            json_dict['annotations'].append(ann)
            bnd_id = bnd_id + 1

    for cate, cid in categories.items():
        cat = {'supercategory': 'none', 'id': cid, 'name': cate}
        json_dict['categories'].append(cat)
    json_fp = open(json_file, 'w')
    json_str = json.dumps(json_dict)
    json_fp.write(json_str)
    json_fp.close()
    list_fp.close()


if __name__ == '__main__':
    if len(sys.argv) <= 1:
        print('3 auguments are need.')
        print('Usage: %s XML_LIST.txt XML_DIR OUTPU_JSON.json'%(sys.argv[0]))
        exit(1)

    convert(sys.argv[1], sys.argv[2], sys.argv[3])

参考资料

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python | Blog

JQuery

版权声明:Copyright © ...

7020
来自专栏call_me_R

深入理解原型对象和原型链

原型对象和原型链在前端的工作中虽然不怎么显式的使用到,但是也会隐式的使用了,比如使用的jquery,vue等啦。在进入正题的时候,我们还是需要明白什么是__pr...

5220
来自专栏call_me_R

JavaScript糟粕部分

JavaScript有两组相等的运算符:===和!==,以及他们邪恶的孪生兄弟==和!=。===和!==运算符能够按照你期望的方式工作。如果两个运算数类型一致且...

8010
来自专栏前端自习课

【JS】303- 编写更好的 JavaScript 条件式和匹配条件的技巧

如果你像我一样乐于见到整洁的代码,那么你会尽可能地减少代码中的条件语句。通常情况下,面向对象编程让我们得以避免条件式,并代之以继承和多态。我认为我们应当尽可能地...

6810
来自专栏LNMP开发那些事

概览 - 框架 - 集成 - 构建文档 - ckeditor5中文文档

是。 CKEditor 5与我们目前所听到的每个JavaScript框架兼容。 CKEditor 5是一个JavaScript富文本编辑组件(相当复杂但仍然如此...

10630
来自专栏LNMP开发那些事

获取和保存数据 - 集成 - 构建文档 - ckeditor5中文文档

CKEditor 5允许您以各种方式从中检索数据并将其保存到服务器(或通常用于您的系统)。 在本指南中,您可以了解可用选项及其优缺点。

18720
来自专栏渔夫

算法-最后一个单词的长度

版权声明: ...

9230
来自专栏菲宇

jQuery基础图文系列

jquery的入口函数是在html所有标签都加载后才执行,而JavaScript的window.onload事件是等到所有内容加载完后才执行。

6910
来自专栏Python | Blog

JQuery_

版权声明:Copyright © ...

7410
来自专栏LNMP开发那些事

vue组件 - 框架 - 集成 - 构建文档 - ckeditor5中文文档

为Vue.js安装CKEditor 5 WYSIWYG编辑器组件以及您选择的构建。

69520

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励