基于深度学习的图像处理(4)数据集
1. 数据集
一个目标检测的深度学习模型,可以接受原始图片的输入,将目标标注后输出。

在训练模型时,我们要提供输入和输出,称为学习。而模型训练完后,我们提供输入,由模型自行输出,则称为推理或者泛化。这里的输入和输出就是数据集。
巧妇难为无米之炊,由此可见,在深度学习中,数据集扮演着至关重要的角色,其质量会大大影响模型的质量。
2. 数据集集合网站
https://paperswithcode.com(该网站已经失效,继任者:https://huggingface.co/ )网站收录了很多开源代码、数据集和论文。在这里可以看到各个数据集的数据规模、下载次数和Like次数等,由此可以评估各个数据集的受欢迎程度。

3. VOC数据集
VOC全称The Pascal Visual Object Classes Challenge,是一个竞赛,从2005年一直举办到2012年,每年一届,是之前比较流行的数据集。2014年之后,COCO数据集则替代了VOC数据集,成为主流的目标检测数据集选择。
VOC的官方网站地址为:https://www.robots.ox.ac.uk/~vgg/projects/pascal/VOC/ 。里面可以看到每一年的竞赛的介绍。

3.1. 如何衡量数据集的质量?
如何去衡量数据集的质量高不高呢?

主要从以下三个角度去衡量:
- 数据量(包括图片数量和目标类别)
- 数据集要符合真实场景,比如照片的拍摄光照、角度等要和真实场景类似,且覆盖全面
- 标注时要完整,避免漏标注、错误标注、部分标注等情况
我们自己在标注数据集的时候,也要遵循这三个原则。
3.2. VOC数据集的质量
VOC的数据集从2005年到2007年,每年的数据内容都会完全变化,且数据量持续增长。到了2008年,数据量出现下降,再往后从2009年到2012年,每一年都会在前一年的数据的基础上进行拓展。

所以整个VOC数据集分为两个系列,一个是2005年到2007年,这一系列中,2007年的数据集质量较高;一个是2008年到2012年,这一系列中,2012年的数据集质量较高。所以总体来说,2007和2012这两年的数据集比较流行。
3.3. VOC数据集下载
从官网进入年份子页面:

在年份子页面的Development Kit处可以下载数据:

提取出来的下载链接:
2007:https://www.robots.ox.ac.uk/~vgg/projects/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
2012:https://www.robots.ox.ac.uk/~vgg/projects/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
一个小Tips:
2007的链接会被重定向到https://thor.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.ta 并报404的错误。
这里应该是官方写错重定向了,链接最后少了个r,加上即可正确下载。
温馨提示:官网下载速度比较慢,可以复制链接去迅雷下载。