网络知识 娱乐 小样本(少样本)目标检测概述(few-shot object detection)

小样本(少样本)目标检测概述(few-shot object detection)

文章目录

    • 一、小样本目标检测 vs 少样本目标检测
    • 二、小样本目标检测简介
    • 三、小样本目标检测的方法
    • 四、小样本目标检测现有的问题
    • 五、参考资料

一、小样本目标检测 vs 少样本目标检测

首先必须要分辨这两个概念。如果光看名字,我们可能会单纯的认为小样本就是代检测目标区域比较小,难以检测;少样本就是训练样本数量较少,难以训练。

上面的理解其实是错的。看网上大部分的文章、博客、论文,小样本和少样本是等价的。所谓小样本并非是目标较小,而是训练数据较少。

看英文名字就会更加直白,小样本/少样本目标检测一般翻译为 few-shot object detection,显然 few-shot 指的是数量少。同理还有 one-shot 、zero-shot 都是指样本数量,而一般目标区域较小会用 dense-detection或small 来表达。

二、小样本目标检测简介

小样本分类问题一般被定义为 C-way K-shot 问题,即有 C 种类别的数据且每类仅包含 K个已标记的样本。

小样本目标检测 FSOD(few-shot object detection),是解决训练样本少的情况下的目标检测问题。

众所周知,人类可以仅从一个动物实例中就推广到该动物其它实例,现有深度学习方法,多数仍以数据驱动,即需要成千上万的类别实例训练,使得模型能够“认识”类别的新实例。因此few shot learning ,只从少数实例训练,使得模型即可认识新实例,成为目前的一个研究热点。

通过应用较少的标注数据的半监督方法或者利用不完全匹配的标注数据的弱监督方法,利用极少的标注数据学习具有一定泛化能力的模型显得较为重要,这是小样本学习的所需要解决的问题。

小样本目标检测可以分为以下几种情况:

(1)类别数确定:给定一个现有的目标检测器,该检测器已经在某些类别的大量数据(称为基本类别)上进行了训练。我们希望仅加入少量新的类别和训练集(例如每个类别1-30个),就能够检测新类别,同时保持检测原始基本类别的性能。

(2)类别数确定:用小样本从头开始训练一个目标检测器,没有大量数据可以用于预训练。

(3)类别数不确定:在模型训练后对新的类别进行分类。这要求训练集、验证集和测试集来自于不同类别的数据集。

小样本图像目标检测是传统目标检测技术与小样本学习技术的融合。主流方法是使用一些trick对一般的目标检测网络进行修改,包括但不限于预训练–微调、数据增强、网络修改、样本匹配策略、损失函数修改等。

三、小样本目标检测的方法

这部分内容来源于论文《 张振伟,郝建国,黄健,潘崇煜.小样本图像目标检测研究综述[J].计算机工程与应用,2022,58(05):1-11. 》,知网可以下载这篇论文。

小样本目标检测方法主要基于传统的经典成熟的目标检测方法,借鉴小样本学习框架,构建针对目标检测的小样本解决方案。现有的方法主要可以分为六种:

(1)基于度量学习(metric learning)的方法
(2)基于数据增强的方法
(3)基于模型结构的方法
(4)基于微调(fine-tune)的方法
(5)基于元学习的方法
(6)基于集成的方法

不同方法的对比如下:
在这里插入图片描述
各种方法的具体介绍可以参看这篇论文。

关于元学习的介绍可见 一文入门元学习(Meta-Learning)(附代码) 现有的大多数小样本目标检测方法使用元学习的思想。首先从大量的基类数据中学习通用元特征,然后从少量的支持样本中生成特征映射,对新类的特征图进行重新加权,得到最终的检测结果。

四、小样本目标检测现有的问题

1、依赖于传统的目标检测领域中经典成熟的方法,但是后续的推理速度缓慢,不能满足实时性需求。

2、现有的方法泛化性能差强人意,随小样本类别增加,效果下降明显

五、参考资料

小样本目标检测研究现状

CVPR小样本检测:蒸馏&上下文助力小样本检测(代码已开源)