0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于 Transformer 的分割与检测方法

3D视觉工坊 来源:3D视觉工坊 2023-07-05 10:18 次阅读

来源:机器之心 SAM (Segment Anything )作为一个视觉的分割基础模型,在短短的 3 个月时间吸引了很多研究者的关注和跟进。如果你想系统地了解 SAM 背后的技术,并跟上内卷的步伐,并能做出属于自己的 SAM 模型,那么接下这篇 Transformer-Based 的 Segmentation Survey 是不容错过!近期,南洋理工大学和上海人工智能实验室几位研究人员写了一篇关于Transformer-Based 的 Segmentation 的综述,系统地回顾了近些年来基于 Transformer的分割与检测模型,调研的最新模型截止至今年 6 月!同时,综述还包括了相关领域的最新论文以及大量的实验分析与对比,并披露了多个具有广阔前景的未来研究方向!

视觉分割旨在将图像、视频帧或点云分割为多个片段或组。这种技术具有许多现实世界的应用,如自动驾驶、图像编辑、机器人感知和医学分析。在过去的十年里,基于深度学习的方法在这个领域取得了显著的进展。最近,Transformer 成为一种基于自注意力机制的神经网络,最初设计用于自然语言处理,在各种视觉处理任务中明显超越了以往的卷积或循环方法。具体而言,视觉 Transformer 为各种分割任务提供了强大、统一甚至更简单的解决方案。本综述全面概述了基于 Transformer 的视觉分割,总结了最近的进展。首先,本文回顾了背景,包括问题定义、数据集和以往的卷积方法。接下来,本文总结了一个元架构,将所有最近的基于 Transformer 的方法统一起来。基于这个元架构,本文研究了各种方法设计,包括对这个元架构的修改和相关应用。此外,本文还介绍了几个相关的设置,包括 3D 点云分割、基础模型调优、域适应分割、高效分割和医学分割。此外,本文在几个广泛认可的数据集上编译和重新评估了这些方法。最后,本文确定了这个领域的开放挑战,并提出了未来研究的方向。本文仍会持续和跟踪最新的基于 Transformer 的分割与检测方法。

8b1ef7de-1ad9-11ee-962d-dac502259ad0.png

项目地址:https://github.com/lxtGH/Awesome-Segmentation-With-Transformer

论文地址:https://arxiv.org/pdf/2304.09854.pdf

研究动机

ViT 和 DETR 的出现使得分割与检测领域有了十足的进展,目前几乎各个数据集基准上,排名靠前的方法都是基于 Transformer 的。为此有必要系统地总结与对比下这个方向的方法与技术特点。

近期的大模型架构均基于 Transformer 结构,包括多模态模型以及分割的基础模型(SAM),视觉各个任务向着统一的模型建模靠拢。

分割与检测衍生出来了很多相关下游任务,这些任务很多方法也是采用 Transformer 结构来解决。

综述特色

系统性和可读性。本文系统地回顾了分割的各个任务定义,以及相关任务定义,评估指标。并且本文从卷积的方法出发,基于 ViT 和 DETR,总结出了一种元架构。基于该元架构,本综述把相关的方法进行归纳与总结,系统地回顾了近期的方法。具体的技术回顾路线如图 1 所示。

技术的角度进行细致分类。相比于前人的 Transformer 综述,本文对方法的分类会更加的细致。本文把类似思路的论文汇聚到一起,对比了他们的相同点以及不同点。例如,本文会对同时修改元架构的解码器端的方法进行分类,分为基于图像的 Cross Attention,以及基于视频的时空 Cross Attention 的建模。

研究问题的全面性。本文会系统地回顾分割各个方向,包括图像,视频,点云分割任务。同时,本文也会同时回顾相关的方向比如开集分割于检测模型,无监督分割和弱监督分割。

8b357a54-1ad9-11ee-962d-dac502259ad0.png

图 1. Survey 的内容路线图

8b4f4db2-1ad9-11ee-962d-dac502259ad0.png

图 2. 常用的数据集以及分割任务总结

Transformer-Based 分割和检测方法总结与对比

8b6ba7c8-1ad9-11ee-962d-dac502259ad0.png

图 3. 通用的元架构框架(Meta-Architecture)

本文首先基于 DETR 和 MaskFormer 的框架总结出了一个元架构。这个模型包括了如下几个不同的模块:

Backbone:特征提取器,用来提取图像特征。

Neck:构建多尺度特征,用来处理多尺度的物体。

Object Query:查询对象,用于代表场景中的每个实体,包括前景物体以及背景物体。

Decoder:解码器,用于去逐步优化 Object Query 以及对应的特征。

End-to-End Training:基于 Object Query 的设计可以做到端到端的优化。

基于这个元架构,现有的方法可以分为如下五个不同的方向来进行优化以及根据任务进行调整,如图 4 所示,每个方向有包含几个不同的子方向。

8b807cb6-1ad9-11ee-962d-dac502259ad0.png

图 4. Transformer-Based Segmentation 方法总结与对比

更好的特征表达学习,Representation Learning。强大的视觉特征表示始终会带来更好的分割结果。本文将相关工作分为三个方面:更好的视觉 Transformer 设计、混合 CNN/Transformer/MLP 以及自监督学习。

解码器端的方法设计,Interaction Design in Decoder。本章节回顾了新的 Transformer 解码器设计。本文将解码器设计分为两组:一组用于改进图像分割中的交叉注意力设计,另一组用于视频分割中的时空交叉注意力设计。前者侧重于设计一个更好的解码器,以改进原始 DETR 中的解码器。后者将基于查询对象的目标检测器和分割器扩展到视频领域,用于视频目标检测(VOD)、视频实例分割(VIS)和视频像素分割(VPS),重点在建模时间一致性和关联性。

尝试从查询对象优化的角度,Optimizing Object Query。与 Faster-RCNN 相比,DETR 要更长的收敛时间表。由于查询对象的关键作用,现有的一些方法已经展开了研究,以加快训练速度和提高性能。根据对象查询的方法,本文将下面的文献分为两个方面:添加位置信息和采用额外监督。位置信息提供了对查询特征进行快速训练采样的线索。额外监督着重设计了除 DETR 默认损失函数之外的特定损失函数。

使用查询对象来做特征和实例的关联,Using Query For Association。受益于查询对象的简单性,最近的多个研究将其作为关联工具来解决下游任务。主要有两种用法:一种是实例级别的关联,另一种是任务级别的关联。前者采用实例判别的思想,用于解决视频中的实例级匹配问题,例如视频的分割和跟踪。后者使用查询对象来桥接不同子任务实现高效的多任务学习。

多模态的条件查询对象生成,Conditional Query Generation。这一章节主要关注多模态分割任务。条件查询查询对象主要来处理跨模态和跨图像的特征匹配任务。根据任务输入条件而确定的,解码器头部使用不同的查询来获取相应的分割掩码。根据不同输入的来源,本文将这些工作分为两个方面:语言特征和图像特征。这些方法基于不同模型特征融合查询对象的策略,在多个多模态的分割任务以及 few-shot 分割上取得了不错的结果。

图 5 中给出这 5 个不同方向的一些代表性的工作对比。更具体的方法细节以及对比可以参考论文的内容。

8b9c98b0-1ad9-11ee-962d-dac502259ad0.png

图 5. Transformer-based 的分割与检测代表性的方法总结与对比

相关研究领域的方法总结与对比

本文还探索了几个相关的领域:1,基于 Transformer 的点云分割方法。2, 视觉与多模态大模型调优。3,域相关的分割模型研究,包括域迁移学习,域泛化学习。4,高效语义分割:无监督与弱监督分割模型。5,类无关的分割与跟踪。6,医学图像分割。

8bb5a148-1ad9-11ee-962d-dac502259ad0.png

图 6. 相关研究领域的基于 Transformer 方法总结与对比

不同方法的实验结果对比

8bd84482-1ad9-11ee-962d-dac502259ad0.png

图 7. 语义分割数据集的基准实验

8beb4fb4-1ad9-11ee-962d-dac502259ad0.png

图 8. 全景分割数据集的基准实验

本文还统一地使用相同的实验设计条件来对比了几个代表性的工作在全景分割以及语义分割上多个数据集的结果。结果发现,在使用相同的训练策略以及编码器的时候,方法性能之间的差距会缩小。

此外,本文还同时对比了近期的 Transformer-based 的分割方法在多个不同数据集和任务上结果。(语义分割,实例分割,全景分割,以及对应的视频分割任务)

未来方向

此外本文也给出了一些未来的可能一些研究方向分析。这里给出三个不同的方向作为例子。

加通用与统一的分割模型。使用 Transformer 结构来统一不同的分割任务是一个趋势。最近的研究使用基于查询对象的 Transformer 在一个体系结构下执行不同的分割任务。一个可能的研究方向是通过一个模型在各种分割数据集上统一图像和视频分割任务。这些通用模型可以在各种场景中实现通用和稳健的分割,例如,在各种场景中检测和分割罕见类别有助于机器人做出更好的决策。

结合视觉推理的分割模型。视觉推理要求机器人理解场景中物体之间的联系,这种理解在运动规划中起着关键作用。先前的研究已经探索了将分割结果作为视觉推理模型的输入,用于各种应用,如目标跟踪和场景理解。联合分割和视觉推理可以是一个有前景的方向,对分割和关系分类都具有互惠的潜力。通过将视觉推理纳入分割过程中,研究人员可以利用推理的能力提高分割的准确性,同时分割结果也可以为视觉推理提供更好的输入。

持续学习的分割模型研究。现有的分割方法通常在封闭世界的数据集上进行基准测试,这些数据集具有一组预定义的类别,即假设训练和测试样本具有预先知道的相同类别和特征空间。然而,真实场景通常是开放世界和非稳定的,新类别的数据可能不断出现。例如,在自动驾驶车辆和医学诊断中,可能会突然出现未预料到的情况。现有方法在现实和封闭世界场景中的性能和能力之间存在明显差距。因此,希望能够逐渐而持续地将新概念纳入分割模型的现有知识库中,使得模型能够进行终身学习。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 检测方法
    +关注

    关注

    0

    文章

    50

    浏览量

    9780
  • 自动驾驶
    +关注

    关注

    784

    文章

    13804

    浏览量

    166427
  • Transformer
    +关注

    关注

    0

    文章

    143

    浏览量

    6000

原文标题:最新综述!基于Transformer的视觉分割

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于transformer和自监督学习的路面异常检测方法分享

    铺设异常检测可以帮助减少数据存储、传输、标记和处理的压力。本论文描述了一种基于Transformer和自监督学习的新方法,有助于定位异常区域。
    的头像 发表于 12-06 14:57 1541次阅读
    基于<b class='flag-5'>transformer</b>和自监督学习的路面异常<b class='flag-5'>检测</b><b class='flag-5'>方法</b>分享

    如何更改ABBYY PDF Transformer+界面语言

    在安装ABBYY PDF Transformer+时会让您选择界面语言。此语言将用于所有消息、对话框、按钮和菜单项。在特殊情况下,您可能需要在安装完成后更改界面语言以适应需求,方法其实很简单,本文
    发表于 10-11 16:13

    PCB缺陷检测中图像分割算法

    图像分割 在图像处理中占有重要的地位,分割结果的好坏直接影响图像的后续处理。本文介绍了4种常用的图像分割方法及其在PCB缺陷检测中的应用,并
    发表于 06-16 15:31 0次下载
    PCB缺陷<b class='flag-5'>检测</b>中图像<b class='flag-5'>分割</b>算法

    基于阈值分割的红外图像边缘检测方法

    提出了一种基于阈值分割的边缘检测算法。首先利用最大方差阈值法分割出红外图像的目标图像,其次用线性拉伸的方法对目标图像中存留的噪声进行去除,最后运用Sobel算子对目标图像进
    发表于 02-22 11:13 47次下载
    基于阈值<b class='flag-5'>分割</b>的红外图像边缘<b class='flag-5'>检测</b><b class='flag-5'>方法</b>

    基于图像融合分割的实木地板表面缺陷检测方法_张怡卓

    基于图像融合分割的实木地板表面缺陷检测方法_张怡卓
    发表于 01-07 15:26 1次下载

    图像分割和图像边缘检测

     图像分割的研究多年来一直受到人们的高度重视,至今提出了各种类型的分割算法。Pal把图像分割算法分成了6类:阈值分割,像素分割、深度图像
    发表于 12-19 09:29 1.1w次阅读
    图像<b class='flag-5'>分割</b>和图像边缘<b class='flag-5'>检测</b>

    图像分割的基本方法解析

    本文详细介绍了图像分割的基本方法有:基于边缘的图像分割方法、阈值分割方法、区域
    发表于 12-20 11:06 10.9w次阅读
    图像<b class='flag-5'>分割</b>的基本<b class='flag-5'>方法</b>解析

    基于内容的图像分割方法综述

    方法、基于像素聚类的方法和语义分割方法这3种类型并分别加以介绍对每类方法所包含的典型算法,尤其是最近几年利用深度网络技术的语义图像
    发表于 01-02 16:52 2次下载
    基于内容的图像<b class='flag-5'>分割</b><b class='flag-5'>方法</b>综述

    一种基于Mask R-CNN的人脸检测分割方法

    针对现有主流的人脸检测算法不具备像素级分割,从而存在人脸特征具有噪声及检测精度不理想的问题提出了一种基于 Mask r-CNN的人脸检测分割
    发表于 04-01 10:42 5次下载
    一种基于Mask R-CNN的人脸<b class='flag-5'>检测</b>及<b class='flag-5'>分割</b><b class='flag-5'>方法</b>

    普通视觉Transformer(ViT)用于语义分割的能力

    本文探讨了普通视觉Transformer(ViT)用于语义分割的能力,并提出了SegViT。以前基于ViT的分割网络通常从ViT的输出中学习像素级表示。不同的是,本文利用基本的组件注意力机制生成语义
    的头像 发表于 10-31 09:57 5114次阅读

    利用Transformer和CNN 各自的优势以获得更好的分割性能

    概述 在这篇论文中,提出了一种新的医学图像分割混合架构:PHTrans,它在主要构建块中并行混合 Transformer 和 CNN,分别从全局和局部特征中生成层次表示并自适应聚合它们,旨在充分利用
    的头像 发表于 11-05 11:38 6538次阅读

    视觉Transformer在CV中的现状、趋势和未来方向

    全面性和可读性:本文根据它们在三个基本CV任务(即分类、检测分割)和数据流类型(即图像、点云、多流数据)上的应用,全面回顾了100多个视觉Transformer。论文选择了更具代表性的方法
    的头像 发表于 11-08 14:20 2607次阅读

    基于Transformer的目标检测算法

    掌握基于Transformer的目标检测算法的思路和创新点,一些Transformer论文涉及的新概念比较多,话术没有那么通俗易懂,读完论文仍然不理解算法的细节部分。
    发表于 08-16 10:51 653次阅读
    基于<b class='flag-5'>Transformer</b>的目标<b class='flag-5'>检测</b>算法

    机器视觉图像分割方法有哪些?

    现有的图像分割方法主要分以下几类:基于阈值(threshold)的分割方法、基于区域的分割方法
    发表于 11-02 10:26 1275次阅读
    机器视觉图像<b class='flag-5'>分割</b>的<b class='flag-5'>方法</b>有哪些?

    图像分割与目标检测的区别是什么

    图像分割与目标检测是计算机视觉领域的两个重要任务,它们在许多应用场景中都发挥着关键作用。然而,尽管它们在某些方面有相似之处,但它们的目标、方法和应用场景有很大的不同。本文将介绍图像分割
    的头像 发表于 07-17 09:53 1319次阅读