0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一文汇总当前主流的分割网络

WpOh_rgznai100 来源:陈翠 2019-06-29 09:21 次阅读

本文的12篇文章总结了当前主流的分割网络及其结构,涵盖从编解码结构到解码器设计;从感受野到多尺度融合;从CNN到RNN与CRF;从2D分割到3D分割;从语义分割到实例分割和全景分割网络,感兴趣的朋友可以仔细研读每一篇文章。

1 FCN

Fully Convolutional Network(FCN)是神经网络用于图像分割任务的鼻祖,后续提出的大部分基于编解码结构的图像分割网络都是从FCN上发展、改进而来的。

FCN用卷积层替换了分类网络结构中的全连接层,从而得到稠密的分割结果,实现端到端训练。

同时,网络还将不同尺度下的特征信息进行融合,实现更细节的图像分割。

【图像分割模型】从FCN说起

2 SegNet

SegNet在FCN的基础上增加了解码器,形成目前分割任务中最流行的编解码结构,并给出了不同解码器对效果的影响和原因。

此外,由于应用了基于位置信息的加码过程,相比较FCN而言,SegNet中的对应结构的体量要小得多。

【图像分割模型】编解码结构SegNet

3 空洞卷积

编解码结构中,为了平衡空间尺寸与计算量,同时增大网络结构的感受野,通常会对输入图像进行一定的下采样。为了恢复分割结果的空间分辨率,解码器往往需要应用上采样或反卷积。

但是,基于插值的上采样效果通常不理想,而反卷积操作则增加了计算量。基于此,DeepLab中就提出了“空洞卷积”的概念,在不增加参数个数的基础上,实现感受野与分辨率的控制。

【分割模型解读】感受野与分辨率的控制术—空洞卷积

4 ENet

图像分割的任务最终还是要落脚于实际应用,而此前的网络结构最快也只能达到1fps,远不及实时所需要的10fps。

ENet基于空洞卷积,实现了NVIDIA TX1上分辨率480x320下的21.1fps。

此外,文中还介绍了设计实时网络结构所需要考虑的6个重要内容。

【图像分割模型】快速道路场景分割—ENet

5 CRFasRNN

在许多计算机视觉任务中,后处理操作能够有效提升算法的质量。而在众多后处理方法中,条件随机场(CRF)的效果名列前茅。

然而,CRF的理论性强,应用起来不方便。因此,CRFasRNN中提出以RNN的形式实现CRF的解决方案,从而让基于CRF的后处理变得简单。

【图像分割模型】以RNN形式做CRF后处理—CRFasRNN

6 PSPNet

不同感受野下所带来的上下文信息对图像分割而言十分重要,往往感受野选择的恰当性会直接影响最终的分割效果,这种影响对极端尺寸(极大和极小)目标表现地尤为明显。

为了在同一级别下融合多尺度下的上下文信息,PSPNet提出了池化金字塔结构,从而实现了可以理解目标所处环境的图像分割。

【图像分割模型】多感受野的金字塔结构—PSPNet

7 ParseNet

尽管从网络结构看,有些网络的理论感受野能够达到非常大,但实际上,理论感受野并不能等同于实际感受野,其覆盖和利用的信息也不够完整。

基于这个发现,ParseNet提出了基于池化的全局特征利用,从而实现全局特征与局部特征融合下的图像分割。

文中也介绍了如何有效融合两种特征,并利用好融合特征。

【图像分割模型】全局特征与局部特征的交响曲—ParseNet

8 RefineNet

尽管前面的特征融合方法能够恢复在计算过程中被下降的空间分辨率,但是这种恢复往往没有利用完整的原始空间信息,从而导致最终结果中的信息丢失。

基于此,RefineNet设计了空间分辨率的恢复结构,实现了基于残差卷积模块(RCU)、多分辨率融合模块(MRF)和串联残差池化模块(CRP)下的高精度图像分割。

【图像分割模型】多分辨率特征融合—RefineNet

9 ReSeg

尽管CNN的效果不错,但是其需要依赖人工指定的核函数实现计算,从而限制了上下文的处理能力。因此,ReSeg提出基于双向循环神经网络(BRNN)实现分割,来克服这种不足。

在ReNet的基础上,ReSeg通过依次扫描互相垂直的两个方向,实现不同时序下的特征提取。

【图像分割模型】用BRNN做分割—ReSeg

10 LSTM-CF

除了单纯基于2D的RGB图像的分割外,图像分割任务的完成还可以利用深度信息进行辅助,从而实现纹理信息下无法判断的分割。

LSTM-CF基于ReNet和空洞卷积,实现结合了深度信息的图像分割。为精度提升和深度信息利用提供了一种思路。

【图像分割模型】BRNN下的RGB-D分割—LSTM-CF

11 DeepMask

除了语义分割,图像分割中还有另外两种类别的任务:实例分割和全景分割。

我们通过DeepMask,给出了实例分割下的网络的设计思路。DeepMask可以同时实现前背景分割、前景语义分割和前景实例分割。

【图像分割模型】实例分割模型—DeepMask

12 全景分割

语义分割与实例分割任务虽然相似,但是由于度量不同,二者无法直接结合。为了实现整图内things类别和stuff类别的同时分割,全景分割任务提出了新的度量。

全景分割任务下,图像内的每个像素点都有其对应的语义标签和实例标签(things类别),从而能够最大程度上地理解整幅图像。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 解码器
    +关注

    关注

    9

    文章

    1143

    浏览量

    40736
  • 网络
    +关注

    关注

    14

    文章

    7561

    浏览量

    88756

原文标题:当今主流分割网络有哪些?12篇文章一次带你看完

文章出处:【微信号:rgznai100,微信公众号:rgznai100】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    文汇总七款支持海思(FCP)的移动电源产品

    文汇总了7款支持海思快充的移动电源产品。Mate 9也支持海思快充(9V2A)和PD充电(9V2A),这就意味着以往支持海思快充的配件也都可以给Mate 9使用了,虽然比SuperCharge稍慢些,但也比常规5V充电快多了。
    发表于 11-30 13:36 7626次阅读

    文汇总22家LED上市企业半年报业绩预告

    2017年,我国LED照明产业在新政策及新机遇的带动下,正步入快速增长阶段。通过对2017年季报众多LED企业财报数据显示,A股LED概念相关上市公司今年季度业绩普遍偏好,近九成净利润为正增长,三成以上企业净利润实现了翻倍式增长。本
    发表于 05-16 16:09 2043次阅读

    重磅!文汇总50家造车新势力

    文汇总50家造车新势力
    的头像 发表于 07-16 11:27 4406次阅读

    文汇总全球运营商5G部署计划表

    GSA的最新报告显示,全球154家移动运营商正在进行5G技术测试或试验。这些运营商正在探索各种关键5G技术,包括Massive MIMO、波束成型以及支持超低延迟的回传、云计算和边缘计算安排等。本文汇总了中国、韩国、日本、英国、德国、美国、加拿大等十多个国家最新5G部署计划表。
    的头像 发表于 07-27 13:57 6753次阅读
    <b class='flag-5'>一</b><b class='flag-5'>文汇总</b>全球运营商5G部署计划表

    文汇总十家新兴造车企业的资金来源

    文汇总十家新兴造车企业的资金来源
    的头像 发表于 07-30 11:38 5831次阅读

    当前主流的HDL是哪些哇?

    [qq]1668859680[/qq]当前主流的HDL是哪些哇?从网上找到了VHDL、Superlog、Verilog、SystemC、Cynlib C++、C Level等。这几种,但是他们都是主流的么?
    发表于 09-19 09:17

    第1章 当前主流的小型嵌入式网络协议栈

    转最新资料这几年物联网发展迅猛,各种新产品、新技术也是层出不穷,本章节就为大家介绍当前主流的小型嵌入式网络协议栈。1.1 当前主流的嵌入式
    发表于 10-11 21:11

    主流的小型嵌入式网络协议栈

    最新教程下载:http://www.armbbs.cn/forum.php?mod=viewthread&tid=95243第1章 当前主流的小型嵌入式网络协议栈这几年物联网发展迅猛,各种
    发表于 12-23 06:18

    主要语义分割网络:FCN,SegNet,U-Net以及些半监督方法

    我们将当前分类网络(AlexNet, VGG net 和 GoogLeNet)修改为全卷积网络,通过对分割任务进行微调,将它们学习的表征转移到网络
    的头像 发表于 06-03 09:53 10.6w次阅读

    文汇总40种传感器工作原理

    文汇总了40种传感器工作原理,具体的跟随小编起来了解下。
    的头像 发表于 10-05 17:09 4918次阅读

    盘点当前笔记本主流硬件的性能等级

    如今恰好处于笔记本新旧平台更替的时节,在选购本本时大家最关心的问题无疑是哪套平台组合的性能更强。今天,咱们就来简单汇总当前笔记本主流硬件的性能等级。 散热设计对处理器和显卡的性能影
    的头像 发表于 08-12 15:55 3308次阅读

    分析总结基于深度神经网络的图像语义分割方法

    语义分割和弱监督学习图像语义分割,对每种方法中代表性算法的效果以及优缺点进行对比与分析,并阐述深度神经网络对语义分割领域的贡献。在此基础上,归纳当前
    发表于 03-19 14:14 21次下载
    分析总结基于深度神经<b class='flag-5'>网络</b>的图像语义<b class='flag-5'>分割</b>方法

    文汇总常见的通讯协议

    在我们日常进行硬件威廉希尔官方网站 设计以及选用各种模拟IC的时候经常会遇到这些RS485, IIC, SMBus, PMBus, SPI, RS232, CAN, LIN, UART, PHY通讯协议接口,今天我们汇总了这些主要的协议。
    的头像 发表于 05-12 17:39 1.5w次阅读

    边缘计算相关论文汇总

    刚读研发现找论文真的很累   给大伙做个论文汇总吧  近三年ccf A  B期刊论文(无会议论文) 资源链接: 边缘计算论文汇总CCFAB2018-2020(近二百篇论文)_有关边缘计算的论文
    发表于 05-18 15:45 0次下载
    边缘计算相关论<b class='flag-5'>文汇总</b>

    手把手教学!HLK-LD2410B/C新手必看攻略!测试教程、模块调参详解~

    HLK-LD2410B/C接线教程、参数解析、APP调参教程、上位机调参教程、常见异常情况自检等等内容,文汇总。 不管是萌新小白还是资深玩家,都可以快速入门。
    的头像 发表于 05-31 14:48 5047次阅读
    手把手教学!HLK-LD2410B/C新手必看攻略!测试教程、模块调参<b class='flag-5'>一</b><b class='flag-5'>文</b>详解~