0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

为什么卷积神经网络可以做到不变性特征提取?

新机器视觉 来源:OpenCV学堂 作者:OpenCV学堂 2021-05-20 10:49 次阅读

图像特征

传统的图像特征提取(特征工程)主要是基于各种先验模型,通过提取图像关键点、生成描述子特征数据、进行数据匹配或者机器学习方法对特征数据二分类/多分类实现图像的对象检测与识别。卷积神经网络通过计算机自动提取特征(表示工程)实现图像特征的提取与抽象,通过MLP实现数据的回归与分类。二者提取的特征数据都具不变性特征。

卷积神经网络为什么能提取到图像特征,其关键在于卷积神经网络有两种不同类型的层

-卷积层(convolution layers/detection layers)

-池化层(pooling layers)

卷积层

卷积层是一系列滤波器集合(filters set)、它的输出结果被称为特征映射(feature maps),每个feature map都一个filter在图像上卷积得到的输出。一般情况下都会输出结果加线性修正,对卷积层常用就是ReLU

2d64cf44-b4a9-11eb-bf61-12bb97331649.png

这样做的好处是:

卷积是一个线性操作,我们需要一个非线性组合,否则两个卷积卷积层还不如一个卷积层

两个相反方向的边缘不应该被取消

使图像梯度值更加的稀疏、有助于提高反向传播的效果

假设灰度输入图像,有两个filter,卷积层生成过程如下所示:

假设灰度输入图像,有两个filter,卷积层生成过程如下所示:

2d7ddbf6-b4a9-11eb-bf61-12bb97331649.jpg

膨胀卷积

通常我们常见的卷积层操作使用的filter都是基于连续邻近像素的,除了这种卷积filter之后另外还有一张卷积filter被称为膨胀卷积,其算子的分布更加的稀疏,图示如下:

2daca210-b4a9-11eb-bf61-12bb97331649.jpg

膨胀卷积在不增加网络参数的情况下,提升每个感受野的尺度大小。

1x1卷积

1x1的卷积首次使用是在Network In Network网络模型中,后来受到越来越多的关注,在一般情况下我们的卷积是2D的,1x1的卷积操作是毫无意义的,但是对卷积神经网络来说,它的卷积层是三维的,所以1x1的卷积操作是有意义的。

卷积层大小计算

对于一个输入大小WxW的feature map,假设Filter的大小位FxF,卷积时填充边缘P个像素、卷积步长(stride)为S则输出的大小为:

2df5cde6-b4a9-11eb-bf61-12bb97331649.png

在多数深度学习框架中支持两种输出大小计算:

padding = “same”

意味着使用填充边缘的方式,输出大小与输入的feature map大小保持不变

padding = “valid”

意味着不使用边缘填充,即P=0此时输出大小为:

2e20e58a-b4a9-11eb-bf61-12bb97331649.png

池化层

在卷积层提取到的特征数据不具备空间不变性(尺度与迁移不变性特征),只有通过了池化层之后才会具备空间不变性特征。池化层是针对每个feature map进行池化操作,池化操作的窗口大小可以指定为任意尺寸,主要有两种类型的池化操作

-下采样池化(均值池化)

-最大值池化

下采样池化

2e2d8272-b4a9-11eb-bf61-12bb97331649.png

对每个窗口大小取均值,然后乘以标量beta加上我们增益偏置b的输出

最大值池化

2e48523c-b4a9-11eb-bf61-12bb97331649.png

无论是选择哪种池化方式都会输出一个新低分辨率feature map,多数时候这个过程中会包含一定的信息损失,所以卷积神经网络一般通过扩展深度(增加feature map的数量)来补偿。

重叠窗口与稀疏窗口

在进行池化的时候我们如果选择步长=1进行池化,通过这样的池化方式输出的结果我们称为重叠池化输出,它不利于特征的稀疏生成,重叠窗口池化与均值池化都有这样的缺点,所以经常采样的是最大值池化,同时不会进行窗口重叠,有实验结果表明,在卷积层保持相同feature map与参数的情况下,最大值池化的结果明显优于重叠池化与均值池化,而且网络的深度越深,两者之间的准确度差异越大。

总结

最终卷积神经网络经过池化层操作对单位像素迁移和亮度影响进行了校正,做到了图像的迁移与亮度不变性的特征提取、而且在池化过程中通过不断的降低图像分辨率,构建了图像的多尺度特征,所以还具备尺度空间不变性,完成了图像不变性特征提取工作。

原文标题:卷积神经网络是如何实现不变性特征提取的?

文章出处:【微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100745
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132610

原文标题:卷积神经网络是如何实现不变性特征提取的?

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    卷积神经网络的基本原理与算法

    ),是深度学习的代表算法之一。 一、基本原理 卷积运算 卷积运算是卷积神经网络的核心,用于提取图像中的局部
    的头像 发表于 11-15 14:47 508次阅读

    关于卷积神经网络,这些概念你厘清了么~

    随着人工智能(AI)技术的快速发展,AI可以越来越多地支持以前无法实现或者难以实现的应用。本文基于此解释了 卷积神经网络 (CNN)及其对人工智能和机器学习的意义。CNN是一种能够从复杂数据中
    发表于 10-24 13:56

    卷积神经网络的应用场景及优缺点

    1.1 卷积神经网络的定义 卷积神经网络是一种深度学习模型,它通过模拟人类视觉系统的工作方式,对输入数据进行特征提取和分类。与传统的
    的头像 发表于 07-11 14:45 716次阅读

    卷积神经网络的基本概念、原理及特点

    的基本概念、原理、特点以及在不同领域的应用情况。 一、卷积神经网络的基本概念 卷积神经网络是一种深度学习算法,它由多层卷积层和池化层堆叠而成
    的头像 发表于 07-11 14:38 1043次阅读

    卷积神经网络实现示例

    卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,主要用于处理具有网格结构的数据,如图像。CNN通过卷积层自动提取图像
    的头像 发表于 07-03 10:51 439次阅读

    卷积神经网络的实现原理

    、训练过程以及应用场景。 卷积神经网络的基本原理 1.1 卷积操作 卷积神经网络的核心是卷积操作
    的头像 发表于 07-03 10:49 546次阅读

    卷积神经网络分类方法有哪些

    ,包括基本原理、常见架构、优化策略、应用场景等。 1. 卷积神经网络的基本原理 卷积神经网络是一种前馈神经网络,其核心思想是通过
    的头像 发表于 07-03 09:40 461次阅读

    卷积神经网络的基本结构和工作原理

    和工作原理。 1. 引言 在深度学习领域,卷积神经网络是一种非常重要的模型。它通过模拟人类视觉系统,能够自动学习图像中的特征,从而实现对图像的识别和分类。与传统的机器学习方法相比,CNN具有更强的
    的头像 发表于 07-03 09:38 626次阅读

    cnn卷积神经网络分类有哪些

    卷积神经网络概述 卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,由多层卷积层和池
    的头像 发表于 07-03 09:28 623次阅读

    卷积神经网络可以通过输出反推到输入吗

    ,能够自动提取输入数据的特征,实现对数据的分类、回归等任务。然而,CNN的反向传播(Backpropagation)过程通常用于优化网络参数,而不是直接从输出反推到输入。 一、卷积
    的头像 发表于 07-03 09:17 638次阅读

    卷积神经网络训练的是什么

    、训练过程以及应用场景。 1. 卷积神经网络的基本概念 1.1 卷积神经网络的定义 卷积神经网络
    的头像 发表于 07-03 09:15 408次阅读

    卷积神经网络的原理与实现

    核心思想是通过卷积操作提取输入数据的特征。与传统的神经网络不同,卷积神经网络具有参数共享和局部连
    的头像 发表于 07-02 16:47 571次阅读

    卷积神经网络的基本原理和应用范围

    和应用范围。 一、卷积神经网络的基本原理 1. 卷积层(Convolutional Layer) 卷积层是CNN的核心组成部分,其主要功能是提取
    的头像 发表于 07-02 15:30 1200次阅读

    卷积神经网络的基本结构及其功能

    。 引言 深度学习是机器学习的一个分支,它通过模拟人脑神经网络的结构和功能,实现对数据的自动学习和特征提取卷积神经网络是深度学习中的一种重要模型,它通过
    的头像 发表于 07-02 14:45 1605次阅读

    卷积神经网络的基本原理、结构及训练过程

    、训练过程以及应用场景。 一、卷积神经网络的基本原理 卷积运算 卷积运算是卷积神经网络的核心,它
    的头像 发表于 07-02 14:21 2550次阅读