卷积神经网络卷积层池化层全连接层理解-创新互联
1、卷积层
作用:提取图像特征,学习卷积核权重,根据目标函数提取想要的特征
卷积核作用:
- 降维或者升维,实现跨通道的交互和信息整合
- 以较小的参数代价加深加宽了深度学习网络层数,加入更多的非线性信息
2、池化层
作用:
- 特征不变性-使模型更加关注某些特征而不是具体位置,筛选重要特征
- 特征降维-使得模型可以抽取更广范围特征
- 防止过拟合发生
3、全连接层
作用:
- 全连接层相当于一个分类器,卷积层、池化层和激活层将原始数据映射到隐层特征空间,全连接层将学到的分布式特征表示映射到样本标记空间
- 由于全连接层参数冗余(仅全连接层参数就可占整个网络参数80%左右),近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化(GAP)取代FC来融合学到的深度特征,最后仍用softmax等损失函数作为网络目标函数来指导学习过程。
- 将前面经过多次卷积后高度抽象化的特征进行整合,然后进行归一化,对各种分类情况都输出一个概率,之后的分类器(Classifier)可以根据全连接得到的概率进行分类。
神经网络函数含义:
nn.Conv2d作用提取特征
Conv2d,就是用来实现2d卷积操作的。
in_channels —— 输入的channels数
out_channels —— 输出的channels数
kernel_size ——卷积核的尺寸,可以是方形卷积核、也可以不是,下边example可以看到
stride —— 步长,用来控制卷积核移动间隔
padding ——输入边沿扩边操作
padding_mode ——扩边的方式
bias ——是否使用偏置(即out = wx+b中的b)
nn.Sigmoid()激活函数解决线性不可分的问题
nn.AvgPool2d()二维平均池化操作 特征不变性,特征降维
torch.nn.AvgPool2d(
kernel_size ,
stride=None ,
padding=0 ,
ceil_mode=False ,
count_include_pad=True ,
divisor_override=None )
kernel_size:池化核的尺寸大小
stride:窗口的移动步幅,默认与kernel_size大小一致
padding:在两侧的零填充宽度大小
ceil_mode:设为True时,在计算输出形状的过程中采用向上取整的操作
count_include_pad:布尔类型,当为True时,将在平均池化计算中包括零填充
torch.nn.Flatten(start_dim=1, end_dim=- 1)
作用:将连续的维度范围展平为张量
经常在nn.Sequential()中出现,一般写在某个神经网络模型之后,
用于对神经网络模型的输出进行处理,得到tensor类型的数据。
nn.Sequential()
一个序列容器,用于搭建神经网络的模块被按照被传入构造器的顺序添加到nn.Sequential()容器中。
model = nn.Sequential(
nn.Conv2d(1,20,5),
nn.ReLU(),
nn.Conv2d(20,64,5),
nn.ReLU()
)
nn.Linear()函数作用在全连接层
nn.Linear表示的是线性变换,原型就是初级数学里学到的线性函数:y=kx+b
nn.Linear()运行的真正的计算就是:output = weight @ input + bias
@: 在python中代表矩阵乘法
input: 表示输入的Tensor,可以有多个维度
weights: 表示可学习的权重,shape=(output_feature,in_feature)
bias: 表示科学习的偏置,shape=(output_feature)
in_feature: nn.Linear 初始化的第一个参数,即输入Tensor最后一维的通道数
out_feature: nn.Linear 初始化的第二个参数,即返回Tensor最后一维的通道数
output: 表示输入的Tensor,可以有多个维度
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
分享标题:卷积神经网络卷积层池化层全连接层理解-创新互联
转载来源:http://myzitong.com/article/ccjgdi.html