Pytorch多种模型构造方法

本篇内容介绍了“Pytorch多种模型构造方法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

创新互联公司是一家专注于网站设计制作、做网站与策划设计,红塔网站建设哪家好?创新互联公司做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:红塔等地区。红塔做网站价格咨询:13518219792

之前的样例主要采用Sequential来进行,这里做一个全面和充分的小结,以前只是单纯的叠网络,看完这章节才知道原来可以用的手法这么多;

对于基础的网络搭建,主要用到的是Module类,Sequential类为主;

其中Module可以算是基类,而派生类为Sequential、ModuleList、ModuleDict类,各自有各自的特点;

Sequential类:

Sequential类主要继承自Module类,是最简单的网络逐层累加方式;

例如最简单的叠加方式:

net=nn.Sequential(
    nn.Linear(784,256),
    nn.ReLU(),
    nn.Linear(256,10)
)

使用这种方法的特点是:

1.简单,但是不能由较高灵活的定制化;

2.不用自定义forward前向传播函数,层与层之间的参数尺寸必须要匹配;

ModuleList类:

如下所示:

net=nn.ModuleList([nn.Linear(784,256),nn.ReLU()])
net.append(nn.Linear(256,10))

Pytorch多种模型构造方法

这种也和Sequential类似,进行列表化构造网络;

但是需要注意的是,需要定义Forward函数,只有Sequential类不需要自定义Forward函数;

ModuleDict类:

ModuleDict类似于Sequential类的定义方式,并且可以通过字典方式进行索引查找;

net=nn.ModuleDict({
    'linear':nn.Linear(784,256),
    'act':nn.ReLU()
})

net['output']=nn.Linear(256,10)

但是和ModuleList类似,需要重新定义forward前向传播函数;

使用多种Module进行复杂网络构建:

例如:

class FancyMLP(nn.Module):
    def __init__(self, **kwargs):
        super(FancyMLP, self).__init__(**kwargs)
        self.rand_weight = torch.rand((20, 20), requires_grad=False) # 不可训练参数(常数参数)
        self.linear = nn.Linear(20, 20)
    def forward(self, x):
        x = self.linear(x)
        # 使用创建的常数参数,以及nn.functional中的relu函数和mm函数
        x = nn.functional.relu(torch.mm(x, self.rand_weight.data) + 1)
        # 复用全连接层。等价于两个全连接层共享参数
        x = self.linear(x)
        # 控制流,这里我们需要调用item函数来返回标量进行比较
        while x.norm().item() > 1:
            x /= 2
        if x.norm().item() < 0.8:
            x *= 10
        return x.sum()

这里值得注意的是,尽管只有一个Linear层,但是对于forward有了更多的操作空间;

forward函数相当于过了两个linear层,之后对其中的数据进行了处理;

所以对于Module可以有更多的操作空间,例如使用上述网络进行复杂网络定制;

例如,可以采用如下方法,进行多层Module嵌套,并且定义各自的forward函数;

class SelfMLP(nn.Module):
    def __init__(self,**kwargs):
        super(SelfMLP, self).__init__(**kwargs)
        self.ran_weight=torch.rand((20,20),requires_grad=False)
        self.linear=nn.Linear(20,20)
    def forward(self,x):
        x=self.linear(x)
        x=nn.functional.relu(torch.mm(x))

class NestMLP(nn.Module):
    def __init__(self,**kwargs):
        super(NestMLP, self).__init__(**kwargs)
        self.net=nn.Sequential(nn.Linear(40,30),nn.ReLU())

    def forward(self,x):
        return self.net(x)

net=nn.Sequential(NestMLP(),nn.Linear(30,20),SelfMLP())

“Pytorch多种模型构造方法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


网页题目:Pytorch多种模型构造方法
文章URL:http://myzitong.com/article/jsjcei.html