PyTorchoptimizer怎么使用

本篇内容主要讲解“PyTorch optimizer怎么使用”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“PyTorch optimizer怎么使用”吧!

目前创新互联公司已为上千的企业提供了网站建设、域名、虚拟空间、网站托管运营、企业网站设计、伊州网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

优化器的作用是管理并更新参数组,请构建一个SGD优化器,通过add_param_group方法添加三组参数,三组参数的学习率分别为 0.01, 0.02, 0.03, momentum分别为0.9, 0.8, 0.7,构建好之后,并打印优化器中的param_groups属性中的每一个元素的key和value(提示:param_groups是list,其每一个元素是一个字典)

控制 lr 的 optimizer

import torch
import torch.optim as optim


torch.manual_seed(1234)


w1 = torch.randn((2, 2), requires_grad=True)
w2 = torch.randn((2, 2), requires_grad=True)
w3 = torch.randn((2, 2), requires_grad=True)
w1.grad = torch.ones((2, 2))
print(w1.grad, w2.grad, w3.grad)

optimizer = optim.SGD([w1], lr=1, momentum=0.9)
optimizer.add_param_group({"params": w2, 'lr': 2, 'momentum': 0.8})
optimizer.add_param_group({"params": w3, 'lr': 3, 'momentum': 0.7})

print("optimizer.param_groups is\n{}".format(optimizer.param_groups))

optimizer.step()
print(w1, w2, w3)

PyTorch optimizer怎么使用

到此,相信大家对“PyTorch optimizer怎么使用”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


新闻名称:PyTorchoptimizer怎么使用
文章链接:http://myzitong.com/article/pjcgho.html