怎样介绍PyTorch中in-placeoperation的含义-创新互联
怎样介绍PyTorch中in-place operation的含义,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
创新互联公司是一家集网站建设,延庆企业网站建设,延庆品牌网站建设,网站定制,延庆网站建设报价,网络营销,网络优化,延庆网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。成都创新互联专注于广河网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供广河营销型网站建设,广河网站制作、广河网页设计、广河网站官网定制、小程序设计服务,打造广河网络公司原创品牌,更为您提供广河网站排名全网营销落地服务。这篇文章主要介绍了浅谈PyTorch中in-place operation的含义,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧 |
in-place operation在pytorch中是指改变一个tensor的值的时候,不经过复制操作,而是直接在原来的内存上改变它的值。可以把它成为原地操作符。
在pytorch中经常加后缀“_”来代表原地in-place operation,比如说.add_() 或者.scatter()。python里面的+=,*=也是in-place operation。
下面是正常的加操作,执行结束加操作之后x的值没有发生变化:
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) print(x+y) #tensor([1.0250, 0.7891]) print(x) #tensor([0.8284, 0.5539])
下面是原地操作,执行之后改变了原来变量的值:
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) x.add_(y) print(x) #tensor([1.1610, 1.3789])
在官方问文档中由这一段话:
如果你使用了in-place operation而没有报错的话,那么你可以确定你的梯度计算是正确的。
补充知识:PyTorch中nn.ReLU(inplace=True)中inplace的作用
我们用PyTorch搭建神经网络时,会遇到nn.ReLU(inplace=True),inplace=True是什么意思呢?
nn.Conv2d(64,192,kernel_size=3,stride=1,padding=1), nn.ReLu(inpalce=True),# inplace为True,默认为False
意思是:是否将计算得到的值直接覆盖之前的值
例如:x = x+1
即对原值x进行+1操作后得到的值,直接赋值给x
而不是如下找一个中间变量y:
y=x+1 x=y
先将x进行+1操作后赋值给中间变量y,然后将y值赋给x
这样就需要内存存储变量y
因此当inplace=True时:
就是对从上层网络nn.Conv2d中传递下来的tensor直接进行修改,这样能够节省运算内存,不用多存储其他变量。
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联-成都网站建设公司行业资讯频道,感谢您对创新互联的支持。
网站名称:怎样介绍PyTorch中in-placeoperation的含义-创新互联
转载源于:http://myzitong.com/article/cehcec.html