在API中使用自定义层导致trainable_variables中的权重无法更新该怎么解决

这篇文章将为大家详细讲解有关在API中使用自定义层导致trainable_variables中的权重无法更新该怎么解决,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站制作、网站设计、翁牛特网络推广、微信小程序开发、翁牛特网络营销、翁牛特企业策划、翁牛特品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供翁牛特建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com

一位从事NLP工程师Gupta发现了TensorFlow存在的一个严重bug:

每个在自定义层中使用Keras函数式API的用户都要注意了!使用用Keras的Functional API创建的权重,可能会丢失。

这一话题在Reddit机器学习板块上被热议,引起不少TensorFlow用户共鸣。

在API中使用自定义层导致trainable_variables中的权重无法更新该怎么解决

具体来说,就是在API中使用自定义层,会导致trainable_variables中的权重无法更新。而且这些权重也不会放入non_trainable_variables中。

也就是说,原本需要训练的权重现在被冻结了。

让这位工程师感到不满的是,他大约一个月前在GitHub中把这个bug报告给谷歌,结果谷歌官方到现在还没有修复

解决办法

如何检验自己的代码是否会出现类似问题呢?请调用model.trainable_variables来检测自己的模型:

for i, var in enumerate(model.trainable_variables):
    print(model.trainable_variables[i].name)

看看你所有的可变权重是否正确,如果权重缺失或者未发生变化,说明你也中招了。

Gupta还自己用Transformer库创建模型的bug在Colab笔记本中复现了,有兴趣的读者可以前去观看。

https://colab.research.google.com/gist/Santosh-Gupta/40c54e5b76e3f522fa78da6a248b6826/missingtrainablevarsinference_var.ipynb

对此问题,Gupta给出的一种解决方法是:改为使用Keras子类创建模型。改用此方法后,所有的权重都将出现在trainable_variables中。

为了绝对确保用函数式API和子类方法创建的模型完全相同,Gupta在每个Colab笔记本底部使用相同的输入对它们进行了推理,模型的输出完全相同。

但是,使用函数式API模型进行训练会将许多权重视为冻结,而且这些权重也没有出现在non_trainable_variables中,因此无法为这些权重解冻。

为了检查谷歌最近是否修复了该漏洞,Gupta还安装了Nightly版的TF 2.3.0-rc1,保持框架处于最新状态,但如今bug依然存在。

关于在API中使用自定义层导致trainable_variables中的权重无法更新该怎么解决就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


当前标题:在API中使用自定义层导致trainable_variables中的权重无法更新该怎么解决
标题路径:http://myzitong.com/article/jepeid.html