通过PPT理解怎么训练RNN

今天就跟大家聊聊有关通过PPT理解怎么训练RNN,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

创新互联是专业的普安网站建设公司,普安接单;提供网站设计、成都网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行普安网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

RNN 是一种重要的语言模型 ( language model),它的输入不受输入单词个数限制,可以是任意长度,隐含层节点间的权重 w 都相等。RNN作为一种神经网络模型,它的训练技术依然沿用反向传播方法。下面,通过斯坦福的PPT,详细阐述整个训练求解权重参数 w 的过程。 

损失函数选用交叉熵,机器学习的很多算法模型也都会选用交叉熵。显然,损失函数大小不想受训练语料库的单词数影响,因此计算所有训练单词的交叉熵再求平均即可。

通过PPT理解怎么训练RNN

t 时步,yj为正确单词,yj^为预测单词,V为单词总数, T为训练样本总数,如下图所示,输入单词 the 正确的输出应该为 students,对应 J1 的损失。

通过PPT理解怎么训练RNN

依次求出 y2, ..., yn ,得到所有的损失平均值。

通过PPT理解怎么训练RNN

通过反向传播调整参数取值,如下所示,这是一种时间的反向传播算法,t 时步的损失梯度为前 t 个时步的损失梯度和。

通过PPT理解怎么训练RNN

到此,调整权重的公式已经得出。

看完上述内容,你们对通过PPT理解怎么训练RNN有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


新闻名称:通过PPT理解怎么训练RNN
文章链接:http://myzitong.com/article/ghgigh.html