您的位置首页百科问答

s怎么训练m的网络

s怎么训练m的网络

这一步是网络参数初始化得过程,区别于传统神经网络初值随机初始化,深度学习模型通过无监督学习输入数据进行初始化,因此这个初值更接近全局最优,从而能够取得更好的效果。)逐层构建单层神经元,每层采用wake-sleep算法进行调优,每次仅调整一层,逐层调整(这个过程看作是一个feature learning的过程,是和传统神经网络区别最大的部分);wake-sleep算法:wake阶段:认知过程,通过下层的输入特征和向上的备厅纤认知权重产生每一层的抽象表示,再通过当前的生成权重产生一个重建信息,计算输入特征和重建信息残差,使用梯度下降修改层间的下行生成权重。(如果现实跟我想象的不一样,改变我的生成权重使得我想像的东西变得与现实一样)sleep阶段:生成过程,通过上层概念与向下的生成权重,生成下层的状态,再伏碰利用认知权重产生一个抽象景象,利用初始上层概念和抽象景象的残差,利用梯度下降修改层间向上的认知权重。(如果现实的景象不是我脑中相应的概念,改变我的认知权重使得这种景象在我看来就是这个概念)第二步:自顶向仿仿下的监督学习在第一步无监督学习获得各层参数的基础上,在最顶的编码层添加一个分类器(LR、SVM等),通过带标签数据的监督学习,利用梯度下降法微调整个网络的参数。使得目标函数达到最小(最优化)。