不见春山
骑马倚斜桥,满楼红袖招。
Home
Categories
Archives
Tags
About
Home
反向传播原理的理解
反向传播原理的理解
取消
反向传播原理的理解
由
ctaoist
发布于 2022-09-26
·
最后更新:2022-10-14
1
 如图所示,计算图的反向传播从右到左传播信号。反向传播的计算顺序是,先将节点的输入信号乘以节点的局部导数(偏导数),然后再传递给下一个节点。 首先来考虑**加法节点**的反向传播。这里以 $z = x + y$ 为对象, 观察它的反向传播。$z = x + y$ 的导数可由下式(解析性地)计算出来: $$ \frac{\partial z}{\partial x} = 1 \\ \frac{\partial z}{\partial y} = 1 $$ 也就是说,加法节点的反向传播只乘以 1。输入的值会原封不动地流向下一个节点:  接下来再考虑**乘法节点**的反向传播。这里以 $z = xy$ 为对象,导数如下: $$ \frac{\partial z}{\partial x} = y \\ \frac{\partial z}{\partial y} = x $$  乘法的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游。翻转值表示一种翻转关系,如图所示,正向传播时信号是 $x$ 的话,反向传播时则是 $y$; 正向传播时信号是 $y$ 的话,反向传播时则是 $x$。  如图所示,反向传播的时候有**2条路线**,[2]路线作为当前层权重的梯度(导数),[1]路线作为上层网络反向传播的输入。
机器学习
该博客文章由作者通过
CC BY 4.0
进行授权。
分享
最近更新
Python的跨目录引用
N2N 搭建教程
RNN与LSTM
反向传播原理的理解
tensorflow-gpu 安装笔记
热门标签
虚拟组网
VPN
Tensorflow
Linux
Router
C
Mathematica
生活
pandoc
I2C
文章目录
Python的跨目录引用
迁移学习入门