不见春山
骑马倚斜桥，满楼红袖招。
Home
Categories
Archives
Tags
About
Home
反向传播原理的理解
反向传播原理的理解
取消
反向传播原理的理解
由
ctaoist
发布于 2022-09-26
·
最后更新：2022-10-14
1
 如图所示，计算图的反向传播从右到左传播信号。反向传播的计算顺序是，先将节点的输入信号乘以节点的局部导数（偏导数），然后再传递给下一个节点。 首先来考虑**加法节点**的反向传播。这里以 $z = x + y$ 为对象， 观察它的反向传播。$z = x + y$ 的导数可由下式（解析性地）计算出来： $$ \frac{\partial z}{\partial x} = 1 \\ \frac{\partial z}{\partial y} = 1 $$ 也就是说，加法节点的反向传播只乘以 1。输入的值会原封不动地流向下一个节点：  接下来再考虑**乘法节点**的反向传播。这里以 $z = xy$ 为对象，导数如下： $$ \frac{\partial z}{\partial x} = y \\ \frac{\partial z}{\partial y} = x $$  乘法的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游。翻转值表示一种翻转关系，如图所示，正向传播时信号是 $x$ 的话，反向传播时则是 $y$； 正向传播时信号是 $y$ 的话，反向传播时则是 $x$。  如图所示，反向传播的时候有**2条路线**，[2]路线作为当前层权重的梯度（导数），[1]路线作为上层网络反向传播的输入。
机器学习
该博客文章由作者通过
CC BY 4.0
进行授权。
分享
最近更新
Altera 烧写双镜像
WireGuard 搭建组网教程
聚类
N2N 搭建教程
ROS修改 MTU 和 MSS 解决上网慢和页面显示不全问题
热门标签
Tensorflow
虚拟组网
Router
ROS
VPN
Linux
机器学习
zerotier
ARM
I2C
文章目录
Python的跨目录引用
迁移学习入门
