不见春山
骑马倚斜桥，满楼红袖招。
Home
Categories
Archives
Tags
About
Home
反向传播原理的理解
反向传播原理的理解
取消
反向传播原理的理解
由
ctaoist
发布于 2022-09-26
·
最后更新：2022-10-14
1
 如图所示，计算图的反向传播从右到左传播信号。反向传播的计算顺序是，先将节点的输入信号乘以节点的局部导数（偏导数），然后再传递给下一个节点。 首先来考虑**加法节点**的反向传播。这里以 $z = x + y$ 为对象， 观察它的反向传播。$z = x + y$ 的导数可由下式（解析性地）计算出来： $$ \frac{\partial z}{\partial x} = 1 \\ \frac{\partial z}{\partial y} = 1 $$ 也就是说，加法节点的反向传播只乘以 1。输入的值会原封不动地流向下一个节点：  接下来再考虑**乘法节点**的反向传播。这里以 $z = xy$ 为对象，导数如下： $$ \frac{\partial z}{\partial x} = y \\ \frac{\partial z}{\partial y} = x $$  乘法的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游。翻转值表示一种翻转关系，如图所示，正向传播时信号是 $x$ 的话，反向传播时则是 $y$； 正向传播时信号是 $y$ 的话，反向传播时则是 $x$。  如图所示，反向传播的时候有**2条路线**，[2]路线作为当前层权重的梯度（导数），[1]路线作为上层网络反向传播的输入。
机器学习
该博客文章由作者通过
CC BY 4.0
进行授权。
分享
最近更新
群晖升级 ARPL 笔记
本地部署大语言模型
WireGuard 搭建组网教程
LVM 管理
HK1 RBOX X4 电视盒子折腾笔记
热门标签
机器学习
Tensorflow
Linux
VPN
虚拟组网
Router
ROS
嵌入式
C++
C
文章目录
Python的跨目录引用
迁移学习入门
