不见春山
骑马倚斜桥，满楼红袖招。
Home
Categories
Archives
Tags
About
Home
反向传播原理的理解
反向传播原理的理解
取消
反向传播原理的理解
由
ctaoist
发布于 2022-09-26
·
最后更新：2022-10-14
1
 如图所示，计算图的反向传播从右到左传播信号。反向传播的计算顺序是，先将节点的输入信号乘以节点的局部导数（偏导数），然后再传递给下一个节点。 首先来考虑**加法节点**的反向传播。这里以 $z = x + y$ 为对象， 观察它的反向传播。$z = x + y$ 的导数可由下式（解析性地）计算出来： $$ \frac{\partial z}{\partial x} = 1 \\ \frac{\partial z}{\partial y} = 1 $$ 也就是说，加法节点的反向传播只乘以 1。输入的值会原封不动地流向下一个节点：  接下来再考虑**乘法节点**的反向传播。这里以 $z = xy$ 为对象，导数如下： $$ \frac{\partial z}{\partial x} = y \\ \frac{\partial z}{\partial y} = x $$  乘法的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游。翻转值表示一种翻转关系，如图所示，正向传播时信号是 $x$ 的话，反向传播时则是 $y$； 正向传播时信号是 $y$ 的话，反向传播时则是 $x$。  如图所示，反向传播的时候有**2条路线**，[2]路线作为当前层权重的梯度（导数），[1]路线作为上层网络反向传播的输入。
机器学习
该博客文章由作者通过
CC BY 4.0
进行授权。
分享
最近更新
群晖升级 ARPL 笔记
本地部署大语言模型
LVM 管理
HK1 RBOX X4 电视盒子折腾笔记
使用usbip网络转发usb设备到远程主机
热门标签
机器学习
Linux
Router
ROS
Tensorflow
VPN
虚拟组网
ARM
Latex
zerotier
文章目录
Python的跨目录引用
迁移学习入门
