不见春山
骑马倚斜桥，满楼红袖招。
Home
Categories
Archives
Tags
About
Home
反向传播原理的理解
反向传播原理的理解
取消
反向传播原理的理解
由
ctaoist
发布于 2022-09-26
·
最后更新：2022-10-14
1
 如图所示，计算图的反向传播从右到左传播信号。反向传播的计算顺序是，先将节点的输入信号乘以节点的局部导数（偏导数），然后再传递给下一个节点。 首先来考虑**加法节点**的反向传播。这里以 $z = x + y$ 为对象， 观察它的反向传播。$z = x + y$ 的导数可由下式（解析性地）计算出来： $$ \frac{\partial z}{\partial x} = 1 \\ \frac{\partial z}{\partial y} = 1 $$ 也就是说，加法节点的反向传播只乘以 1。输入的值会原封不动地流向下一个节点：  接下来再考虑**乘法节点**的反向传播。这里以 $z = xy$ 为对象，导数如下： $$ \frac{\partial z}{\partial x} = y \\ \frac{\partial z}{\partial y} = x $$  乘法的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游。翻转值表示一种翻转关系，如图所示，正向传播时信号是 $x$ 的话，反向传播时则是 $y$； 正向传播时信号是 $y$ 的话，反向传播时则是 $x$。  如图所示，反向传播的时候有**2条路线**，[2]路线作为当前层权重的梯度（导数），[1]路线作为上层网络反向传播的输入。
机器学习
该博客文章由作者通过
CC BY 4.0
进行授权。
分享
最近更新
Visual Studio 搭建驱动开发环境
群晖升级 ARPL 笔记
本地部署大语言模型
LVM 管理
HK1 RBOX X4 电视盒子折腾笔记
热门标签
机器学习
ROS
Tensorflow
Router
VPN
虚拟组网
Linux
嵌入式
Nas
pandoc
文章目录
Python的跨目录引用
迁移学习入门
