不见春山
骑马倚斜桥,满楼红袖招。
Home
Categories
Archives
Tags
About
Home
反向传播原理的理解
反向传播原理的理解
取消
反向传播原理的理解
由
ctaoist
发布于 2022-09-26
·
最后更新:2022-10-14
1
![](https://blog.qiniu.ctaoist.cn/机器学习/深度学习入门_反向传播.png) 如图所示,计算图的反向传播从右到左传播信号。反向传播的计算顺序是,先将节点的输入信号乘以节点的局部导数(偏导数),然后再传递给下一个节点。 首先来考虑**加法节点**的反向传播。这里以 $z = x + y$ 为对象, 观察它的反向传播。$z = x + y$ 的导数可由下式(解析性地)计算出来: $$ \frac{\partial z}{\partial x} = 1 \\ \frac{\partial z}{\partial y} = 1 $$ 也就是说,加法节点的反向传播只乘以 1。输入的值会原封不动地流向下一个节点: ![](https://blog.qiniu.ctaoist.cn/机器学习/深度学习入门_反向传播_加法.png) 接下来再考虑**乘法节点**的反向传播。这里以 $z = xy$ 为对象,导数如下: $$ \frac{\partial z}{\partial x} = y \\ \frac{\partial z}{\partial y} = x $$ ![](https://blog.qiniu.ctaoist.cn/机器学习/深度学习入门_反向传播_乘法.png) 乘法的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游。翻转值表示一种翻转关系,如图所示,正向传播时信号是 $x$ 的话,反向传播时则是 $y$; 正向传播时信号是 $y$ 的话,反向传播时则是 $x$。 ![](https://blog.qiniu.ctaoist.cn/机器学习/深度学习入门_反向传播_详解推导.png) 如图所示,反向传播的时候有**2条路线**,[2]路线作为当前层权重的梯度(导数),[1]路线作为上层网络反向传播的输入。
机器学习
该博客文章由作者通过
CC BY 4.0
进行授权。
分享
最近更新
群晖升级 ARPL 笔记
本地部署大语言模型
WireGuard 搭建组网教程
LVM 管理
HK1 RBOX X4 电视盒子折腾笔记
热门标签
机器学习
Tensorflow
Linux
VPN
虚拟组网
Router
ROS
嵌入式
C++
C
文章目录
Python的跨目录引用
迁移学习入门