亲宝软件园·资讯

展开

pytorch 计算图

​ zidea   ​ 人气:0

前言:

今天聊一聊 pytorch 的计算图和自动求导,我们先从一个简单例子来看,下面是一个简单函数建立了 yy 和 xx 之间的关系

然后我们结点和边形式表示上面公式:

上面的式子可以用图的形式表达,接下来我们用 torch 来计算 x 导数,首先我们创建一个 tensor 并且将其requires_grad设置为True表示随后反向传播会对其进行求导。

x = torch.tensor(3.,requires_grad=True)

然后写出

y = 3*x**2 + 4*x + 2
y.backward()
x.grad

通过调用y.backward()来进行求导,这时就可以通过x.grad来获得x的导数

x.requires_grad_(False)

可以通过requires_grad_x不参与到自动求导

for epoch in range(3):
  y = 3*x**2 + 4*x + 2
  y.backward()
  print(x.grad)
  x.grad.zero_()

如果这里没有调用x.grad_zero_()就是把每次求导数和上一次求导结果进行累加。

链式法则

相对于 z 对 x 求偏导时,我们可以将 y 看成常数,这样 x 导数是 1 那么

x = torch.tensor([1.,2.,3.],requires_grad=True)
y = x * 2 + 3
z = y **2
out = z.mean()
out.backward()
print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)
print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])

对于一个简单的网络,我们可以手动计算梯度,但是如果摆在你面前的是一个有152 层的网络怎么办?或者该网络有多个分支。这时你的计算复杂程度可想而知。接下来会带来更深入自动求导内部机制

加载全部内容

相关教程
猜你喜欢
用户评论