pytorch学习总结—运算的内存开销

前⾯面说了了，索引、 view 是不不会开辟新内存的，⽽而像 y = x + y 这样的运算是会新开内存的，然后
将 y 指向新内存。为了了演示这⼀一点，我们可以使⽤用Python⾃自带的 id 函数：如果两个实例例的ID⼀一致，那
么它们所对应的内存地址相同；反之则不不同。

x = torch.tensor([1, 2])
y = torch.tensor([3, 4])
id_before = id(y)
y = y + x
print(id(y) == id_before) # False

如果想指定结果到原来的 y 的内存，我们可以使⽤用前⾯面介绍的索引来进⾏行行替换操作。在下⾯面的例例⼦子中，
我们把 x + y 的结果通过 [:] 写进 y 对应的内存中。

x = torch.tensor([1, 2])
y = torch.tensor([3, 4])
id_before = id(y)
y[:] = y + x
print(id(y) == id_before) # True

我们还可以使⽤用运算符全名函数中的 out 参数或者⾃自加运算符 += (也即 add_() )达到上述效果，例如

torch.add(x, y, out=y) 和 y += x ( y.add_(x) )

x = torch.tensor([1, 2])
y = torch.tensor([3, 4])
id_before = id(y)
torch.add(x, y, out=y) # y += x, y.add_(x)
print(id(y) == id_before) # True