NLP Natural Language Processing (2)

NLP自然语言处理（二）

一、pytorchBack propagation calculation method and gradient

pytorch完成线性回归

1. tensor中的require_grad参数
   a．设置为True,Says it will record thetensor的计算过程,追踪对于该张量的所有操作,Every time calculation will modify itsgard_fn属性,用来记录做过的操作.
2. tensor中的grad_fn属性
   a.Used to store the computing process
3. tensorDon't keep calculation process
   a. with torch.no_grad()
   为了防止跟踪历史记录（和使用内存）,可以将代码块包装在with torch.no_grad()：中,In the evaluation model can be used,模型具有requires_grad = True的可训练参数,But we don't need in the process of gradient calculation.
4. 反向传播:
   a. out.backward() 梯度计算,保存到x.gard中
   b．Derivative is saved in thetensor.grad,The default gradient will accumulate
5. tensor.data
   a．获取tensorReference value in the operation（只有值）
6. tensor.numpy ()
   a.当tensorIn need to compute the gradient,grad_fn不为None的时候,
   tensor.data.numpy()、tensor.detach().numpy()能够实现对tensorDeep copy of the data in the,转化为ndarray类型

二、线性回归的实现

基础模型是y = wx+b 其中w和b均为参数,使用 y = 3x + 0.8 来构造数据x,y Through the model should be able to find outw和b 的值接近3和0.8

import torch
import matplotlib.pyplot as plt
from numpy import *
learning_rate = 0.01
# 1.准备数据
# y = 3x + 0.8 只有一个x是一维
# 基础模型是y = wx+b 其中w b均为参数,使用 y = 3x + 0.8 来构造数据x,y Through the model should be able to find outw b 的值接近3 0.8
# 构造一个500行 1列的数据 rand() 0-1
x = torch.rand([500,1])
y_true = x*3 + 0.8 # x 与 y 都是 500行 1列

# 2.通过模型计算y_predict
# requires_grad=TrueSays it will record thetensor的计算过程,默认是False
w = torch.rand([1,1],requires_grad=True) # [1,1]是因为x[500,1]与[1,1]相乘是[500,1]
b = torch.tensor(0,requires_grad=True,dtype=torch.float32)  # b全为0


# 4.通过循环,反向传播,更新参数
for i in range(2000):
    # 3.计算损失值
    y_predict = torch.matmul(x, w) + b  # matmul()矩阵乘法
    loss = (y_true - y_predict).pow(2).mean()

    # 先判断wIs it a number 即不为None
    if w.grad is not None :
        # 是一个数
        w.data.zero_() # 将w _ In situ modification as0 Zero operating Before each back-propagation gradient will buy0
    if b.grad is not None:
        b.data.zero_()
    loss.backward() # 反向传播
    w.data = w.data - learning_rate * w.grad
    b.data = b.data - learning_rate * b.grad
    if i % 50 == 0 :
        print("w,b,loss",w.item(),b.item(),loss.item()) # 通过item获得w和b的值
# 设置大小
plt.figure(figsize=(20,8))
# 散点图
plt.scatter(x.numpy().reshape(-1),y_true.numpy().reshape(-1))
# 直线
y_predict = torch.matmul(x, w) + b
plt.plot(x.numpy().reshape(-1),y_predict.detach().numpy().reshape(-1),c = 'r')
plt.show()