Pytorch - - Basic Reference North Deux élèves du secondaire peuvent comprendre [Rétropropagation et Gradient descendant]

Pytorch ——Indice de base Nord_II.

Un cours que les élèves du secondaire peuvent lire！

Environnement logiciel：

• pytorch 1.10
• pycharm

Code d'accompagnement télécharger l'adresse：

gitee-pytorch

Connaissances de base：

Pour former un réseau,La compréhension des gradients est essentielle,Voici quelques concepts de base pour les gradients.

0、Cosinus directionnel et unités vectorielles

Le cosinus directionnel est un concept courant dans les vecteurs,Il est utilisé pour orienter un vecteur,Ça pourrait être un brouillard.,Mais c'est bon.,Nous utilisons des dessins pour comprendre.

Par exemple,,Comme le montre la figure ci - dessous, il y a un système de coordonnéesxoy,Les effets sont les suivants:：

Qui contient un vecteur$\overrightarrow{l}$ ,Les coordonnées du vecteur sont：$(a,b)$

Le vecteur ci - dessus satisfait alors à l'équation suivante:：

$(\frac{a}{\sqrt{a^2+b^2}},\frac{b}{\sqrt{a^2+b^2}})$

L'équation ci - dessus est en fait une unit é vectorielle,Le vecteur nouvellement généré,C'est ce qu'on disaitVecteur directionnel.

Les vecteurs directionnels peuvent en fait être optimisés, Nous voyons qu'il y a deux autres angles marqués sur la photo qui sont $\alpha Et\beta$, Il n'y a plus beaucoup à dire sur la relation entre les deux. , Et ils ont des points de vue complémentaires , La condition à remplir est que l'addition est égale à 90Degré.

Nous pouvons alors transformer cette formule en une telle forme ：

$\frac{a}{\sqrt{a^2+b^2}}=\cos \alpha$

De même, il y a：

$\frac{b}{\sqrt{a^2+b^2}}=\cos \beta$

Expression d'un vecteur dans cette direction ,Peut être écrit comme suit:：

$(\frac{a}{\sqrt{a^2+b^2}},\frac{b}{\sqrt{a^2+b^2}})=(\cos \alpha ,sin\alpha )$

En fait, parce que la congruence angulaire peut être transformée en ：

$(cos\alpha ,cos\beta )$

1、Dérivation partielle de la fonction multivariée

Fonction univariée,C'est - à - dire qu'il y a un argument.Similaire$f(x)$

Fonction multivariée,C'est - à - dire qu'il y a plusieurs arguments.Similaire$f(x,y,z),Trois-\; Oui.DepuisChangementQuantitéx,y,z$

Dans le processus de dérivation partielle de la fonction multivariée：Dérivation d'un argument,D'autres arguments peuvent être considérés comme des constantes

Exemple1：

Exemple2：

Exemple3：

Exercice：

Connu pour$J(a,b,c)=3(a+bc),Ordreu=a+v,v=bc$,S'il te plaît.a,b,cDérivée partielle respective.

2、Dérivée directionnelle：

En termes simples, la Dérivée directionnelle décrit la satisfaction d'une relation(Y=KX+B),Pour le taux de variation numérique de cette relation dans toutes les directions（YTaux de variation）Expression quantitative pour.

Dérivation mathématique,Voir l'article suivant. Mais je n'ai pas pu le comprendre une fois que j'ai fini , Ça ne devrait pas être si difficile à comprendre , Réfléchissons à l'envers. , Pouvez - vous construire à partir de la base précédente quelle est exactement la Dérivée directionnelle .

Dérivée directionnelle1 Chapitre I

Dérivée directionnelle2

De 2D、 3 - D Start

Dans une relation 2D Y=KX+B Nous ne comprenons pas très bien ce qu'est une Dérivée directionnelle , Nous savons que pour une fonction ,$y=kx+b$ La dérivée de ：

Pour un point d'une fonction , La dérivée est égale à la pente de la tangente à ce point , C'est un concept extrême. . Autant comprendre le processus de cette limite ：

L'image suivante montre une fonction , Il contient trois points comme suit: ：

Parmi euxA、B Est deux points aléatoires sur une fonction .Parmi euxA、B Deux points sont satisfaits comme suit: ：
$$\begin{gathered} A=(x_0,f(x_0)) \\ B=(x_0+\Delta x,f(x_0+\Delta )) \end{gathered}$$
Et puisAB Connexion à deux points ,Pour former unSécant, La pente de la tangente satisfait aux conditions suivantes: ：
$$k_{AB}=\frac{f(x_0+\Delta x)-f(x_0)}{(x_0+\Delta x)-x_0}=\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$

Lorsque: , Produit des tangentes et des dérivés ：

QuandBL'infini s'approche deAQuand,C'est - à - dire:$\Delta x$L'infini s'approche de0Quand,SécantAB Se transforme en tangente ,Comme suit：

Les relations mathématiques satisfaisantes sont les suivantes: ：
KaTeX parse error: Undefined control sequence: \varliminf at position 11: k_{ab} = \̲v̲a̲r̲l̲i̲m̲i̲n̲f̲_{\Delta x \to …
Et nous savons que la pente de la tangente est la valeur de la dérivée , C'est en 2D. .

Dérivé directionnel 3D

Dans le cas bidimensionnel, nous le savons déjà. , On va l'étendre au cas tridimensionnel et essayer ,Par exemple,：

Commençons par la définition suivante. ：

En général, la Dérivée directionnelle d'une fonction à trois bits est en fait plane XOYPlus haut$(x,y)$ Valeur de la fonction 3D $f(x,y)$, Et ce qu'il représente $（x,y,f(x,y)）$Par vecteurl Le vecteur directionnel de （Point(x,y)） Valeur d'une tangente de .

C'est abstrait., Prenons un exemple pour le comprendre. ：

La parabole circulaire de la fonction 3D est approximativement la suivante: ：
$$Z=x^2+y^2$$
Comme le montre la figure:

Ça a l'air compliqué, mais ça va. , Nous comptons sur la couleur pour distinguer ：

Le rouge contient deux parties ：RespectivementxyPoint plat$(x,y)$ Et la courbe de la Section .

Orange contient deux parties ：$\overrightarrow{l}$ - Oui. $XOY$ L'avion（Système de coordonnées cartésiennes）Vers le Haut $P(X_0,Y_0)$Un rayon au début,$e_l=(\cos \alpha ,\cos \beta )$ Oui L Vecteur unitaire dans la même direction. Il contient également un plan construit à partir de son vecteur directionnel A.

La partie bleue contient un contenu ：C'est une fonction.Z.

Voyons ce que ça veut dire.

Quand il y a un point cDu point(x,y) Le départ change le long du vecteur directionnel $t$Quand, Les coordonnées sont les suivantes: ：
$$C=(x+tcos\alpha ,y+tcos\beta )（LeMoyenneAngleDegréEtAllez.TexteMoyenneDe-\; Oui.Un.ÉchantillonsItalieJustice）$$
À ce moment - là.c Le point est en fait une ligne noire pointillée lLe point sur. Et cette trajectoire vectorielle est un vecteur , Sa direction et l Le vecteur de direction du vecteur est le même , Et une courbe est cartographiée en fonction , Comme indiqué dans la courbe de la partie rouge , Nous considérons un cas particulier pour cette courbe , Lorsque cette condition est remplie , Comment la courbe change - t - elle? ？

Oui, c'est le cas en 2D ci - dessus. ：

Le résultat est exactement le même, C'est juste que la tangente ici correspond à la tangente sur la courbe , Nous obtenons ici la définition de la Dérivée directionnelle comme suit ：
$${\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=\underset{t\to 0^{+}}{\lim }\frac{f\left(x_0+t\cos \alpha ,y_0+t\cos \beta \right)-f\left(x_0,y_0\right)}{t}$$

$$\text{ À partir de la définition de la Dérivée directionnelle,Dérivée directionnelle }{\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}\text{ C'est une fonction. }f(x,y)\text{ Au point }{P}_0\left(x_0,y_0\right)\text{ Direction }l\text{ Taux de variation. }$$

Théorème：

$$\text{ Si la fonction }f(x,y)\text{ Au point }{P}_0\left(x_0,y_0\right)\text{ Différenciable,Donc la fonction est dans n'importe quelle direction à ce point La Dérivée directionnelle existe pour,Et il y a :}$$

$$\begin{gathered} {\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=f_x\left(x_0,y_0\right)\cos \alpha +f_y\left(x_0,y_0\right)\cos \beta \\ Note:Italie-\; Oui.FacePourDéviationGuideC\text{'}estInternationalAllez.JustePointsSolutionOui.C\text{'}estXYAxeAllez.LettreNombreChangementDeTaux \end{gathered}$$

Parmi eux, $\cos \alpha \text{ Et }\cos \beta$C'est un vecteur.$l$ Cosinus directionnel de.

Encore une fois, quelle est la différence entre la Dérivée directionnelle et la dérivée partielle ？

Un cas particulier de Dérivée directionnelle réelle dérivée partielle , Lorsque le vecteur est pris x Sur l'axe positif , La Dérivée directionnelle se transforme en xDérivée partielle de,Les résultats sont les suivants:：
$${\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=\underset{t\to 0^{+}}{\lim }\frac{f\left(x_0+t\cos \alpha ,y_0\right)-f\left(x_0,y_0\right)}{t}$$
Si vous regardez attentivement, vous verrez que la définition ici est en fait la définition de dérivée partielle , C'est une sorte de Dérivée directionnelle. .

Encore une fois. , Quel est le sens de cette formule? ：
$${\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=f_x\left(x_0,y_0\right)\cos \alpha +f_y\left(x_0,y_0\right)\cos \beta$$
En fait,, C'est cette formule que nous utilisons pour calculer la Dérivée directionnelle , Cette formule décompose le vecteur de direction correspondant en xAxe ety Le cosinus directionnel de l'axe est calculé , C'est - à - dire que le vecteur directionnel est en fait xAxe ety Formé par le cosinus directionnel de l'axe .

Et pour utiliser le même point , La Dérivée directionnelle formée par différents vecteurs directionnels est également de taille différente , Mais la direction de ces dérivés directionnels sera toujours dans un plan , Ce plan est le plan tangent de ce point. ！

3、Gradient：

Le Gradient est un cas particulier de Dérivée directionnelle：
$$\mathrm{gradf}(x,y)=\frac{\partial f}{\partial x}\dot{i}+\frac{\partial f}{\partial y}\dot{j}$$
On sait qu'il existe les relations suivantes pour les dérivés directionnels en un point：
$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}\cos \phi +\frac{\partial f}{\partial y}\sin \phi =\left\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right\}\cdot \{\cos \phi ,\sin \phi \}$$

Dans la direction **L **Les vecteurs unitaires suivants sont satisfaits：
$$\overrightarrow{\mathbf{e}}=\cos \phi \overrightarrow{\mathbf{i}}+\sin \phi \overrightarrow{\vec{j}}$$
Ensuite, la Dérivée directionnelle peut être convertie comme suit:：
$$
\frac{\partial f}{\partial l}

\begin{equation}
\operatorname{gradf}(x, y)
\end{equation} * \overrightarrow{\boldsymbol{e}}
$$
Le produit dot équivaut à une projection,Dérivée directionnelle Et Gradient Maintenir un angle entre（Fais un peu de produit.）Pour former des dérivés directionnels dans toutes les directions.Quand le vecteur directionnel est - il le plus grand?？

Il est facile de penser qu'il peut être satisfait quand il n'y a pas d'angle,Parce qu'à ce stade, le produit maximal du point satisfait aux conditions suivantes：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \text { Seulement si }…
Le Gradient d'une fonction à un certain point est un vecteur,Sa direction correspond à celle de la Dérivée directionnelle maximale,Sa taille est exactement la plus grande Dérivée directionnelle.

​ Compréhension du concept de gradient：Comme le montre la figure ci - dessous,InpPoint isotherme pour placer une source de chaleur,La source de chaleur rayonne de l'intérieur vers l'extérieur10°、20°、30°、40°,Si une petite fourmioPoint,Pour échapper le plus rapidement possible à la chaleur,On devrait y aller.ojDirection de la fuite,Si...omLe taux de changement de la source de chaleur est0,Depuis toujours.20°,C'est - à - dire qu'une fois que la fourmi a identifié une direction de fuite(0°,90°）Angle de fuite,Continuez dans cette direction.,Est la direction la plus rapide de la baisse de la source de chaleur

Pour une fonction linéaire unidimensionnelle, sa dérivée est un gradient.

La relation entre le gradient et la dérivée de diverses fonctions：

Gradient de fonction

Pour une explication plus détaillée, veuillez consulter les liens aux références.

TensorGradient et Rétropropagation

Examen de l'apprentissage automatique

Collecte de données$x$ ,Construire un modèle d'apprentissage automatique$f$,Je l'ai.$f(x,w)=Y_{predict}$

Comment juger si le modèle est bon ou mauvais？Méthode de jugement du modèle:
$$\begin{array}{ll}\mathrm{loss}={\left(Y_{predict}-Y_{\text{true }}\right)}^2& \text{ (Retour à la perte) }\\ \mathrm{loss}=Y_{\text{true }}\cdot \log \left(Y_{\text{predict }}\right)& \text{ (Pertes classées) }\end{array}$$
Adoption de la décision finale $loss$ La sortie de,Pour calculer la taille du gradient et ajuster la taille du paramètre pour obtenir la solution optimale.

Quand $loss$ Comme le montre la figure

Après avoir calculé le gradient：Opération dans la direction du changement de gradient,Sélectionner au hasard un point de départ$w_0$,Par ajustement$w_0$,Jean $loss$ La fonction obtient la valeur minimale.

$w$Méthodes de mise à jour pour：

1. Calcul$$w$$Le gradient de（Dérivée）

$$
\begin{align*}
\nabla w = \frac{f(w+0.000001)-f(w-0.000001)}{2*0.000001}

\end{align*}
$$

2. Mise à jour$w$
   $$w=w-\alpha \nabla w$$

Parmi eux：

1. $\nabla w <0 $ ,Ce qui signifiewVa augmenter
2. $\nabla w >0 $ ,Ce qui signifiewSera réduit

Résumé：Le Gradient est la tendance changeante des paramètres de la fonction multivariée（Orientation de l'apprentissage des paramètres）,Lorsqu'il n'y a qu'un seul argument appeléDérivée,Est appelé dérivé partiel lorsqu'il y a plusieurs.

Rétropropagation？

Diagramme de calcul

Pour faciliter la description,Les fonctions sont décrites graphiquement.

$J(a,b,c)=3(a+bc),Ordreu=a+v,v=bc$,Le dessiner dans un diagramme de calcul peut être représenté comme suit:：

La dérivation partielle pour chaque noeud peut avoir：

Le processus de Rétropropagation est un processus de droite à gauche illustré ci - dessus,Arguments$a,b,c$La dérivée partielle respective est le produit du gradient sur la ligne：
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \frac{dJ}{da} …

Pourquoi la Rétropropagation?？

Parce que pour calculer le gradient.

Démonstration sur le terrain：

Ensuite, essayez de calculer le gradient d'une structure simple,Le problème est décrit ci - dessous：

Supposons que notre modèle de base soity = wx+b,Parmi euxwEtbSont des paramètres,Nous utilisonsy = 3x+0.8Pour construire des donnéesx、y,Donc, en fin de compte, le modèle devrait être capable dewEtbOn devrait s'approcher séparément.3Et0.8.

En termes simples, il s'adapte à la satisfactiony = 3x+0.8Cette courbe.

Les étapes sont divisées en quatre étapes：

# 1 Données de construction
# 2 Conception propagation vers l'avant Et Fonction de Rétropropagation Pour former le réseau
# 3 Formation
# 4 Dessiner une courbe ajustée

Le processus est illustré comme suit:：

De gauche à droite est la partie de propagation vers l'avant

De droite à gauche est la partie de Rétropropagation

PourWEtB C'est un calcul similaire ici. BC'est tout.

PourBLe gradient de,Ce qui est remarquable, c'est queLoosCe qu'on obtient, c'est une moyenne, et ce qu'on obtient, c'est un scalaire,Le calcul du gradient pour un scalaire est en fait une moyenne（Ça vaut la peine d'y réfléchir.）.

$$\frac{\partial Loss}{\partial B}=\sum _{i=0}^{N}2\ast (y_i-y_{pi})/N$$
Après RétropropagationBEffectuer une descente en gradient：

$$B=B-rate\ast \frac{\partial Loss}{\partial B}$$
Une fois le gradient abaissé, la propagation vers l'avant est de nouveau suffisante,CalculerY_p,Enfin calculéLoss.

La propagation vers l'avant satisfait à la formule suivante:：
$$Y_{predict(0...N)}=X_{predict(0...N)}\ast W+B$$
Les codes sont les suivants:：

import torch
import numpy as np
import matplotlib.pyplot as plt

# 1 Données de construction
x_number = 50
x = torch.rand([x_number, 1])
y = 3 * x + 0.8
rate = 0.01
study_time = 3000

# 2 Transmission positive Et Rétropropagation
w = torch.rand([1, 1], requires_grad=True, dtype=torch.float32)
b = torch.rand(1, requires_grad=True, dtype=torch.float32)
y_preidct = torch.matmul(x, w) + b


def forward_propagation():
    global x, w, b, y_preidct
    y_preidct = torch.matmul(x, w) + b
    # Calcul loss
    loss = (y - y_preidct).pow(2).mean()
    return loss


def back_propagation():
    global x, w, b, loss, rate, y_preidct
    test = 0.0
    if w.grad is not None:
        w.grad.data.zero_()
    if b.grad is not None:
        b.grad.data.zero_()
    # Rétropropagation
    loss.backward()
    w.data -= w.grad * rate
    b.data -= b.grad * rate
    #Ici pour vérifierbPour calculer le gradient
    # for j in range(x_number):
    # test += ((y[j] -y_preidct[j].item()) * 2) 
    # print("b:", b.grad)
    # print("b_t:", test/x_number)


# 3 Formation
for i in range(study_time):
    loss = forward_propagation()
    back_propagation()
    if i % 10 == 0:
        print("w,b,loss", w.item(), b.item(), loss.item())

# 4 Section des dessins
predict = x * w + b  # Après l'entraînementwEtbCalculer les prévisions
plt.scatter(x.data, y.data, c="r")
plt.plot(x.data.numpy(), predict.data.numpy())
plt.show()

Le rouge est le résultat de l'ensemble de données le bleu est le résultat de l'entraînement：

La courbe d'ajustement n'est pas correcte lorsque le nombre d'exercices est relativement faible：

Lorsque vous réduisez le taux d'apprentissage（Réduction de la plage de variation）,L'augmentation du nombre d'études donne de bons résultats：

Références：

Cours nationaux Théorie de la déviation （10 -13 Section）

youtobeTutoriels （Section III）（Besoin d'un accès scientifique à Internet）Contactez - moi si vous avez besoin de transport

Dérivée directionnelle1

Dérivée directionnelle2