L'information et l'entropie, tout ce que vous voulez savoir est ici.

️ Cet article est tiré de [d2l] Information Theory
Si cet article vous aide,On peut se concentrer.️ + - Oui. + Collection + Laissez un message,Votre soutien sera la plus grande force motrice de ma création

En outre,Ce qui est mentionné ici $\log (\cdot )$ Sauf indication contraire ${\log }_2(\cdot )$.

Un.、De l'information（Self-information）

Prenons un exemple.. Rouler un dé de texture uniforme ,Oui. $6$ Résultats possibles , Et la probabilité que chaque résultat se produise est $1/6$.Maintenant：

• Définir l'événement $X=\{\text{Le nombre de points n'est pas supérieur à}6\}$,Et apparemment, $\mathbb{P}(X)=1$;En outre,C'est des conneries, Ça ne nous dit rien. , Parce que le nombre de points que vous obtenez en lançant un dé ne dépassera certainement pas $6$;
• Définir l'événement $X=\{\text{Le nombre de points n'est pas supérieur à}5\}$,Et apparemment, $\mathbb{P}(X)=5/6$;En outre, Cette phrase contient des informations ,Mais pas beaucoup., Parce que nous pouvons presque deviner le résultat ;
• Définir l'événement $X=\{\text{Le nombre de points est exactement égal à}2\}$,Et apparemment, $\mathbb{P}(X)=1/6$;En outre, Cette phrase est plus informative que celle ci - dessus. ,Parce que $\{\text{Le nombre de points est exactement égal à}2\}$ Inclus $\{\text{Le nombre de points n'est pas supérieur à}5\}$ Le message est là. .

Comme le montre cet exemple,Un événement $X$ La quantité d'information contenue est liée à la probabilité qu'elle se produise. . Plus la probabilité est faible, plus la quantité d'information est grande. , Plus la probabilité est élevée, moins la quantité d'information est importante. .

Définir l'événement $X$ La quantité d'informations contenues est $I(X)$, La probabilité qu'il se produise est $p\triangleq \mathbb{P}(X)$, Comment trouver $I(X)$ Avec $p$ Et la relation entre？

Tout d'abord,, Nous avons le bon sens suivant ：

• Observez un Presque Quantité d'information obtenue à partir d'un événement déterminé Presque- Oui. $0$;
• Quantité d'information obtenue par observation conjointe de deux variables aléatoires Pas plus de La quantité d'information obtenue en observant deux variables aléatoires Et, Et l'inégalité est égale si et seulement si deux variables aléatoires Indépendant les uns des autres.

Définir l'événement $X=\{AAvecBMême\; chose.HeureLes\; cheveux.Non.,LeMoyenneA、BPhaseL\text{'}autreSeulDebout\}$,Et apparemment, $\mathbb{P}(X)=\mathbb{P}(A)\mathbb{P}(B)$, Et selon le bon sens ,Encore. $I(X)=I(A)+I(B)$.Peut - être. $I(\ast )=f(\mathbb{P}(\ast ))$,Et

$$f(\mathbb{P}(A)\cdot \mathbb{P}(B))=f(\mathbb{P}(X))=I(X)=I(A)+I(B)=f(\mathbb{P}(A))+f(\mathbb{P}(B))$$

C'est facile à voir. $\log (\cdot )$ Capable de répondre à cette exigence .Mais étant donné que $\log x$ In $(0,1]$ Non positif et incrémental monotone ,C'est pourquoi nous utilisons généralement $-\log (\cdot )$ Pour mesurer la quantité d'information sur un événement .

Total ci - dessus,Mise en placeÉvénements$X$ La probabilité d'occurrence est $p$, La quantité d'information （Aussi connu sous le nom deDe l'information）Ça peut être calculé comme ça.：

$$I(X)=-\log p\text{\hspace{1em}(1)}$$

---

• Quand $(1)$ Où $\log$ Par $2$ En bas, L'Unit é d'auto - information est $\text{bit}$;
• Quand $(1)$ Où $\log$ Par $e$ En bas, L'Unit é d'auto - information est $\text{nat}$;
• Quand $(1)$ Où $\log$ Par $10$ En bas, L'Unit é d'auto - information est $\text{hart}$.

Je peux l'avoir.：

$$1\text{nat}={\log }_{2}e\text{bit}\approx 1.443\text{bit},1\text{hart}={\log }_{2}10\text{bit}\approx 3.322\text{bit}$$

Nous savons que,Pour toute longueur $n$ Séquence binaire de,Il contient: $n$ Le message de bits.Par exemple,Pour la séquence $0010$, La probabilité qu'il se produise est $1/2^4$,Donc,

$$I(\text{“0010”})=-\log \frac{1}{2^4}=4\text{bits}$$

2.、Entropie（Entropy）

Mise en placeVariables aléatoires$X$ Obéir à la distribution $\mathcal{D}$,Et $X$ L'entropie est définie comme l'attente de sa quantité d'information ：

$$H(X)={\mathbb{E}}_{X\sim \mathcal{D}}[I(X)]\text{\hspace{1em}(2)}$$

Si $X$ Est une distribution discrète ,Et

$$H(X)=-{\mathbb{E}}_{X\sim \mathcal{D}}[\log p_i]=-\sum _i{p}_i\log p_i$$

Si $X$ Est une distribution continue ,Et

$$H(X)=-{\mathbb{E}}_{X\sim \mathcal{D}}[\log p(x)]=-\int p(x)\log p(x)\text{d}x$$

Dans des situations discrètes ,Mise en place $X$ Prends juste $k$ Valeurs,Oui.：$0\le H(X)\le \log k$.

Contrairement à la quantité d'information ,Ici. $X$ Est une variable aléatoire, pas un événement
Voir les événements comme un point , La quantité d'information peut être considérée comme l'information générée par un point , L'entropie de l'information représente la quantité moyenne d'information générée par une série de points.
Dans les chapitres suivants, nous ne parlerons que de cas discrets. , Formule de raisonnement analogique dans le cas continu

2.1 Entropie conjointe（Joint Entropy）

Nous savons déjà comment calculer $X$ Entropie de l'information ,Comment calculer $(X,Y)$ Et l'entropie de l'information ？

Mise en place $(X,Y)\sim \mathcal{D}$, La distribution de probabilité conjointe est $p_{ij}\triangleq \mathbb{P}(X=x_i,Y=y_j)$,Rappelle - toi. $p_i=\mathbb{P}(X=x_i),p_j=\mathbb{P}(Y=y_j)$, Similaire à la définition de l'entropie de l'information

$$H(X,Y)=-\sum _{ij}{p}_{ij}\log p_{ij}\text{\hspace{1em}(3)}$$

Si $X=Y$,Et $H(X,Y)=H(X)=H(Y)$;Si $X$ Et $Y$ Indépendant les uns des autres,Et $p_{ij}=p_i\cdot p_j$,Et puis

$$H(X,Y)=-\sum _{ij}(p_i\cdot p_j)(\log p_i+\log p_j)=-\sum _j{p}_j\sum _i{p}_i\log p_i-\sum _i{p}_i\sum _j{p}_j\log p_j=H(X)+H(Y)$$

En outre, Il y a toujours une inégalité ：

$$H(X),H(Y)\le H(X,Y)\le H(X)+H(Y)$$

2.2 Entropie conditionnelle（Conditional Entropy）

Entropie conditionnelle $H(Y|X)$ Représente une variable aléatoire connue $X$ Variable aléatoire dans le cas de $Y$ Incertitude,Défini comme suit: $X$ Dans des conditions données $Y$ La paire d'entropie de la distribution de probabilité conditionnelle de $X$ Attentes mathématiques：

$$H(Y|X)=\sum _i{p}_{i}H(Y|X=x_i)=\sum _i{p}_i\left(-\sum _j{p}_{j|i}\log p_{j|i}\right)=-\sum _{ij}{p}_{ij}\log p_{j|i}\text{\hspace{1em}(4)}$$

Utilisation $p_{j|i}=p_{ij}/p_i$ Oui.

$$H(Y|X)=H(X,Y)-H(X)$$

Comme le montre la formule ci - dessus,,$H(Y|X)$ Représente en fait une $Y$ Mais non inclus dans $X$ Information in（Similaire à $\mathbb{P}(B\backslash A)=\mathbb{P}(A\cup B)-\mathbb{P}(A)$）.

2.3 Information mutuelle（Mutual Information）

Compte tenu deVariables aléatoires$(X,Y)$,On le sait déjà. $X$ Les informations peuvent être utilisées $H(X)$ Pour représenter;$(X,Y)$ Le total des informations disponibles $H(X,Y)$ Pour représenter;Inclus dans $Y$ Mais non inclus dans $X$ Les informations contenues dans $H(Y|X)$ Pour représenter. Que devons - nous mesurer? $X$ Et $Y$ Qu'en est - il des informations qu'ils contiennent? ？

La réponse est:Information mutuelle,Il est défini comme suit:（Peut être compris comme une collection $X$ Avec $Y$ Intersection de）：

$$I(X,Y)=H(X,Y)-H(Y|X)-H(X|Y)\text{\hspace{1em}(5)}$$

Entropie、Entropie conjointe、Entropie conditionnelle、 La relation entre les informations mutuelles est la suivante: ：

On peut aussi le voir sur la photo ci - dessus. ：

$$\begin{array}{rl}I(X,Y)& =H(X)-H(X|Y)\\ I(X,Y)& =H(Y)-H(Y|X)\\ I(X,Y)& =H(X)+H(Y)-H(X,Y)\end{array}$$

On va $(5)$ Expansion de l'équation

$$\begin{array}{rl}I(X,Y)& =-\sum _{ij}{p}_{ij}\log p_{ij}+\sum _{ij}{p}_{ij}\log p_{j|i}+\sum _{ij}{p}_{ij}\log p_{i|j}\\ & =\sum _{ij}{p}_{ij}(\log p_{j|i}+\log p_{i|j}-\log p_{ij})\\ & =\sum _{ij}{p}_{ij}\log \frac{p_{ij}}{p_i\cdot p_j}\\ & ={\mathbb{E}}_{(X,Y)\sim \mathcal{D}}\left[\log \frac{p_{ij}}{p_i\cdot p_j}\right]\end{array}$$

Quelques propriétés de l'information mutuelle ：

• Symétrie：$I(X,Y)=I(Y,X)$;
• Non négatif：$I(X,Y)\ge 0$;
• $I(X,Y)=0$$\iff$$X$ Avec $Y$ Indépendant les uns des autres;

2.4 Information mutuelle ponctuelle（Pointwise Mutual Information）

L'information mutuelle ponctuelle est définie comme suit: ：

$$\text{PMI}(x_i,y_j)=\log \frac{p_{ij}}{p_i\cdot p_j}\text{\hspace{1em}(6)}$$

Union 2.3 Section, Nous découvrirons qu'il y a une relation （ Tout comme l'entropie de l'information est l'attente de la quantité d'information , L'information mutuelle est également l'attente de l'information mutuelle ponctuelle ）

$$I(X,Y)={\mathbb{E}}_{(X,Y)\sim \mathcal{D}}\left[\text{PMI}(x_i,y_j)\right]$$

PMI Plus la valeur est élevée,Représentation $x_i$ Avec $y_j$ Plus la corrélation est forte .PMI Souvent utilisé NLP Calculer la corrélation entre deux mots dans une tâche , Mais si le corpus est insuffisant ,Ça pourrait arriver $p_{ij}=0$ Situation, Cela conduit à l'information mutuelle des deux mots $-\infty$, Une correction est donc nécessaire ：

$$\text{PPMI}(x_i,y_j)=\max (0,\text{PMI}(x_i,y_j))$$

Ce qui précède PPMI Aussi appeléInformation mutuelle ponctuelle（Positive PMI）.

Trois、Entropie relative（KLDispersion）

Entropie relative（Relative Entropy）Aussi appeléKLDispersion（Kullback–Leibler divergence）, Ce dernier est son nom le plus courant .

Définir des variables aléatoires $X$ Suivre la distribution des probabilités $P$, Maintenant nous essayons d'utiliser une autre distribution de probabilité $Q$ Pour estimer $P$（Hypothèses $Y\sim Q$）.Note $p_i=\mathbb{P}(X=x_i),q_i=\mathbb{P}(Y=x_i)$,EtKL La divergence est définie comme suit:

$$D_{\text{KL}}(P\Vert Q)={\mathbb{E}}_{X\sim P}\left[\log \frac{p_i}{q_i}\right]=\sum _i{p}_i\log \frac{p_i}{q_i}\text{\hspace{1em}(7)}$$

KL Quelques propriétés de divergence ：

• Asymétrie：$D_{\text{KL}}(P\Vert Q)\ne D_{\text{KL}}(Q\Vert P)$;
• Non négatif：$D_{\text{KL}}(P\Vert Q)\ge 0$, L'équation est vraie si et seulement si $P=Q$;
• S'il existe $x_i$ De faire $p_i>0,q_i=0$,Et $D_{\text{KL}}(P\Vert Q)=\infty$.

KL La divergence est utilisée pour mesurer la différence entre les deux distributions de probabilité. . Si les deux distributions sont exactement égales ,EtKLLa divergence est $0$.Donc,,KL La divergence peut être utilisée comme fonction de perte pour les tâches Multi - catégories .

Parce queKL La divergence ne satisfait pas à la symétrie , Donc ce n'est pas strictement “Distance”

Quatre、Entropie croisée（Cross-Entropy）

On va $(7)$ Type de démontage

$$D_{\text{KL}}(P\Vert Q)=\sum _i{p}_i\log p_i-\sum _i{p}_i\log q_i$$

Si $\text{CE}(P,Q)=-{\sum }_i{p}_i\log q_i$, Alors la formule ci - dessus peut être écrite comme suit:

$$D_{\text{KL}}(P\Vert Q)=\text{CE}(P,Q)-H(P)$$

Et $\text{CE}(P,Q)$ C'est ce qu'on dit.Entropie croisée, Il est officiellement défini comme suit:

$$\text{CE}(P,Q)=-{\mathbb{E}}_{X\sim P}[\log q_i]\text{\hspace{1em}(8)}$$

UnionKLNon - négativité de la divergence,On peut encore l'avoir. $\text{CE}(P,Q)\ge H(P)$, Cette inégalité est également appelée inégalité Gibbs .

En général $\text{CE}(P,Q)$ Il sera écrit comme suit: $H(P,Q)$

---

Un exemple de calcul de l'entropie croisée ：

$P$ C'est la vraie distribution. ,Et $Q$ Est la distribution estimée , Examen de trois questions de classification ,Pour un échantillon, Les résultats réels des étiquettes et des prévisions sont présentés dans le tableau ci - dessous. ：

	Catégorie 1	Catégorie 2	Catégorie 3
target	0	1	0
prediction	0.2	0.7	0.1

Comme le montre le tableau ci - dessus,, L'échantillon appartient à la catégorie 2,Et $p_1=0,p_2=1,p_3=0,q_1=0.2,q_2=0.7,q_3=0.1$.

Donc,

$$\text{CE}(P,Q)=-(0\cdot \log 0.2+1\cdot \log 0.7+0\cdot \log 0.1)=-\log 0.7\approx 0.5146$$

Lorsque l'ensemble de données est donné ,$H(P)$ C'est une constante. ,Donc,KL La divergence et l'entropie croisée peuvent être utilisées comme fonctions de perte pour les problèmes de classification multiple . Quand la vraie distribution $P$ - Oui. One-Hot Quand un vecteur,Oui. $H(P)=0$, L'entropie croisée est égale à KLDispersion

4.1 Entropie croisée binaire（Binary Cross-Entropy）

Entropie croisée binaire（BCE） Est un cas particulier d'entropie croisée

$$\begin{array}{rl}\text{BCE}(P,Q)& =-\sum _{i=1}^2{p}_i\log q_i\\ & =-(p_1\log q_1+p_2\log q_2)\\ & =-(p_1\log q_1+(1-p_1)\log (1-q_1))\end{array}$$

BCE Fonction de perte utilisée comme classification binaire ou Multi - étiquettes .

Généralement connecté avant la perte d'entropie croisée Softmax, La perte d'entropie croisée binaire est habituellement précédée d'une perte d'entropie croisée binaire. Sigmoid
Scénario de classification II , La couche de sortie peut utiliser à la fois un neurone +Sigmoid Deux neurones peuvent également être utilisés +Softmax,Les deux sont équivalents, Mais il est plus rapide de s'entraîner avec le premier

BCE Peut encore passer MLE Je l'ai..Compte tenu de $n$ Échantillons：$x_1,x_2,\cdots ,x_n$, Étiquette de chaque échantillon $y_i$ Non $0$ C'est - à - dire: $1$（$1$ Représente la classe positive,$0$ Représente la classe négative）, Les paramètres du réseau neuronal sont résumés comme suit: $\theta$. Notre objectif est de trouver le meilleur $\theta$ De faire ${\hat{y}}_i={\mathbb{P}}_{\theta }(y_i|x_i)$.Mise en place $x_i$ La probabilité d'être classée comme positive est ${\pi }_i={\mathbb{P}}_{\theta }(y_i=1|x_i)$,La fonction de probabilité logarithmique est

$$\begin{array}{rl}\ell (\theta )& =\log L(\theta )\\ & =\log \prod _{i=1}^n{\pi }_i^{y_i}(1-{\pi }_i{)}^{1-y_i}\\ & =\sum _{i=1}^n{y}_i\log {\pi }_i+(1-y_i)\log (1-{\pi }_i)\end{array}$$

Maximiser $\ell (\theta )$ Équivalent à la minimisation $-\ell (\theta )$, Ce dernier est la perte d'entropie croisée binaire .

---

Les blogueurs sont peu instruits, S'il y a des erreurs dans cet article, veuillez les signaler dans la section commentaires.