Détailler le bleu dans les tâches de traduction automatique

Un.、$n$ Métagrammaire（N-Gram）

$n$ Métagrammaire（n-gram）Dans le texteContinuIl est apparu $n$ - Oui.Word Yuan.Quand $n$ Respectivement: $1,2,3$ Heure,n-gram Aussi appelé unigram（Syntaxe unidimensionnelle）、bigram（Syntaxe binaire）Et trigram（Syntaxe ternaire）.

$n$ Le modèle métagrammatical est basé sur $n-1$ Un modèle de langage probabiliste pour les chaînes de Markov d'ordre（C'est - à - dire qu'avant seulement $n-1$ Quand les mots apparaissent,La probabilité que ce dernier mot apparaisse）：

$$\begin{array}{rl}\text{unigram:}& P(w_1,w_2,\cdots ,w_T)=\prod _{i=1}^{T}P(w_i)\\ \text{bigram:}& P(w_1,w_2,\cdots ,w_T)=P(x_1)\prod _{i=1}^{T-1}P(w_{i+1}|w_i)\\ \text{trigram:}& P(w_1,w_2,\cdots ,w_T)=P(x_1)P(x_2|x_1)\prod _{i=1}^{T-2}P(w_{i+2}|w_i,w_{i+1})\end{array}$$

2.、BLEU（Bilingual Evaluation Understudy）

2.1 BLEU Définition

BLEU（ Prononciation et mots blue Même chose.） Les premiers résultats ont été utilisés pour évaluer la traduction automatique , Mais il est maintenant largement utilisé pour évaluer la qualité des séquences de sortie dans de nombreuses applications . Pour les séries de prévisions pred Tout $n$ Métagrammaire, BLEU C'est l'évaluation de $n$ La métasyntaxe apparaît - elle dans la séquence des étiquettes label Moyenne.

BLEU Les définitions sont les suivantes:：

$$\text{BLEU}=\exp \left(\min \left(0,1-\frac{\text{len(label)}}{\text{len(pred)}}\right)\right)\prod _{n=1}^k{p}_n^{1/2^n}$$

Parmi eux $\text{len(*)}$ Séquence représentative $\ast$ Nombre d'éléments de mot dans ,$k$ Pour correspondre au plus long $n$ Métagrammaire（Accès fréquent $4$）,$p_n$ Représentation $n$ Précision de la métagrammaire .

En particulier:,Compte tenu de label：$A,B,C,D,E,F$ Et pred：$A,B,B,C,D$,Prends - le. $k=3$.

Regardez d'abord. $p_1$ Comment calculer.Nous allons d'abord pred Chaque unigram Tout est compté.：$(A),(B),(B),(C),(D)$,Encore. label Chaque unigram Tout est compté.：$(A),(B),(C),(D),(E),(F)$, Et voir combien ils correspondent （ On ne peut pas répéter la correspondance , C'est - à - dire qu'une relation individuelle doit être maintenue ）. On peut voir qu'il y a $4$ Correspondance,Et pred Au total. $5$ - Oui. unigram,Et donc, $p_1=4/5$.

Regarde encore. $p_2$ Comment calculer.Nous allons d'abord pred Chaque bigram Tout est compté.：$(A,B),(B,B),(B,C),(C,D)$,Encore. label Chaque bigram Tout est compté.：$(A,B),(B,C),(C,D),(D,E),(E,F)$, Et voir combien ils correspondent . On peut voir qu'il y a $3$ Correspondance,Et pred Au total. $4$ - Oui. bigram,Et donc, $p_2=3/4$.

Enfin... $p_3$ Comment calculer.Nous allons d'abord pred Chaque trigram Tout est compté.：$(A,B,B),(B,B,C),(B,C,D)$,Encore. label Chaque trigram Tout est compté.：$(A,B,C),(B,C,D),(C,D,E),(D,E,F)$, Et voir combien ils correspondent .On peut voir que seulement $1$ Correspondance,Et pred Au total. $3$ - Oui. trigram,Et donc, $p_3=1/3$.

Donc, dans cet exemple BLEU Le score est

$$\begin{array}{rl}\text{BLEU}& =\exp (\min (0,1-6/5))\cdot p_1^{1/2}\cdot p_2^{1/4}\cdot p_3^{1/8}\\ & =e^{-0.2}\cdot {\left(\frac{4}{5}\right)}^{1/2}\cdot {\left(\frac{3}{4}\right)}^{1/4}\cdot {\left(\frac{1}{3}\right)}^{1/8}\\ & \approx 0.5940\end{array}$$

2.2 BLEU Discussion sur

Selon BLEU Définitions, .Lorsque la séquence prévue est identique à la séquence de l'étiquette ,BLEU La valeur de $1$.D'un autre côté,Parce que $e^x>0$ Et $p_n\ge 0$,Il y a donc

$$\text{BLEU}\in [0,1]$$

BLEU Plus la valeur est proche de $1$, Cela signifie que l'effet de prédiction est meilleur ;BLEU Plus la valeur est proche de $0$, Cela signifie que plus la prévision est mauvaise .

En outre,Parce que $n$ Plus la métagrammaire est longue, plus il est difficile de faire correspondre , Alors... BLEU Pour plus long $n$ La précision de la métagrammaire attribue plus de poids （Fixe $a\in (0,1)$,Et $a^{1/2^n}$ Va suivre $n$ Une augmentation de）.Et, Parce que plus la séquence de prédiction est courte $p_n$ Plus la valeur est élevée,Donc le coefficient $\exp (\cdot )$ Ce terme est utilisé pour punir les séquences de prédiction plus courtes .

2.3 BLEU Mise en œuvre simple de

import math
from collections import Counter


def bleu(label, pred, k=4):
    #  Nous supposons que l'entrée labelEtpred Tout a été segmenté 
    score = math.exp(min(0, 1 - len(label) / len(pred)))
    for n in range(1, k + 1):
        #  Utilisez une table de hachage pour stocker labelTous lesn-gram
        hashtable = Counter([' '.join(label[i:i + n]) for i in range(len(label) - n + 1)])
        #  Nombre de correspondances réussies 
        num_matches = 0
        for i in range(len(pred) - n + 1):
            ngram = ' '.join(pred[i:i + n])
            if ngram in hashtable and hashtable[ngram] > 0:
                num_matches += 1
                hashtable[ngram] -= 1
        score *= math.pow(num_matches / (len(pred) - n + 1), math.pow(0.5, n))
    return score

Par exemple：

label = 'A B C D E F'
pred = 'A B B C D'
for i in range(4):
    print(bleu(label.split(), pred.split(), k=i + 1))
# 0.7322950476607851
# 0.6814773296495302
# 0.5940339360503315
# 0.0

References

[1] d2l. Sequence to Sequence Learning