Simple sr: Best Buddy Gans for highly detailed image super resolution Paper Analysis

Quels sont les problèmes à résoudre?？ 

• Problèmes résolus： Comment générer des images superfractionnées avec réalisme;
• En particulier:：
• À l'heure actuelle, de nombreuses méthodes pertinentes sont utilisées dansPSNR、SSIMDe bons résultats sur tous les indicateurs,Mais la plupart des méthodes peuvent produire des effets visuels flous;
• Pour améliorer la qualité perçue des images restaurées,Certaines méthodes sont utilisées pour contrer les pertes d'apprentissage et de perception,Mais parUn contre un.MSE / MAEProblème de lissage excessif causé par la perte,Il n'y a toujours pas de solution optimale.
• Et,L'entraînement à la confrontation produit des artefacts visuels;

• Pour la super - résolution d'images de haute qualité Beby-GAN ;
• Le Réseau traite différemment les zones lisses et bien texturées,Et ne s'entraîner qu'avec ce dernier.Cette séparation encourage le réseau à se concentrer davantage sur les zones très détaillées,Évitez également les zones planes（Comme le ciel et les bâtiments）Générer une texture inutile sur;
• Proposé parone-to-many best-buddy loss(Perte d'un à plusieurs meilleurs partenaires)L'avantage est de produire des textures plus riches et plus raisonnables;

Le corps du cadre est basé sur la génération d'un réseau de confrontation (GAN) Au - dessus de, Où le générateur est utilisé pour reconstruire des images à haute résolution , Et le discriminateur est formé pour distinguer les résultats récupérés des images naturelles réelles ;

Avec pré - formation RRDB Le modèle comme notre générateur , Parce qu'il a une grande capacité d'apprentissage ;

RRDBDeESRGAN：

Le corps du cadre est basé sur la génération d'un réseau de confrontation (GAN) [9] Au - dessus de, Où le générateur est utilisé pour reconstruire des images à haute résolution , Et le discriminateur est formé pour distinguer les résultats récupérés des images naturelles réelles ;

Avec pré - formation RRDB Le modèle comme notre générateur , Parce qu'il a une grande capacité d'apprentissage ;

Pourquoi proposerBest-Buddy Loss：

• Cause 1： En mission super - résolution ,Unique LR Patch Essentiellement avec plusieurs natures HR Les solutions sont liées ：

• Cause 2： Les méthodes existantes sont généralement axées sur l'utilisation pendant la phase de formation. MSE/MAE Perdre pour apprendre les feuilles immuables LR-Single HR Cartographie,Ça ne tient pas compte SISR L'incertitude inhérente à ,Alors...,Reconstruction HR L'image peut manquer plusieurs structures à haute fréquence ;
• La structure à haute fréquence ici peut être interprétée comme des détails d'image ;

• C'est pourquoi j'ai proposéBest-Buddy Loss：
• one-to-many best-buddy loss(Perte d'un à plusieurs meilleurs partenaires) , Pour une surveillance fiable et plus flexible ;
• L'idée clé est： Permet une estimation supervisée par différents objectifs dans différentes Itérations HR Patch;

Candidate PatchComment demander？

• D'abord pour les ground-truth（GT）HR ImagesIHREffectuer l'échantillonnage suivant：
• Parmi eux S(I, r) : C'est un opérateur d'échantillonnage double triple inférieur ,J'en ai un. 3 Pyramide d'images de niveau （Y compris original GT HR Images）;
• Et puis, À estimer HR Images et correspondances GT Les pyramides d'images s'étendent en blocs ,GT La base de données des candidats supervisés pour cette image est partiellement formée G ;

Best-buddy PatchComment demander？

• Estimated HR patch, Rechercher son correctif de surveillance correspondant dans l'itération courante g∗i（ Le meilleur partenaire ） Pour satisfaire aux deux contraintes ：
• g∗i（ Le meilleur partenaire ）Besoin d'approche HR Valeurs réelles prédéfinies dans l'espace gi（ Le premier terme de l'équation ）. S'appuyant sur l'auto - similarité à plusieurs échelles omniprésente dans les images naturelles , Il y a de fortes chances que vous trouviez une valeur proche de la réalité giDe HR Patch.
• Pour faciliter l'optimisation ,g∗i （ Le meilleur partenaire ） Devrait être proche de l'estimation  （ Le deuxième terme de l'équation ）. Considéré comme une prévision raisonnable , Parce que le générateur est bien initialisé .

• Parmi eux α ≥ 0 Et β ≥ 0 Est un paramètre d'échelle.

Best-Buddy Loss

• LePatchDeBest-Buddy LossPour：
  
• Quand β Beaucoup plus petit que α Heure, Best-Buddy LossDégénéré enMAE Loss;

 

Contraintes de rétroprojection

• Utiliser des contraintes rétroprojectives sur les images estimées générées ：
• L'image de super résolution réduite doit correspondre à la fidélité attendue à la résolution inférieure ;Introduit HR-to-LR Fonctionnement（ Dans cet article, nous avons utilisé deux sous - échantillons triples ）, Pour assurer une estimation HR L'image est LR La projection dans l'espace est toujours en harmonie avec l'original LR D'accord.;

• Parmi eux s C'est le facteur de réduction .

Oui.（w/）Et non.（w/o）Rétroprojection（BP） Comparaison des pertes .Visualisation Entre les résultats estimés et la réalité au sol L2 Carte thermique d'erreur .

Notez que cette perte de rétroprojection joue un rôle crucial dans le maintien de la cohérence du contenu et des couleurs .

La perception régionale contre l'apprentissage

Précédemment basé sur GAN Méthode, Surtout dans les zones planes , Parfois, il y a de mauvaises textures ;

Donc, Distinguer les zones riches en texture des zones lisses selon les statistiques locales des pixels , Et ne fournit que le contenu de texture ​​ Au discriminateur , Parce qu'aucune image de la zone lisse n'est nécessaire GAN Et ça se rétablit bien ;

La stratégie consiste d'abord à rendre la réalité HR Images（C'est - à - dire:） Étendre à la taille de k^2Le bloc de, Puis calculer l'écart type pour chaque bloc （std）. Obtenez un masque binaire avec ：

Parmi eux δ Est un seuil prédéfini, (i, j) C'est l'emplacement du correctif .

La zone de texture de la hauteur est marquée comme 1, Les zones planes sont marquées comme suit: 0.

Les résultats seront ensuite estimés Et groundtruth IHR Même masque que M Multiplication, Traité par le discriminateur suivant ;

Bien qu'il soit possible d'utiliser des stratégies plus complexes , Mais l'auteur a prouvé l'efficacité de l'apprentissage de l'antagonisme perceptuel régional par des expériences d'ablation. ;

 

Sans apprentissage régional perçu , Il y a des artefacts désagréables autour des caractères et des balustrades dans le résultat （Voir“w/o RA”）. Après avoir distingué les zones riches en texture des zones Planes , Ce problème a été atténué ,Par exemple: 3 Liste（Voir“La nôtre.”）;

Cette séparation permet au réseau de savoir “Où est - il?”Formation à la confrontation, Et génère deux avantages majeurs .D'un côté, Parce que le réseau n'a besoin que de se concentrer sur les zones de détail à haute fréquence , Il est donc plus facile de s'entraîner .D'un autre côté, La partie lisse ne passe pas GAN, Le Réseau produit moins de textures non naturelles ;

Le module guide le modèle pour générer des détails réalistes et fins pour la zone de texture ;

Conception de la fonction de perte：

Conception de la fonction de perte globale ：

Perte de perception：

Contre les pertes：

Expériences et effets

BSDS100DeX4Effets, J'ai l'impression que ？

 

Formules et images ( À part les deux dernières images ) Le reste provient de l'article original