Lorsque le transformateur rencontre l'équation différentielle partielle

Cet article partage avec vous les lectures récentes deTransformerArticle sur la résolution des équations différentielles partiellesChoose a Transformer: Fourier or Galerkin,Le document a étéNeurIPS2021Réception.

Fiche d'information

Dans notre monde,Le Mouvement des étoiles cosmiques,Prévisions météorologiques de la vitesse du vent à la température,Aux interactions entre les atomes moléculaires,Beaucoup d'ingénierie、Sciences naturelles、Les processus économiques et commerciaux peuvent passer par des équations aux dérivées partielles（PDE）Description.Méthodes traditionnelles,Comme les éléments finis、Différence finie、Méthode spectrale, etc.,La cartographie des opérateurs dimensionnels infinis est réduite à un problème d'approximation dimensionnelle finie en utilisant une structure discrète.Ces dernières années, le réseau neuronal d'information physique（PINN）Modèle isométrique[1],En échantillonnant dans l'espace de résolution,Former un réseau neuronal pour approximationPDESolution.Mais pour les méthodes traditionnelles ou les réseaux neuronaux d'information physique, etc,Une légère variation des conditions limites ou des paramètres de l'équation,Il faut souvent recalculer et former.

En comparaison,Le but de l'apprentissage de l'opérateur est d'apprendre la cartographie entre les espaces de fonctions dimensionnelles infinies,Cela permet de résoudre des familles d'équations aux dérivées partielles sans avoir besoin d'un recyclage,Cela permet d'économiser considérablement les ressources informatiques.PDEApprentissage de l'opérateur en résolution（operator learner）Est la nouvelle direction de la recherche qui est actuellement en plein essor, Le représentant typique est l'opérateur neuronal de Fourier （FNO）[2].

AvecNeurIPS2021 Liste ,Basé surTransformer L'opérateur apprend l'article 《Choose a Transformer: Fourier or Galerkin》[4] Pour la paramétrisation PDE La solution de , En fin de compte, on a obtenu state-of-the-artLes résultats de.

Principaux travaux

Dans cet article,operator learner Utilisation de l'apprentissage supervisé et de la formation , L'échantillon d'entraînement est obtenu en échantillonnant les fonctions d'entrée et de sortie sur les mêmes points de grille discrets ,Comme le montre la figure ci - dessous, Vous pouvez convertir la solution de l'équation seq2seq Question et passage Transformer[3]Modélisation.

Fig.1 operator learnerUn signe.

Basé surTransformerTravail,Les principales contributions de cet article sont les suivantes:：

1. AucunesoftmaxLe mécanisme d'attention.Présentationscale-preserving Mécanisme d'auto - attention et aucun softmaxDeattention, Et donne une explication mathématique des deux schémas .

2. ParamétragePDEDeoperator learner. Mettre le nouvel opérateur d'attention proposé en relation avec FNOEnsemble, Amélioration significative dans la paramétrisation PDE Précision dans la résolution des problèmes de référence .

3. State-of-the-artRésultats expérimentaux.En troisbenchmarkMoyenne, La précision et la performance de la solution sont grandement améliorées .

Pipeline

Fig.2 2Doperator learnerStructure du réseau

operator learnerLa structure du réseau est illustrée dans la figure ci - dessus., Il se compose principalement des modules suivants ：

1. Extracteur de caractéristiques（Feature extractor）： Problèmes unidimensionnels utilisant des réseaux neuronaux d'alimentation 、 Problèmes bidimensionnels utilisant CNNRéseau, etc.;

2. Basé sur l'interpolation CNN（Interpolation-based CNN）：Échantillonnage supérieur/ Couche d'échantillonnage inférieure et CNNLa pile de;

3. Code de localisation（Positional encoding）： Les coordonnées cartésiennes de chaque point de grille sont reliées aux données d'entrée en tant que dimensions caractéristiques supplémentaires .

4. Décodeur（Decoder）： Les caractéristiques de représentation apprises par l'encodeur sont cartographiées aux dimensions originales .

Où l'entraînement en ligne lossLes fonctions sont les suivantes：

Le corps de la fonction de perte est la sortie réseau et labelEntreMSEloss,En plusloss La sortie et label Terme régulier de différence entre .

Parmi euxFourierEtGalerkinTypeTransformerLa méthode de calcul est la suivante:：

Fig.3 Fourier Attention

Fig.4 Galerkin Attention

Résultats expérimentaux

1. Burger’s equation

L'équation est définie comme suit:：

 

La tâche dans cet article est de commencer dès le début （t=0）Je l'ai.t=1La solution du momentu,Modèles etFNO Le tableau ci - dessous compare , La précision des résultats est supérieure à celle de FNO.

2. Darcy flow problem

L'équation est définie comme suit:：

Le problème est défini à partir des coefficients de géométrie aléatoire bidimensionnelle a, Vers une solution bidimensionnelle uCartographie de.Modèles etFNO Le tableau ci - dessous compare , La précision des résultats est supérieure à celle de FNO.

Tout en comparant la précision du modèle , L'article compare également la performance du modèle ,Les résultats de la comparaison sont présentés dans le tableau ci - dessous.,Parmi euxGalerkin AttentionCommentTransformer Avantages évidents en termes d'occupation de mémoire apparente et de performance .

Réflexions et conclusions

Galerkin Transformer Ça explique mathématiquement AttentionMécanismes, Et la combinaison de l'apprentissage de l'opérateur à la paramétrisation PDE Dans la résolution du problème , La précision et les performances sont supérieures à celles de l'opérateur “Grand frère.”FNO. Plus tard, sur des scènes plus complexes de dimensions supérieures , Valider le modèle .

Reference

[1] Raissi M, Perdikaris P, Karniadakis G E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations[J]. Journal of Computational Physics, 2019, 378: 686-707.

[2] Li Z, Kovachki N, Azizzadenesheli K, et al. Fourier neural operator for parametric partial differential equations[J]. arXiv preprint arXiv:2010.08895, 2020.

[3] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in neural information processing systems. 2017: 5998-6008.

[4] Cao S. Choose a Transformer: Fourier or Galerkin[J]. arXiv preprint arXiv:2105.14995, 2021.

MindSporeInformations officielles

GitHub : https://github.com/mindspore-ai/mindspore

Gitee : https : //gitee.com/mindspore/mindspore

OfficiellementQQGroupe : 486831414