Icml2022 | revoir la traduction vocale de bout en bout du texte à partir de zéro

Liens vers les articles：https://arxiv.org/pdf/2206.04571.pdf

De bout en bout (E2E) Traduction de la parole au texte (ST) Il s'appuie généralement sur l'utilisation d'un transcripteur source pour encoder et/Ou un décodeur pour la pré - formation,Sinon, les performances de traduction seront considérablement réduites.Et pourtant,Les relevés de notes ne sont pas toujours disponibles,Et il y a peu d'études dans la littérature sur ce type de pré - formation pour E2E ST L'importance de.Dans cet article,Nous avons réexaminé la question,On discute également de la formation à la traduction phonétique E2E ST Dans quelle mesure la qualité de.Nous avons revu ce qui s'est avéré juste avant ST Plusieurs techniques utiles,Et offre un ensemble de pratiques exemplaires,Basé surTransformer De E2E-STLe système a tendance à s'entraîner à partir de zéro.En outre,Nous proposons une pénalité de distance paramétrique,Pour faciliter la modélisation locale dans le modèle d'auto - Attention vocale.Dans la couverture 23 Parmi les quatre points de repère en langues,Nos expériences montrent que,Sans transcription ni pré - formation,Le système proposé atteint, voire surpasse, les études antérieures utilisant la formation préalable,Bien que l'écart persiste dans（Pôle）Dans un environnement à faible intensité de ressources.Enfin,Nous avons discuté de la modélisation des caractéristiques neuroacoustiques, Où le modèle neuronal est conçu pour extraire les caractéristiques acoustiques directement du signal sonore original , L'objectif est de simplifier le biais inductif et d'augmenter le degré de liberté du modèle pour décrire la parole. .