穀歌 | 蛋白序列的深度嵌入和比對

【標題】Deep embedding and alignment of protein sequences

【作者團隊】Felipe Llinares-L´opez, Quentin Berthet, Mathieu Blondel, Olivier Teboul, Jean-Philippe Vert

【發錶時間】2021/07/01

【機 構】穀歌

【論文鏈接】https://doi.org/10.1101/2021.11.15.468653

【代碼鏈接】https://github.com/google-research/google-research/tree/master/dedal 

蛋白質序列比對是大多數研究蛋白質結構和功能的生物信息學方法的一個關鍵組成部分。然而，對高度多樣性的序列進行比對仍然是一項艱巨的任務，目前的算法往往不能准確執行，導致許多蛋白質注釋的不完善。本文利用深度學習在語言建模和可微分編程方面的最新進展，提出了DEDAL，一個用於比對蛋白質序列並檢測同源物的靈活的模型。DEDAL是一個基於預訓練的模型，它通過觀察原始蛋白質序列和正確排列的大型數據集來學習排列序列。一旦經過訓練，本文錶明DEDAL比現有方法在遠程同源物上的比對正確率提高了2-3倍，並能更好地將遠程同源物與進化上不相關的序列區分開來，為改善結構和功能基因組學中許多依賴序列比對的下遊任務提供了方案。

上圖展示了DEDAL（Deep Embedding and Differentiable ALignment）的概述。它建立在標准的SW算法之上，是一個平滑的SW算法的變體。它可以有效地找到兩個序列之間的最佳比對，但提供了一個靈活的SW算法使用的評分函數的參數化，以適應每個序列對和每個序列中的每個比特置。DEDAL通過在具有已知比對的序列對和一大組原始蛋白質序列中運行SW局部對齊算法與特定的參數（gap開放O，gap擴展E，替換分數S）來對齊兩個序列，這些參數取决於輸入序列，通過每個序列的Transformer編碼Tφ，然後是參數器Pβ，將連續錶示轉化為SW需要的參數矩陣。Tφ和Pβ都依賴於參數φ和β，這些參數在訓練時從大型原始序列語料庫中預訓練學習語言模型Tφ，結合已知對齊方式的序列對，通過SW的連續可微變體和特定的對齊損失函數進行端到端梯度優化，共同學習Tφ和Pβ。

一旦經過訓練，DEDAL就會產生專門為每一對新的序列計算的間隙和替換的評分矩陣。此外，間隙和替換的分數是有背景的：對於每一對比特置，它們取决於要對齊的完整序列。然後用一個標准的SW算法使用這些參數計算出最佳的排列。本文錶明，DEDAL可以在帶有加速器的現代硬件上有效地訓練。一旦訓練完成，DEDAL與標准SW相比，為遠程同源物預測的對准質量提高了2-3倍，並產生了一個能更准確檢測遠程同源物的對准分數。

上圖展示了來自Pfam-A種子的兩個蛋白域序列比對例子。

a. 分別從Pfam-A種子數據庫（第二行）、DEDAL預測（第三行）和用PFASUM70替代矩陣預測（第四行）進行的比對。本文顯示了Pfam-A種子和DEDAL對准的兩個序列中的所有殘基，但沒有顯示PFASUM的序列中對准的上遊和下遊的未對准殘基。綠色突出顯示的殘基對應於正確對齊的保守殘基，而紅色顯示的殘基對應於預測對齊和Pfam-A種子對齊之間的差异。

b. 來自PFASUM替代矩陣的所有殘基對之間的替代分數。

c. 由DEDAL預測的SW參數。

 

在技術方面，本文探索了兩種方法來創建一個可區分的SW對齊模塊，需要在 "學習對齊 "任務中訓練DEDAL的參數，使用平滑技術或擾動技術；本文發現兩者在性能上沒有明顯區別，並在最終的DEDAL模型中實施了基於擾動的方法。關於用於訓練DEDAL的排列組合，本文發現，當本文希望DEDAL能够預測准確的局部排列時，使用Pfam擴展域而不是Pfam域是有益的。在遮蔽語言建模任務中預訓練DEDAL時，將與分布外家族相關的序列從 "蛋白質宇宙 "中排除，導致遠程同源物的性能略有下降，盡管相對於與基線的性能差距來說並不明顯。

關於端到端聯合訓練變換器和參數器的策略，本文發現這確實明顯優於更經典的兩步策略，即首先在屏蔽的語言建模任務中訓練變換器編碼器，然後通過保持變換器固定在 "學習對齊 "任務中訓練參數器。這錶明，一個通用的語言模型，如ESM，是不够的，至少應該進行微調，以達到對齊的最佳性能。

上圖展示了學習的嵌入在下遊任務的應用情况。本文通過簡單地訓練一個模型來評估與上下文相關的嵌入的好處，在這個模型中，替換成本被限制為只取决於要對齊的氨基酸；不難看出，本文觀察到這個模型的性能有很大的下降，達到了與 "對准 "中錶現最好的替換矩陣差不多的性能。