超越PaLM！北大碩士提出DiVeRSe，全面刷新NLP推理排行榜

最近，來自北大和微軟的研究人員基於自洽的新方法DiVeRSe，包含三個主要的創新點，進一步提昇了模型的推理能力。

論文鏈接：https://arxiv.org/abs/2206.02336

代碼鏈接：https://github.com/microsoft/DiVeRSe

 

第一，受到自洽方式「想法不同，答案相同」的啟發，即從語言模型中采樣不同的推理路徑，DiVeRSe在多樣性上更進一步，按照「條條大路通羅馬」的理念，使用多個prompt生成答案，能够生成更完整、互補的答案。

 

第二，在生成推理路徑時，語言模型中並不存在一種機制來糾正先前步驟中的錯誤，可能會導致最終預測結果的混亂。DiVeRSe借鑒verifier的思想，對每個推理路徑的正確性進行驗證來引導投票機制。也就是說，並非所有的推理機制都是相等重要的或都是好的。

 

第三，由於答案是基於多個步驟的推理而產生的，當一個路徑生成一個正確的答案時，可以認為所有的步驟都對最終的正確性做出了貢獻。然而，當生成一個錯誤的答案時，這並不意味著所有的步驟都是錯誤的或對錯誤有貢獻。