谷歌新论文-Minerva：用语言模型解决定量推理问题

定量推理是语言模型仍然远远低于人类水平的一个领域。解决数学和科学问题需要综合技能，包括用自然语言和数学符号正确解析问题、回忆相关公式和常数，以及生成涉及数值计算和符号操作的逐步解决方案。由于这些挑战，人们通常认为，使用机器学习解决定量推理问题将需要模型架构和训练技术方面的重大进步，允许模型访问外部工具，如 Python 解释器，或者可能需要更深刻的范式转变。

在“使用语言模型解决定量推理问题”（即将在 arXiv 上发布）中，我们介绍了 Minerva，一种能够使用逐步推理解决数学和科学问题的语言模型。我们表明，通过专注于收集与定量推理问题相关的训练数据、大规模训练模型以及采用一流的推理技术，我们在各种困难的定量推理任务上取得了显着的性能提升。 Minerva 通过生成包括数值计算和符号操作的解决方案来解决此类问题，而无需依赖计算器等外部工具。该模型结合使用自然语言和数学符号来解析和回答数学问题。 Minerva 结合了多种技术，包括小样本提示、思维链或暂存器提示以及多数投票，以在 STEM 推理任务上实现最先进的性能。