腾讯钱智明：信息流业务中的预训练方法探索与应用实践

图像、文本和语音是人类最重要信息传播载体，这几个领域的研究也都在这几年得到了快速的发展。这里主要针对图像和文本进行感知建模，分别从图像预训练和图文多模态预训练等角度简述相关预训练任务，及其对信息流业务中各类内容理解任务的影响，主要内容如下：

• Data as fuel——大规模预训练数据的获取与赋能

• 图像及多模态预训练模型的典型构建与评估方法

• 信息流业务中图像预训练方法探索与实践

• 信息流业务中多模态预训练方法探索与实践