论文阅读【MM21 Pre-training for Video Understanding Challenge:Video Captioning with Pretraining Techniqu】

MM21 Pre-training for Video Understanding Challenge:Video Captioning with Pretraining Technique

概述

• 发表：ACMM 2021
• idea：使用X-Linear Attention，借鉴XLAN的思路对Multi-modality Feature进行融合，提出一种multi-path XLAN模型能够对多个单模态特征进行融合，得到一种较好的融合后的特征。此外在视频理解预训练模型比赛中通过数据扩充技术以及集成multi-path XLAN（early fuse）和微调pretrained OPT（late fuse）获得第一

详细设计

1. Single-Modality Pretrained Feature Fusion

• Multi-Modality Feature Extraction
  几乎考虑到了视频中所有模态的特征，包括：
  （1）appearance feature（$30frames\ast 2048dims$）：FixResNeXt-101 network pretrained on the ImageNet-1k dataset
  （2）motion feature（$30frames\ast 2048dims$）：irCSN-152 network pretrained on the Kinetics-400 dataset
  （3）region feature（$50frames\ast 2048dims$）：vinvl model pretrained on Visual Genome dataset
  （4）audio feature（$30frames\ast 2048dims$）：CNN14 network pretrained on the AudioSet dataset

• Multi-Modality Feature Fusion
  感觉就是OPT+XLAN，几乎没什么改动
  
  
  $F_x$表示输入特征，$E_x$主要是将各种模态特征嵌入到相同的语义隐藏空间，$Encode{r}_x$是XLAN encoder
  
  这里的$AG{G}_{i}n$和$AG{G}_{c}tx$表示聚合方式，有以下几种选择方式：average pooling、concatenation、additional attention

2. Multi-Modality Pretrained Model Finetuning

对pretrained Omni-Perception Pre-Trainer model (OPT)进行微调。

• OPT
  
  分别使用三个encoder对文本、图片、声音进行编码并将特征转换到相同的latent space；然后使用transformer对三种特征进行融合（inter- and intra interactions），然后接入text decoder 和 visual decoder分别生成文本和图片。同时设计了token-level、modality-level和sample-level的任务以让模型具有跨模态理解和生成的能力。作者在这上面使用MSR-VTT数据集进行微调。

实验

• Ablation Studies
  
  $SP$指直接将multi-modality features concate然后进行reduce dimension到1024然后输入encoder-decoder的XLAN/Transformer modal中
• Comparison to State-of-the-art
  
  $+RL$表示微调的时候使用了reinforcement learning