《ActBERT》百度＆悉尼科技大学提出ActBERT，学习全局局部视频文本表示，在五个视频-文本任务中有效！

论文链接：https://arxiv.org/abs/2011.07231

在本文中，作者提出了ActBERT，用于从未标记数据中进行联合视频文本表示的自监督学习。首先，作者利用全局动作信息来分析语言文本和局部区域对象之间的相互作用。它从成对的视频序列和文本描述中揭示全局和局部视觉线索，以进行详细的视觉和文本关系建模。

然后，作者引入了一个TaNgled Transformer block（TNT）来编码三种信息源，即全局行为、局部区域对象和语言描述。全局-局部对应关系是通过从上下文信息中提取的线索来发现的。它强制执行联合视频文本表示，以了解细粒度对象以及全局人类意图。作者验证了ActBERT在下游视频和语言任务上的泛化能力，即文本视频片段检索、视频字幕、视频问答、动作分割和动作step定位。ActBERT的表现明显优于最先进的技术，表明其在视频文本表征学习方面的优势。