【bert】:在训练bert 语义相似的任务时，last ave state 的计算

问题

在bert模型训练以及预测的时候，我们会使用到最后一层隐藏层的平均语义向量作为句向量，发现部分的计算方式如下：

 if self.pooling == 'last-avg':
     last = out.last_hidden_state.transpose(1, 2)  # [batch, 768, seqlen] 
     return torch.avg_pool1d(last, kernel_size=last.shape[-1]).squeeze(-1)  # [batch, 768] 

但是这里有一个问题，我们一般输入的文本是小于或者等于seqlen的，如果等于的话，这样计算没有问题。但是如果是小于的话，这里平均到的应该是按照具体整个batch中的每行的长度来计算的，所以这里的计算方式不是最准确的。

解决

if self.pooling == 'last-avg':
	token_embeddings = out.last_hidden_state
    attention_mask = torch.unsqueeze(attention_mask, dim=-1)
    token_embeddings = token_embeddings * attention_mask
    seqlen = torch.sum(attention_mask, dim=1)
    embeddings = torch.sum(token_embeddings, dim=1) / seqlen
    return embeddings