LMSOC：一种对社会敏感的预训练方法

文献地址：https://arxiv.org/pdf/2110.10319.pdf
本文将社会语境（感觉有点像世界知识)考虑到了NLP的模型之中，基于时间和地理位置两个社会语境构建了数据集与基线对比，在MRR上的改进超过了100%。
模型的实现非常简单，只是将社会语境信息用图的方法进行嵌入，然后将其简单粗暴地加到了BERT的输入中。