Re19：读论文 Paragraph-level Rationale Extraction through Regularization: A case study on European Court

诸神缄默不语-个人CSDN博文目录

论文名称：Paragraph-level Rationale Extraction through Regularization: A case study on European Court of Human Rights Cases
论文ArXiv下载地址：https://arxiv.org/abs/2103.13084
论文NAACL官方下载地址：https://aclanthology.org/2021.naacl-main.22/（有官方视频。本博文中非来自论文的插图都截取自该视频）
本文提出的ECtHR数据集的huggingface下载地址：ecthr_cases · Datasets at Hugging Face

本文是2021年NAACL论文。
任务：alleged violation prediction预测事实描述文本对应违反的法条（highly skewed multi-label text classification task）+可解释性（rationale extraction）
rationale extraction：提取案例文本中用于为预测结果提供解释的段落（paragraph-level）

为了提高alleged violation prediction任务中的可解释性（interpretability或explainablity），从用户中心的角度出发对决策结果提供合理的解释。本文通过rationale extraction来实现这一目标，以前的主流方法都集中在word-level rationales，而本文是从multi-paragraph structured court cases中抽取自然段。除此之外，本文还提出了一个有标注rationales的数据集ECtHR。本文使用了已有的rationale constraints（ sparsity, continuity, and comprehensiveness），并新提出了singularity，作为regularizers。

1. Background

1. rationalization by construction方法论：直接用constraint来正则化模型，对模型决策基于正确rationales的情况给与reward，而非事后根据模型决策结果推理可解释性
   the model is regularized to satisfy additional constraints that reward the model, if its decisions are based on concise rationales it selects, as opposed to inferring explanations from the model’s decisions in a post-hoc manner
2. 可解释性的意义：right to explanation
3. 执法过程：

2. 模型

2.1 Novelty

1. previous work on word-level rationales for binary classification→paragraph-level rationales
2. 第一个在端到端微调预训练Transformer模型中应用rationale extraction的工作
3. 不需要人工标注的rationales

2.2 模型

constraint：以前就有的sparsity, continuity（实验证明无效）, and comprehensiveness（需要根据multi-label范式进行修正），本文新提出的singularity（能提升效果，而且鲁棒）

baseline HIERBERT-HA：text encoder→rationale extraction→prediction

在视频中放的图是：

词级别的正则器
①分别编码每个段落：context-unaware paragraph representations
②用2层transformer编码contextualized paragraph embeddings
③全连接层（激活函数selu）
K→用于分类
Q→用于rationale extraction→每个段落分别过全连接层+sigmoid，得到soft attention
scores→binarize，得到hard attention scores
④得到hardmasked document representation（hard mask+max pooling）（不可微，所以有一个训练trick）
⑤全连接层+sigmoid
baseline HIERBERT-ALL：不mask事实
constraint：
①Sparsity：限制选择出的事实的数目
②Continuity：于本文模型无用，但还是实验了
③Comprehensiveness：留下的段落生成的结果比扔掉的要好多少，或者比较两种段落的余弦相似度
④Singularity：选出的mask比随机的要好
Rationales supervision：noisy rationale supervision

3. 实验

3.1 数据集

提出ECtHR数据集，英语案例文本，silver/gold rationales，事件有时间顺序，决策包括违背的法条和援引的先例

3.2 实验设置

超参数：
网格搜索，Adam，学习率2e-5

贪心调参

LEGAL-BERT-SMALL：
50 paragraphs of 256 words

3.3 实验结果

指标：
micro-F1
Faithfulness: sufficiency and comprehensiveness
Rationale quality: Objective / subjective (mean R-Precision (mRP) [email protected])

4. 代码复现

等我服务器好了再说。