【AI4Code】《IntelliCode Compose: Code Generation using Transformer》 ESEC/FSE 2020

《IntelliCode Compose: Code Generation using Transformer》 ESEC/FSE 2020

不仅仅是生成一个词，而是生成一行。用的是GPT-2。数据集是12亿行Python, C#, Javascript, TypeScript语言的代码

Byte-Pair Encoding (BPE)

对序列token化的处理，一个是用subtoken来缩小词表，一个是屏蔽字符串以防止敏感数据泄漏。

IntelliCode Compose

模型用的是GPT，在推断的时候将sequence decoding的过程视为树的搜索过程，直至 token出现：

生成树的时候使用beam search，beam with为K，假设最终生成的序列长度为L，模型一共需要预测 K*L 次，但是模型可以batch执行，所以一共只需要L次。

Multilingual model

比较了四种建模多语言的方式：

1）忽略语言之间的不同，用统一的模型训练多种语言【实验表明：这种方式比单独对单语言训练效果更差】

2）加入language type embedding信息，每种语言用一个向量表示，和原本的token embedding等结合。

3）在每个训练样本的最开始加上一句"lang * remaining token sequence"，其中 $lang\in \{Python,C\#,JavaScript,TypeScript\}$

4）在预训练时，加入一个language type classification任务，即多一个head，每次预测该语言的类型。