【AI4Code】《Pythia: AI-assisted Code Completion System》（KDD 2019）

代码补全

补全属性/方法，在一个给定集合内推荐item，最简单的方法就是按字母排序，缺点是用户下拉菜单的时间可能要长于直接打代码的时间。用户可以多打几个前缀帮助补全。

基于模型的代码补全

• 基于抽象语法树（AST）——Pythia等
• 基于代码文本——Deep TabNine 、Galois等

数据：AST和代码文本

AST是源代码语法结构的一种抽象表示。它以树状的形式表现编程语言的语法结构，树上的每个节点都表示源代码中的一种结构。之所以说语法是“抽象”的，是因为这里的语法并不会表示出真实语法中出现的每个细节。比如，嵌套括号被隐含在树的结构中，并没有以节点的形式呈现；而类似于 if-condition-then 这样的条件跳转语句，可以使用带有三个分支的节点来表示。

一种是将代码解析为抽象语法树（AST），每个节点包括两个属性：type和value，所以每个节点需要两个embedding。然后使用深度优先遍历把AST的每个节点flatten成序列。

一种是直接将代码处理成文本，包含空格、换行符、缩进符等。

Pythia（KDD’19）

Pythia收集了Github上 Stars 前2700个Python项目的代码，一共包含了1600万个方法调用作为训练数据。

任务是给定一个长为 $T$的代码片段 $C$ ，其中每个token为 $c_t$，以及一个特殊token “.”，预测token $m^{\ast }$。所以这个任务就是给定一个序列，根据这个序列的表征预测一个token，很适合用LSTM：
$$\begin{array}{rl}{x}_t& =L{c}_t\\ h_t& =f\left(x_t,h_{t-1}\right)\\ P(m\mid C)& =y_t=\mathrm{softmax}\left(W{h}_t+b\right)\\ m^{\ast }& =\mathrm{argmax}(P(m\mid C))\end{array}$$
即在LSTM的输出后面接一个分类器。这里还用了tying embedding，LSTM的输出经过一个线性层后，直接和候选集里的token的embedding做内积，然后对内积结果做softmax。

Pythia已经作为VSCode的一个插件：

所以代码补全任务和session-based推荐任务和方法是相同的，不过代码补全任务的候选集更小。

DeepTabNine和Galois

这类方法和Pythia类似，只不过数据格式和模型与Pythia不同，在输入数据上用的是代码文本，模型用的是GPT（只有Transformer的Decoder，少一层Attention）而不是LSTM：

但是这两个方法是收费使用的插件，没有开源技术细节和论文。