MIT|256KB 内存下的设备上训练

标题：MIT|On-Device Training Under 256KB Memory（256KB 内存下的设备上训练）

作者：Ji Lin, Ligeng Zhu,  Song Han等

简介：通过微调预训练模型，设备上训练使模型能够适应从传感器收集的数据。对于内存资源很少的物联网设备来说，训练内存消耗是令人望而却步的。作者提出了一种算法-系统协同设计框架，只需 256KB 的内存就可以进行设备端训练。设备上的培训面临两个独特的挑战：(1) 神经网络的量化图由于比特精度混合和缺乏归一化而难以优化； (2)有限的硬件资源（内存和计算）不允许完全反向计算。为了应对优化困难，作者提出量化感知扩展来校准梯度尺度和稳定量化训练。为了减少内存占用，作者建议稀疏更新跳过不太重要的梯度计算层和子张量。算法创新由轻量级实现训练系统，修剪后向计算图形以支持稀疏更新并将运行时自动微分卸载到编译时间。作者的框架是第一个实用的设备传输解决方案，在微型物联网设备上学习视觉识别，使用不到现有框架内存的1/100。作者的研究使物联网设备不仅能够执行推理，而且还不断适应新数据，以进行设备上的终身学习。

论文下载：https://arxiv.org/pdf/2206.15472v1.pdf