壁仞科技研究院前沿技术文章精选

 

2022已经过半，在过去半年时间里，多模态模型蓬勃发展，Text-to-Image模型展现惊人效果，NeRF相关研究依然活跃，更强的算力、更先进的架构、更灵活的软硬协同设计、以及更高效的并行算法也让巨型模型不断突破纪录。

以下是壁仞科技研究院在一些关键领域的文章精选，希望能够和大家一起学习进步。

 

前沿算法

DALL·E 2和Imagen等优秀的文本-图像生成模型“创作”的图像效果惊人，这一能力的核心是扩散概率模型。我们去年第一次接触扩散概率模型时就认为这是一个很有潜力的研究方向，并对此做过详细的分析。

• 深度生成网络新思路：扩散概率模型

新兴的神经渲染技术给计算机图形学带来了新的机遇，受到了学界和工业界的广泛关注。在近几年的计算机视觉和图形学顶会上，我们都可以看到各种令人耳目一新的神经渲染应用。神经渲染是以深度学习为基础的新型图形渲染方法，是实现时下热点概念“元宇宙”的关键要素。同时神经渲染也是深度学习的前沿方向，催生了许多新的深度学习方法与计算结构。

 

• 神经渲染最新进展与算法（一）：语义图像合成

• 神经渲染最新进展与算法（二）：NeRF及其演化

• 神经渲染中的特色深度计算特征

• 视觉神经场：NeRF研究的新视角

• NeRF方法中的相机参数求解

• Kubric：高效地合成视觉数据集

推荐系统和语音模型已经得到了广泛应用，我们从算法和架构层面对这些模型的实现进行了详细的分析。

• “Hello, world!”，说出口没那么容易

• “Hello, world!”，说出口没那么容易（续）

• 比你更懂你 — 神经网络与推荐系统的深度结合

• 万物皆可嵌入--embedding在GPU中的实现

• 推荐场景训练加速：大规模混合分布式系统

• 用于推荐系统的近存处理器设计

 

Meta AI开源了OPT-175B，分布式训练框架日益完善，GPU算力日渐增强，模型的规模不断被刷新。为更好地支持“巨型”模型训练，我们一方面关注如何提供更强的算力，另一方面思考如何更高效地利用现有系统。

• 擎天柱：训练超大模型的高效二维方法

• 比快更快：混合精度计算加速的实现

• 众包训练：另类的分布式异构深度模型训练方法

• 应对大规模训练中的通信挑战：同步与拓扑

• 应对大规模训练中的通信挑战：压缩及调度

 

随着GPU能力的提升，支撑深度学习的软硬件生态得到了快速发展。通过深度学习来解决科学计算问题成了一种趋势，其中用深度学习来求解微分方程的方法也逐渐兴起。尤其引人注意的是一种称为物理导引神经网络的方法，其为科学计算领域注入了新的活力。

 

• 科学计算领域的低数值精度加速问题

• 偏微分方程的图神经网络解法

• 物理导引神经网络方法分析

• 流体力学与物理导引神经网络

• 从数据中获取动态信息：动态模式分解 (DMD) 与物理先验的结合

我们也会持续关注前沿技术的核心组件，整理新颖的方法和观点。

• 训练神经网络一定要用反向传播吗？

• 「热力学计算」：从Landauer边界到终极计算机

• Transformer霸榜，点积自注意力是否不可替代？

• 基于Object Query的机器视觉新思路: DETR及发展

• GAN在因果推理中的应用研究
• 因果发现最新进展及其在复杂系统中实践的探讨

• 卷上加“卷”：特殊卷积的实现

• 高阶优化器：深度学习加速的利器

 

先进架构

不管是我们已经比较熟悉的算法，还是新出现的算法，如何利用手中的工具去设计软硬件架构，高效地执行这些算法，是我们不断思考的问题，可以说是架构师的日常。当然，这个问题的答案也可能是一个重要决策，大的创新，甚至技术路线的改动。在壁仞研究院，我们会从设计空间的“扩展”和“压缩”这两个不同的方向出发来思考这个问题。

 

• 谷歌如何打造世界上最快的AI超级计算机系统？（上）

• 谷歌如何打造世界上最快的AI超级计算机系统？（下）

• 面向大规模图计算的系统优化（1）

• 面向大规模图计算的系统优化（2）

• 面向大规模图计算的系统优化（3）

• 片上系统设计案例分析 - Xbox主机

• 图神经网络加速器深度调研（上）

• 图神经网络加速器深度调研（中）

• 图神经网络加速器深度调研（下）

• 机器学习方法在数字芯片设计中的应用

• 稀疏张量算子的硬件加速

 

协同设计

自从AI芯片成为热门的研究课题，众多关于AI芯片架构探索的学术文章不断涌现，大家从不同的角度对AI芯片进行架构分析及性能优化。MLIR是谷歌团队推出的开源编译器框架，颇受瞩目，灵活的编译器架构提升了其在众多领域应用的潜力。通过自定义IR的衔接，可以在架构探索和MLIR之间架起一座桥梁，在编译的过程中，自动进行硬件架构的探索和软件的优化编译，甚至生成硬件的代码，实现软硬协同设计。

• MLIR多层编译框架实现全同态加密的讨论

• 基于IREE HLO项目看MLIR编译器实现的过程及优势

• MLIR编译技术应对硬件设计挑战？——初探CIRCT项目

• 基于MLIR实现GEMM编译优化

• 多面体编译技术在软硬协同设计中的应用

• 动态模型编译优化的挑战及实现分析

• MLIR编译框架下软硬协同设计的思考

• 向外借力：Pluto助力MLIR编译器的多面体优化