当前位置：网站首页>壁仞科技研究院前沿技术文章精选

壁仞科技研究院前沿技术文章精选

2022-07-04 22:59:00 【智源社区】

2022已经过半，在过去半年时间里，多模态模型蓬勃发展，Text-to-Image模型展现惊人效果，NeRF相关研究依然活跃，更强的算力、更先进的架构、更灵活的软硬协同设计、以及更高效的并行算法也让巨型模型不断突破纪录。

以下是壁仞科技研究院在一些关键领域的文章精选，希望能够和大家一起学习进步。

前沿算法

DALL·E 2和Imagen等优秀的文本-图像生成模型“创作”的图像效果惊人，这一能力的核心是扩散概率模型。我们去年第一次接触扩散概率模型时就认为这是一个很有潜力的研究方向，并对此做过详细的分析。

深度生成网络新思路：扩散概率模型

新兴的神经渲染技术给计算机图形学带来了新的机遇，受到了学界和工业界的广泛关注。在近几年的计算机视觉和图形学顶会上，我们都可以看到各种令人耳目一新的神经渲染应用。神经渲染是以深度学习为基础的新型图形渲染方法，是实现时下热点概念“元宇宙”的关键要素。同时神经渲染也是深度学习的前沿方向，催生了许多新的深度学习方法与计算结构。

神经渲染最新进展与算法（一）：语义图像合成
神经渲染最新进展与算法（二）：NeRF及其演化
神经渲染中的特色深度计算特征
视觉神经场：NeRF研究的新视角
NeRF方法中的相机参数求解
Kubric：高效地合成视觉数据集

推荐系统和语音模型已经得到了广泛应用，我们从算法和架构层面对这些模型的实现进行了详细的分析。

“Hello, world!”，说出口没那么容易
“Hello, world!”，说出口没那么容易（续）
比你更懂你 — 神经网络与推荐系统的深度结合
万物皆可嵌入--embedding在GPU中的实现
推荐场景训练加速：大规模混合分布式系统
用于推荐系统的近存处理器设计

Meta AI开源了OPT-175B，分布式训练框架日益完善，GPU算力日渐增强，模型的规模不断被刷新。为更好地支持“巨型”模型训练，我们一方面关注如何提供更强的算力，另一方面思考如何更高效地利用现有系统。

擎天柱：训练超大模型的高效二维方法
比快更快：混合精度计算加速的实现
众包训练：另类的分布式异构深度模型训练方法
应对大规模训练中的通信挑战：同步与拓扑
应对大规模训练中的通信挑战：压缩及调度

随着GPU能力的提升，支撑深度学习的软硬件生态得到了快速发展。通过深度学习来解决科学计算问题成了一种趋势，其中用深度学习来求解微分方程的方法也逐渐兴起。尤其引人注意的是一种称为物理导引神经网络的方法，其为科学计算领域注入了新的活力。

科学计算领域的低数值精度加速问题
偏微分方程的图神经网络解法
物理导引神经网络方法分析
流体力学与物理导引神经网络
从数据中获取动态信息：动态模式分解 (DMD) 与物理先验的结合

我们也会持续关注前沿技术的核心组件，整理新颖的方法和观点。

训练神经网络一定要用反向传播吗？
「热力学计算」：从Landauer边界到终极计算机
Transformer霸榜，点积自注意力是否不可替代？
基于Object Query的机器视觉新思路: DETR及发展
GAN在因果推理中的应用研究
因果发现最新进展及其在复杂系统中实践的探讨
卷上加“卷”：特殊卷积的实现
高阶优化器：深度学习加速的利器

先进架构

不管是我们已经比较熟悉的算法，还是新出现的算法，如何利用手中的工具去设计软硬件架构，高效地执行这些算法，是我们不断思考的问题，可以说是架构师的日常。当然，这个问题的答案也可能是一个重要决策，大的创新，甚至技术路线的改动。在壁仞研究院，我们会从设计空间的“扩展”和“压缩”这两个不同的方向出发来思考这个问题。