当前位置:网站首页>苹果发布 AI 生成模型 GAUDI,文字生成 3D 场景
苹果发布 AI 生成模型 GAUDI,文字生成 3D 场景
2022-08-03 11:52:00 【AI科技大本营】
整理 | 禾木木
出品 | AI科技大本营(ID:rgznai100)
前有DALL.E文本生成图像,现有将文字变成 3D场景。近日,苹果 AI 团队发布最新 AI 模型 GAUDI,它是基于 3D 场景的神经架构 NeRFs,可以根据文字生成 3D 室内场景。
目前为止,NeRFs 主要用做 3D 模型和 3D 场景的一种神经存储介质,然后可以从不同的相机视角进行渲染。
最新 AI 系统 GAUDI
如果说 NeRFs 从不同角度逼真地渲染图像的能力可以用于生成 AI 呢?
此前,OpenAI 的 DALL-E 2 或 Google 的 Imagen 和 Parti 等 AI 系统展示了 AI 将文本生成图像的潜力,但内容也仅限于 2D 图像和图形。
2021 年末时,谷歌通过 Dream Fields 首次展示了 3D AI 生成系统,将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合。苹果 AI 团队发布的 GAUDI 是一种能够生成沉浸式 3D 场景的神经架构,可以根据文字提示创建 3D 场景。
例如,输入“穿过走廊”或“上楼梯”,就可以看到执行这一动作的 3D 场景视频。
Apple GAUDI 是 3D 内饰专家
虽然谷歌致力于使用 Dream Fields 生成单个对象,但将生成 AI 扩展到完全不受约束的 3D 场景仍是一个尚未解决的问题。这背后极有可能的原因之一是摄像机位置的限制。
虽然对于单个对象,每个摄像机位置都可以映射到一个圆顶,但在 3D 场景中,这些摄像机位置会受到对象和墙壁等障碍物的限制。
对于这个问题,GAUDI 模型的解决方案是:相机姿态解码器对可能的相机位置进行预测,并确保输出是 3D 场景架构的有效位置。
场景的场景解码器预测三平面表示,这是一种 3D 画布,辐射场解码器在其上使用体积渲染方程绘制后续图像。
在对四个不同数据集(包括室内扫描数据集 ARKitScences)的实验中,研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。
虽然现在 GAUDI 生成的 3D 场景视频质量还不是很高,但这也说明了 AI 在图像和视频技术这生成的另一种可能。
参考链接:
https://mixed-news.com/en/apples-new-gaudi-ai-turns-text-prompts-into-3d-scenes/
往期回顾
分享
点收藏
点点赞
点在看
边栏推荐
猜你喜欢
缓存--伪共享问题
Explain the virtual machine in detail!JD.com produced HotSpot VM source code analysis notes (with complete source code)
Redis发布订阅和数据类型
字节最爱问的智力题,你会几道?
面试突击71:GET 和 POST 有什么区别?
【MySQL功法】第4话 · 和kiko一起探索MySQL中的运算符
LeetCode 899 Ordered queue [lexicographical order] HERODING's LeetCode road
html网页如何获取后台数据库的数据(html + ajax + php + mysql)
LeetCode 899 有序队列[字典序] HERODING的LeetCode之路
基于英雄联盟的知识图谱问答系统
随机推荐
Fastjson反序列化
【JS 逆向百例】某网站加速乐 Cookie 混淆逆向详解
【一起学Rust 基础篇】Rust基础——变量和数据类型
Android 技术面试准备(含面试题及答案)
广州番禺:暑期防溺水,安全不放假
进程内存
SmobilerService 推送实现
ssh 免密登录了解下
bash for循环
深入理解MySQL事务MVCC的核心概念以及底层原理
[Wrong title] Circuit maintenance
如图,想批量读取mysql,批量处理,有哪个地方参数需要改变呢?
基于PHP7.2+MySQL5.7的回收租凭系统
后台图库上传功能
-找树根2-
字节最爱问的智力题,你会几道?
什么是bin文件?「建议收藏」
Matlab学习13-图像处理之可视化GUI程序
《数字经济全景白皮书》金融数字用户篇 重磅发布!
Traceback (most recent call last): File