新出炉！谷歌AI #DreamFusion 从文本生成3D模型

文本生成图像已有了大量模型工具，文本生成3D模型的工具到是很少见。

#

我记得有一期推文介绍了文本生成数字人模型吧，现在有能生成通用3D模型的工具了？

近期谷歌AI 发布了文本生成3D模型— Dreamfusion

#

赶紧去体验下有多神奇～

DreamFusion

Dreamfusion 是 Google 的大型AI图像模型 Imagen 与 NeRF 的3D功能相结合。从模型发展脉络上看，Dreamfusion 是 Dream Fields 的演变，Dream Fields 是谷歌于 2021 年底推出的一种生成式 3D AI 系统。对于 Dream Fields，谷歌将 OpenAI 的图像分析模型 CLIP 与神经辐射场 (NeRF) 相结合，允许神经网络存储 3D 模型。

小杜

Dream Fields 利用了 NeRF 生成 3D 视图的能力，并将其与 CLIP 评估图像内容的能力相结合。我们输入文本后，会经由 CLIP 评估，然后反馈用作 NeRF 模型的校正信号。这个过程中，从不同角度的评估反馈重复多达 20000 次，直到生成与文本描述匹配的 3D 模型。Dreamfusion 进一步发展了这种方法。

模型运作原理介绍

带我们直接看看模型的效果呗～

Mixlab

小杜

目前 Dreamfusion 还未完全做到工具开源，不过项目网站上也提供了生成的词条组合，我也上手体验了一番。

组合生成词条的生成结果

小杜

目前 Dreamfusion 项目官网也提供了生成模型的加载查看体验，若想下载模型，运用浏览器检查工具，复制储存模型的网址，打开后即可下载。

模型加载查看工具

小杜

虽然 Dreamfusion 还未开放使用，但项目网站提供了生成画廊，实时更新生成模型，感兴趣的同学可前去探索体验哦～

种类丰富的模型画廊

项目地址：
dreamfusion3d.github.io

我记得 Nvidia 也开源了从单个2D图像生成3D模型的AI

#

Nvidia 最新的 AI 模型 GET3D 只需一个 2D 图像作为输入，即可在几秒钟内输出许多带纹理的 3D 网格，并可以在标准图形引擎中无缝使用。

我们 ♾️元宇宙创作者基地mo 的群友 Simon  也分享过他自主开发的Text-to-3D 模型。

AI 的发展太快了，我有点跟不上节奏了...

#

#

我是乐观派，已经迫不及待运用新工具开始全新的创意探索啦！

小杜

看来大家对3D模型的生成工具非常感兴趣，我也在社群知识库里整理了相关的扩展阅读和开源工具链接，大家可以移步知识星球查看哦

！！！在知识星球使用标签搜索功能，搜索 #论文# #3d# 

opus

欢迎留言讨论，参与 AIGC 的共创共建～

加创作者社群，备注
AIGC

提案# 《我做社区》共建者#纪念徽章发放