在自动驾驶领域，扩散模型主要用在哪些方面？

从DALL-E 2、Stable Diffusion到Sora，具备强大生成能力的扩散模型，也逐渐应用至自动驾驶领域，展现出广阔的发展前景，尤其是近年BEV、端到端技术的突破，对于训练数据及仿真场景的高质量生成，扩散模型发挥着不可替代的作用，甚至在多任务学习、规划和决策中，也被寄予厚望！

为了让大家系统掌握扩散模型，高效找idea，研梦非凡5月30日邀请了大模型资深算法工程师魏导师，为大家继续讲解《Diffusion Models: A Comprehensive Survey of Methods and Applications》下篇，来自北大、卡内基梅隆大学等联合发布，涵盖255篇文献，包括三大算法改进、与其他五大生成模型结合、七大应用领域等内容，满满知识点，自动驾驶同学不要错过！

扫描二维码找助教预约本周直播课！

再领63篇精选生成扩散模型论文（扩散模型综述、改进扩散模型、扩散模型图像检测、扩散模型和GAN等）下面还有更多福利！

直播课内容概览

01 论文摘要

02 论文引言

03 扩散模型基础

04 扩散模型的高效采样

05 扩散模型的似然改进

06 特殊结构数据的扩散模型（01-05上节课已讲，本节课从06开始）

重点：扩散模型在图像和音频等数据领域取得了巨大的成功，但并不一定能无缝转化为其他模式，许多重要的数据域具有特殊结构，必须考虑到这些，扩散模型才能有效地发挥作用。

1. 离散数据

2. 具有不变结构的数据

3. 具有流形结构的数据

4. 已知的流形

5. 学习的流行

07 与其他生成模型的结合

重点：介绍其他五种重要的生成模型，及其优点和局限性，然后，再介绍扩散模型如何与它们联系起来，如何通过结合扩散模型来促进这些生成模型。

1. 变分自编码器与扩散模型的结合

2. 生成对抗网络与扩散模型的联系

3. 扩散模型归一化流结合

4. 自回归模型与扩散模型的结合

5. 基于能量的模型与扩散模型的结合

08 扩散模型的应用

重点：由于其灵活性和强度，扩散模型被用于解决各种挑战性的现实世界任务，根据任务可分为六个不同的应用类别，本课将对于每个类别进行简要介绍，然后，详细解释如何应用扩散模型提高其性能。

1. 扩散模型

• 扩散模型的两种基本应用范式：无条件和条件扩散模型

• 扩散模型中的条件作用机制：级联、基于梯度、交叉注意力和自适应层归一化

• 标签和分类器上的条件扩散

• 文本、图像和语义图上的条件扩散

• 图上的条件扩散

1. 计算机视觉

• 图像超分辨率、绘画、恢复、翻译和编辑：RePaint、ConPreDiff、Palette

• 语义分割：生成式预训练、通过DDPM学习

• 视频生成：柔性扩散模型(FDM)

• 点云完成和生成

• 异常检测

• 自然语言生成：Diffusion-LM

1. 多模态生成

• 文本到图像：DDPM和CLIP模型、unCLIP (DALLE-2)、VQ-Diffusion、DreamBooth、ControlNet

• 场景图形到图像生成

• Text-to-3D：DreamFusion

• 文本到动作生成：运动扩散模型(MDM)

• 文本到视频的生成：Make-A- Video

• 文本到音频生成：Grad-TTS

1. 时序数据建模

• 时间序列差值填补

• 时间序列预测法

• 波形信号处理

• 鲁棒学习

1. 跨领域技术与应用

• 药物设计与生命科学：预训练GNN/transformer、TargetDiff、SMCDiff

• 材料设计：晶体扩散变分自编码器(CDVAE)

• 医学影像重建：基于分数的生成模型

1. 扩散模型未来方向

重点：扩散模型的研究还处于早期阶段，在理论和实证方面都有很大的发展潜力

• 重新审视假设

• 理论认识

• 潜在表征

• AIGC和扩散基础模型

• 总结

 扫描二维码找助教预约本周直播课！

再领63篇精选生成扩散模型论文（扩散模型综述、改进扩散模型、扩散模型图像检测、扩散模型和GAN等）下面还有更多福利！

直播福利

参加本次直播的同学都将获得1小时导师meeting的福利（助教+导师）！原价2999，限时福利价9.9元！活动时间为5月30日到6月30日。

ps：研梦非凡开设的前沿论文系列直播，旨在帮助大家提升读论文技能，快速抓住重点，掌握有效方法，进而找到创新点，轻松完成论文报告。

扫描二维码找助教领取直播课福利！

研梦非凡科研论文指导

如果你的研究方向/方法/idea是属于cv全方向/nlp全方向/机器学习/深度学习及AI+金融、医疗、交通等方向，如果你需要发ccf a-c、sci一区-四区、EI会议/EI期刊、毕业大论文、毕业设计等，都可以来研梦非凡，匹配合适的科研指导。

下面是我们根据本号粉丝需求，整理的自动驾驶方向可指导idea！

自动驾驶方向准备好的idea

  扫码加助教了解更多可指导方向！

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

研梦非凡科研论文指导方案

科研论文idea，并非拍脑门就能产生，需要经过一遍遍做实验、跑代码、改模型、思路修正。研梦非凡专业论文指导，和研梦导师一起找idea，共同解决科研问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

<<< 左右滑动见更多 >>>

全程1v1论文辅导扫码咨询助教