活动报名｜提升显著，LoRA驱动的个性化图像生成，韩家炜教授指导

报告主题：LoRA驱动的个性化图像生成

报告日期：4月24日（周三）10:30-11:30

主题简介：

在文本到图像的生成过程中，低秩适应技术（LoRA）得到了广泛的应用。其主要用途在于精确地呈现特定元素，比如具体的人物或是独特的图片风格。然而，随着需要结合的 LoRA 数量的增加，现有的方法在组合多个 LoRA 时面临挑战，从而限制了复杂图像的创作。本文从解码过程的核心角度出发，探讨了多 LoRA 组合的策略。我们提出了两种无须额外训练的方法：LoRA Switch，该方法在每一步去噪过程中轮流应用不同的 LoRA；以及 LoRA Composite，该方法在整个图像合成过程中同时结合所有的 LoRAs 作为指导，以实现更加连贯的图像生成。为了评价不同的 LoRA 组合方法，我们构建了一个名为 ComposLoRA 的全新测试平台。该平台囊括了多个 LoRA 类别，提供了 480 种不同的组合测试集。通过基于 GPT-4V 的评估框架进行的实验结果表明，我们的方法相比于现有的基准方法，在性能上有了显著的提升。特别地，当组合中的 LoRA 数量增加时，这一优势更为明显。项目主页：https://maszhongming.github.io/Multi-LoRA-Composition

报告嘉宾：

钟鸣，伊利诺伊大学厄巴纳-香槟分校（UIUC）计算机系在读博士生，导师为韩家炜教授。他主要研究如何利用结构化知识来增强大型语言模型的性能，以及如何对基础模型中的参数化知识进行有效操控。个人主页：https://maszhongming.github.io

扫描下方二维码

或点击「阅读原文」报名