OneDiff加速“图生生”，解锁电商AI图像处理新范式_onediff加速原理
赞
踩
2024年，电商领域正目睹生成式AI软件工具的飞速发展，AI Generated Content (AIGC) 技术在电商应用中的普及率正在显著提升，这类技术能够显著提高商业运营的效率，并促进业绩的稳步增长。
硅基流动研发的图片/视频生成推理引擎OneDiff能够以高性能和低成本的优势为AIGC应用程序提供支持。因其加速性能突出、部署简单、稳定性高的特点，南京一言万相网络科技有限公司的图生生团队在实测对比多个推理加速引擎后选择了OneDiff，并在AI图像智能擦除工具中率先应用，显著提高了用户体验。
作者｜图生生团队
“图生生”是为电商行业量身打造的一体化人工智能解决方案，运用先进的AI技术，为商家提供高效且成本低廉的高质量图片制作服务。我们平台的主要功能包括：AI商品图自动生成、AI基础绘图、AI图片编辑以及AI模型训练等。
图生生能够为电商商家提供商品实拍图模特及场景替换解决方案，多维赋能商家低成本、分钟级生成多元风格的高清商品图，以便批量产出新的营销物料，尤其面向国内、海外市场千万家以上中小型电商企业与广告主，主要解决传统实拍成本高与周期慢的痛点。
1
业务挑战与技术选型
我们专为电商环境打造的AI图像智能擦除工具，旨在帮助用户迅速去除商品图片中不必要的内容。该工具经过深度训练和优化，能够轻松去除图片中的文字、人物等元素。用户仅需用画笔在想要清除的区域轻轻涂抹，即可高效完成擦除，并自动生成与原背景和谐相融的内容。
在该项目的开发过程中，我们面临两大主要挑战：首先是构建高质量的训练数据集。在数据集构建环节，我们投入了大量的工作，涵盖了数据的清洗和标注等多个方面。其次是开发可信赖的训练代码。在训练阶段，我们充分利用了多卡训练资源，进行了大量的超参数优化（HPO）实验。此外，在产品上线后，用户反馈响应速度较慢，这直接影响了用户体验。
我们的技术团队早期就跟进过OneFlow的产品进展，了解到袁进辉老师的新创业方向硅基流动（SiliconFlow）后，得知了OneDiff的产品讯息，决定进行尝试。
结果证明，团队的AI图像智能擦除工具引入OneDiff后，显著提高了用户体验，同时保持了擦除效果的稳定性，为业务发展带来了正面效益。
相较于其他加速引擎，OneDiff在加速效果和使用体验上都表现出色，不仅在大多数使用场景下都展现出优于其他引擎的加速效果，而且对现有代码的侵入性极低，只需简单几行代码即可实现推理加速。此外，OneDiff直接兼容PyTorch，简化了整个部署流程，提高了团队的开发效率。
尤其在优化产品中的图像生成推理性能时，我们对比测试了多个框架，发现OneDiff在加速性能上的表现最为突出，同时它保证了图像质量和原生PyTorch的一致性（注：DeepCache是有损加速。如果效果可接受，那么OneDiff可组合DeepCache一起使用，性能最高加速3倍）。
这进一步证明，OneDiff是产品优化过程中的理想选择。目前，我们已经计划在后续阶段开始试用OneDiff企业版。
2
业务场景展示
1.商品背景图：只需一张SKU产品图，快速生成千人千面产品场景图
使用图生生生成AI商品背景图，无需等待，出图效率高，出错率低。
功能支持：
（1）推荐场景：挑选合适的推荐场景生成商品图
（2）参考场景：上传参考商品图，一键即可生成相似风格商品图
（3）自定义描述：根据特定描述语，也可同时配合参考图，生成高度可控的，多种风格的商品图
2. 文生图：简单的文字描述，AI直接生图
图生生在简单易用性与专业生成效果之间取得平衡，以模块化的场景图模版代替传统视觉大模型流行的文生图。描述出一个专业的商品图场景需要专业的提示词表达，而大多数普通商家并不具备相关能力。
我们可以将适用在各个品类中的通用的部分加以提炼，按照不同品类的出图需求和特点，采用个性化的方式（算法、工程）区别对待，形成针对各个细分和垂直领域的专属解决方案。
3. AI图片编辑工具：自动化后期修图，高精度还原商品细节
该系列工具可以用于自动化生成电商主图，能够基于商品的属性、特点、评价等信息，创作高质量的商品图，增强商品的展示效果和吸引力。告别Photoshop中复杂的钢笔工具抠图，该工具允许用户仅用简单几笔勾勒出对象轮廓，随后一键实现智能抠图，操作简便，小白也能轻松上手。
4. 企业服务：提供贴合企业需求的定制方案，包含算力、模型、产品的一站式解决方案
对于初创公司而言，无论是训练模型还是图片后期的优化，都离不开语料库的积累、高质量数据输入以及对特定场景和行业的深入理解。客户方、平台方联合共创在初期是必经之路。通过专门为不同行业构建高效的数据集，并对模型参数进行持续的训练和优化，我们实现了对人工智能生成图片效果的更精确和成本效益的控制。
3
结语
AI图像擦除工具是我们首次在生产环境中尝试OneDiff，我们计划将OneDiff的应用场景扩展到更多领域，包括文本生成图像、商品图像处理以及图像局部重绘等多个方面，以进一步提升我们产品的效率和性能。我们期待OneDiff能够提供更迅速而稳定的加速效果，并及时整合新的开源算法，支持更多种类的算法应用。
电商行业拥有庞大的市场容量和多样化的目标客户群。电商企业通常具有较高的数字化水平，对新科技的接纳能力强。在确保数据合规与安全的前提下，图生生团队致力于满足各行业和不同场景对AIGC的需求，高效地解决商家在图片素材处理上的需求，同时显著减少产品开发的时间和成本投入。未来，我们将不断提升模型的精度、扩展功能和适应更广泛的应用场景。
【OneDiff v0.12.1 正式发布（生产环境稳定加速SD&SVD）】本次更新包含以下亮点，欢迎体验新版本：github.com/siliconflow/onediff
* SDXL 和 SVD 的 SOTA 性能更新
* 全面支持SD和SVD动态分辨率运行
* 编译/保存/加载HF Diffusers的pipeline
* HF Diffusers的快速LoRA加载和切换
* 加速了 InstantID（加速1.8倍）
* 加速了 SDXL Lightning
（SDXL E2E Time）
（SVD E2E Time）
更多详情：https://www.reddit.com/r/StableDiffusion/comments/1b8t3cu/onediff_v0121_is_releasedstable_acceleration_of/
其他人都在看
