随着扩散模型（Diffusion Models）的迭代演进，图像生成技术已日趋成熟。然而，在多实例图像生成（Multi-Instance Image Generation, MIG）这一具有广泛用户场景的关键领域，现有方法仍面临核心瓶颈：如何同时实现对多个对象的精确空间布局控制（Layout Control）以及良好的身份特征保持（Identity Preservation）。
主流方法往往难以兼顾两者：依赖文本和布局引导（Layout-to-Image）的模型通常难以实现高度的实例定制化，且常出现实例遗漏或属性泄露的问题；而主流的主体驱动（Subject-driven）方法在主体数量增加时，则面临严重的身份混淆和细节丢失问题。
ContextGen 与主流 SOTA 方法的对比示例，以及 ContextGen 的使用案例。
为解决这一制约高度定制化图像生成的难题，浙江大学 ReLER 团队提出了 ContextGen，一个基于 Diffusion Transformer (DiT) 的新型框架。该框架旨在通过上下文学习，可靠地完成图像引导的多实例生成任务。
- 论文地址：https://arxiv.org/abs/2510.11000
- 项目地址：https://nenhang.github.io/ContextGen
- 开源代码：https://github.com/nenhang/ContextGen
- 开源模型：https://huggingface.co/ruihangxu/ContextGen
ContextGen 提出了全新的上下文生成范式，通过整合布局图像和多张参考图像，将布局控制与身份保持的挑战转化为统一的上下文建模问题。
双核驱动：实现布局与身份的双重保真
ContextGen 的双重核心机制共同作用于统一的上下文 Token 序列：
ContextGen 框架结构概览。
上下文布局锚定（Contextual Layout Anchoring, CLA）
CLA 机制聚焦于全局上下文引导，接受用户设计或模型自动拼合的布局图像作为输入，以提供精确的全局布局控制和初步的身份信息。它通过在 DiT 模块的前置层和后置层部署自注意力机制，确保文本、待生成图像和布局图像三者进行充分的注意力交互，从而有效控制整体图像结构。
身份一致性注意力（Identity Consistency Attention, ICA）
ICA 机制聚焦于细粒度的身份注入，利用原始高保真度的参考图像，将身份信息注入到其对应的目标位置，从而保障多个实例的身份一致性。它被部署到 DiT 模块的中间层，通过一个隔离式的注意力掩码，将参考图像的 Token 与对应待去噪区域的 Token 建立连接，旨在缓解因重叠或压缩导致的细节丢失问题，并在图像序列增长时保证身份信息的稳定注入。
这种层次化的双重注意力策略，使框架兼具了宏观的布局控制和精细的实例级身份保持能力。此外，ContextGen 还采用了增强的位置索引策略，系统性地组织并区分统一 Token 序列中多图像之间的关系。
数据基石：大规模详细标注的多实例数据集
针对当前领域高质量训练数据稀缺的现状，团队同时推出了 IMIG-100K 数据集。这是首个为图像引导的多实例生成任务设计的大规模、具备不同难度层级、提供详细布局和身份标注的合成数据集。其构建流程代码也已开源，支持用户根据自身需求生成定制化数据集。
IMIG-100K 数据集概览。
IMIG-100K 的布局与身份标注示例。
性能优化：DPO 强化学习解放创造力
团队在训练过程中发现，仅使用监督微调容易导致模型过度参考布局图像，使生成的图像缺乏多样性和灵活性。为此，ContextGen 在监督微调之外，还引入了基于偏好优化（DPO）的强化学习阶段。该阶段将布局图像作为非偏好输入，鼓励模型不僵硬复制布局内容，从而生成更具创意和多样性的图像。
DPO 微调过程示例。
实验验证：对标闭源模型，树立性能标杆
在广泛的定量和定性评估中，ContextGen 展现出卓越的 SOTA 性能。
身份保持：比肩闭源巨头
在 LAMICBench++ 基准测试中，ContextGen 不仅超越了所有开源模型（平均得分提升 +1.3%），更在身份一致性上比肩了一些闭源的商业巨头。在多实例的复杂场景中，ContextGen 在人物身份保持 (IDS) 和物体特征保持 (IPS) 上甚至可以与 GPT-4o 和 Nano Banana 一较高下。
LAMICBench++ 基准的定量对比。
LAMICBench++ 基准的定性对比 1。
LAMICBench++ 基准的定性对比 2。
布局与属性控制：准确率大幅提升
在 COCO-MIG 基准上，ContextGen 在实例级成功率 (I-SR) 上提升 +3.3%，空间准确性 (mIoU) 提升 +5.9%。在 LayoutSAM-Eval 基准中，ContextGen 在颜色、材质等属性的正确率上也超过了现有模型。
COCO-MIG 和 LayoutSAM-Eval 基准的定量比较。
COCO-MIG 基准的定性比较。
LayoutSam-Eval 基准的定性比较。
这些结果充分证明了 ContextGen 在多实例图像生成任务中的强大能力，成功实现了对布局和身份的双重精确控制。
前端支持：便捷的用户交互
为了方便用户体验，团队在项目中增加了一个简单易用的前端界面，支持用户上传参考图像、以文本形式添加新素材、通过拖拽方便地设计布局，并生成多实例图像。
ContextGen 前端交互界面。
展望与未来
ContextGen 通过带有双重注意力的上下文机制，为高度可控的多实例生成提供了一个强大且可行的 DiT 框架。ReLER 团队进一步指出，如何更智能地理解用户的文本意图与多模态参考，仍然是一个值得深入探索的课题。未来，团队计划进一步优化模型架构，提升生成效率，并探索更多样化的用户交互方式，以满足更广泛的应用需求。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/14477