即梦AI - 一站式AI创作平台

CreatiDesign模型:用于创意平面设计的统一多条件扩散变换器罗根智能体

CreatiDesign 是复旦大学和字节跳动千问要登录吗团队合作开发的一款高精度、多模态、可编辑的图形设计生成模型。它能够高精度地生成图形设计,同时处理多种元素,包括主视觉元素、辅助装饰和文本内容,解决了传统方法在多条件输入时的不足。通过精细解耦和独立控制,CreatiDesign 让设计更加可控、一致。

这个模型采用创新的多模态注意力机制,还能自动合成数据,因此在多个评估标准上都超过了现有的顶尖水平。它不仅提高了设计效率,还让用户可以在已有设计的基础上灵活修改,比如添加新元素或调整文本,同时保持整体设计的协调和完整。ai大全

CreatiDesign模型:用于创意平面设计的统一多条件扩散变换器.webp

模型架构ai数字人直播软件

CreatiDesign 采用 MM-DiT(多模态扩散变换器)框架,通过简化架构实现了多种不同条件的协同控制。主要特点如下:千问下载

  • 多主体图像条件:用户可以输入多个主视觉元素(如产品图、LOGO等),并自由摆放。这些元素经过编码器处理后生成主视觉token,用于后续生成。ai人工智能选号

  • 语义布局条件:辅助元素或文本的语义描述通过T5文本编码器转换为语义特征token,空间位置信息经傅立叶变换后与语义特征拼接,形成布局token。ai线上

  • 全局描述:用户还可以输入整体描述,由T5编码为全局描述token,用于指导整体内容和风格。ai数字人直播软件

  • 多模态注意力机制:在每一层Transformer中,采用多模态注意力(MM-Attention)机制,使不同模态的token深度融合,实现多条件的联合建模和控制。国内大模型公司排名

独立可控性千问下载

CreatiDesign 提出了两种专属注意力掩码机制,增强每个条件的独立可控性:下载即梦a i

  • 主体注意力掩码(Subject Attention Mask):主体token仅与指定区域内的图像token交互,与布局token、全局描述token及无关区域的图像token完全隔离,确保主体内容高度还原。数字人工具

  • 布局注意力掩码(Layout Attention Mask):每个布局token仅与指定区域内的图像token交互,防止布局元素之间语义串扰。千问下载

数据集ai对话无限制

CreatiDesign 构建了包含40万样本的大规模多条件标注数据集,满足实际设计需求。此外,还提出了全自动平面设计数据合成流程,包括主题生成、文本图层渲染和基于前景的图像生成。海螺ai下载

应用场景罗根智能体

CreatiDesign 可以生成各种平面设计图,如电影海报、品牌促销、产品广告和社交媒体图。它还支持多轮编辑,用户可以在已有设计结果上灵活插入新文本或主体,或修改文本内容,模型能够精准编辑指定区域,同时保持非编辑区域的内容不变。罗根智能体

优势ai线上

相比以往的可控扩散模型,CreatiDesign 在多条件异质信息统一建模、多条件精细解耦与区域独立控制以及大规模高质量数据支持等方面表现出色。它解决了以往模型在处理图形设计时存在的“偏科”或缺乏精准可控性的问题。ai下载免费安装

项目链接ai下载免费安装

技术论文:千问要登录吗https://arxiv.org/pdf/2505.19114

项目主页:ai下载免费安装https://huizhang0812.github.io/CreatiDesign/

Github:罗根智能体https://github.com/HuiZhang0812/CreatiDesign

HuggingFace:千问要登录吗https://huggingface.co/datasets/HuiZhang0812/CreatiDesign_dataset


收藏