智源社区 08月20日
凌晨战神Qwen又搞事情!新模型让图像编辑“哪里不对改哪里”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Qwen团队推出的Qwen-Image-Edit是一款革命性的AI图像编辑工具,它能通过简单的提示词实现精准的点对点图像修改。无论是新增、消除、重绘、修改元素,还是IP编辑、视角切换、风格迁移,Qwen-Image-Edit都能轻松应对,并支持中英文双语文字编辑,能在保留原有字体风格的同时精确修改图片中的文字。该工具结合了语义与外观双重编辑能力,在多个公开基准测试中展现出SOTA性能,为创意表达和细节调整提供了强大的支持,让图像编辑变得前所未有的便捷和高效。

🎨 **语义与外观双重编辑能力**:Qwen-Image-Edit不仅支持对图像外观进行低级别的视觉编辑,如添加、删除或修改特定元素,同时也能进行高级别的视觉语义编辑,例如IP创作、物体旋转和风格迁移,确保在允许像素变化的同时保持内容的核心语义一致性。

✍️ **精准中英文文字编辑**:该工具能够精准地编辑图片中的文字内容,支持中英文双语,并且能在保留原有字体、字号和风格的前提下,对文字进行增加、删除或修改操作,极大地提升了文字设计和海报编辑的灵活性。

🔄 **多样的生成式玩法**:Qwen-Image-Edit提供了丰富的生成式玩法,包括原创IP编辑,能够基于现有IP形象生成衍生版本;视角转换,可实现90度或180度的角度调整;虚拟形象生成,可用于创建个性化头像;以及虚拟场景与穿搭模拟,满足电商等领域的应用需求。

💡 **链式编辑与偏旁修复**:其创新的链式编辑功能允许用户通过逐个框选并修改错误部分来逐步完善图片,甚至可以实现对生僻字的偏旁级别修复,大大提高了编辑的精细度和效率。

🚀 **卓越的基准性能**:在多项公开基准测试中,Qwen-Image-Edit在图像编辑任务上取得了领先水平(SOTA)的性能,其实现原理是将输入图像同时送入Qwen2.5-VL和VAEEncoder,以同时满足语义和外观的编辑需求,展现了强大的基础模型能力。

用提示词就能点对点编辑图片?

Qwen:没错,正是在下。

瞧,上面这套“哪里不对改哪里”的操作,就来自“凌晨战神”Qwen团队最新发布的——Qwen-Image-Edit

作为Qwen-Image20B的图像编辑版,Qwen-Image-Edit除了能做上面这种精准的文字修改,还能够新增、消除、重绘、修改元素,而且还支持IP编辑、视角切换、风格迁移等生成式玩法。

网友:这一连串功能摆出来,PS都得收声。

一次出图,玩转增删改

话不多说,我们直接看效果。

原创IP编辑

原创IP编辑需要保持原始图像视觉语义不变的前提下,对图像内容进行修改,也就是所谓的语义编辑。

Qwen以他们的吉祥物卡皮巴拉作为输入,生成了一系列衍生IP形象。

(卡皮巴拉:我一好好的水豚成熊了?)

不难看出,这些IP形象既忠实呈现了卡皮巴拉的角色特性,又在对应场景中展现出丰富多彩的形象。

那么,Demo很优秀,实测效果又如何?

对此,我们进行了简单地实测,提示词:这只熊穿着体操队服,双手拉在单杠上。

实话说,生成效果确实不赖,单杠因受力产生了自然变形,更难能可贵的是双手手指数量也是一致的(动漫角色经典的四根手指)。

视角转换

接下来是视角转换,Qwen-Image-Edit在这里不仅展示了90度旋转,还展示了180度旋转。

我们把WRC上拍的小瓦力输入Qwen-Image-Edit,分别进行右侧,后侧视角转换的测试。

(注:这张图片并不是严格意义上的主视图,而且还有点俯视,我们看看效果。)

严格来说,右侧瓦利的右手(图片左)有些变形,但转向后侧的效果实属惊艳到了。

虚拟形象生成

虚拟形象可以说是大伙最爱玩的功能之一,生成头像嘎嘎好用。

在Qwen展示的案例中,如果硬要挑刺就是——3D卡通风格把原先的半框眼镜变成了全框的黑框眼镜。

在测试的过程中,我们发现,一旦画风变得复杂(图为热血漫画风格),线条就会稍显凌乱。

(眼镜框细节倒是保留了下来)

不过,在网友的测试中,效果倒是非常不错:自拍头像的女性版本,动漫版,007版和恶魔版本。

A新增

除了上面的生成式语义编辑,外观元素的增、删、改也非常重要。

Qwen-Image-Edit展示了在图片中添加指示牌的案例,可以看到Qwen-Image-Edit不仅成功添加了指示牌,还生成了相应的倒影,细节处理十分到位。

我们用一张在颐和园实拍的照片进行测试,提示词:add the small wooden sign in the foreground in front of the tree with the text ‘welcome to SummerPalace’(在树前的前景中添加一个小木牌,牌上写着“欢迎来到颐和园”。)

在测试中,我们发现,如果输入的图像分辨率过高,Qwen会主动报告:编辑后的图片会降低分辨率。

同时,由于照片的分辨率较高,生成的图片有些失真。

不过,基本的画面元素和新增操作还是实现了。

为了验证是否是分辨率的问题,我们把照片换成分辨率没那么高的漫画图片,输出效果还是非常不错的。

提示词:add the small wooden sign in the foreground in front of the woman with the text ‘welcome to the sea’(在女人前的前景中添加一个小木牌,牌上写着“欢迎来到大海”。)

AI消除与重绘

在消除和重绘方面,Qwen展示了两个很巧妙的例子,一个是去除头发丝等细小元素,另一个是在一堆复杂元素中,选取其中一个元素改变颜色。

看得出来,效果确实不错。

这里我们简单测试了一下改颜色的操作,把上面的a从黄色变成橙色。

其他字母的颜色都没变,只有a变了。

我服了!确实厉害!

虚拟场景与穿搭模拟

接下来是两个老生常谈的电商场景,模特换背景,换衣服。

人物手部,肢体末端,头发,光影表现都不错。

文字设计与海报编辑

Qwen-Image-Edit在下面的案例中展示了中、英双语的文字编辑能力。

令人惊艳的是,其不光能修改海报中的大字,连细小的文字也能精准调整。

对此,我们拿自己的海报进行了测试:把AICoding改成AIAgent。

没毛病,高,实在是高!

链式编辑

最后,就是我们开头展示的,框出错误的部分,逐步修改的方法,Qwen-Image-Edit把它叫做链式编辑。

在Qwen展示的案例中,他们先用Qwen-Image生成了一幅《兰亭集序》。

不难看出,这幅AI生成的书法作品中有不少错字。

在这里,Qwen展示了不用重新生成整幅图片,就能解决这些问题的办法——

很简单,就是框住错误的字,交给Qwen-Image-Edit改就可以。

离谱的是,对于一些生僻字,还可以圈出错误的偏旁,实现偏旁级别的修复。

就这样,逐步修改画面中的瑕疵,最终得到完美的图片。

需要说明的是,上述简单实测均为一次出图

可以看到,经过Qwen-Image-Edit处理的图片,虽然有时会有一些色调,细节的轻微改变,但在绝大多数情况下,都和官方说的一样,能达到不错的编辑效果。

你给这个效果打几分?

创意+精准,统统搞定

据介绍,Qwen-Image-Edit这次的主要更新包括:

    语义与外观双重编辑:Qwen-Image-Edit不仅支持low-level的视觉外观编辑(如元素的添加、删除、修改等,要求图片其他区域完全不变),也支持high-level的视觉语义编辑(如IP创作、物体旋转、风格迁移等,允许整体像素变化但保持语义一致)。

    精准文字编辑:Qwen-Image-Edit支持中英文双语文字编辑,可在保留原有字体、字号、风格的前提下,直接对图片中的文字进行增、删、改等操作。

    强大的基准性能:在多个公开基准测试中的评估表明,Qwen-Image-Edit在图像编辑任务上具备SOTA性能,是一个强大的图像编辑基础模型。

其中,为了同时实现语义与外观双重的编辑能力,Qwen-Image-Edit将输⼊图像同时输⼊到Qwen2.5-VL(实现视觉语义控制)和VAEEncoder(实现视觉外观控制)。

换句话说,就是从创意裂变到精准改字,所有常见的图像编辑需求Qwen都能hold住。

最后,Qwen-Image-Edit的体验方式如下,感兴趣的同学快去体验吧!

Qwen-Image-Edit:https://huggingface.co/spaces/Qwen/Qwen-Image-Edit

Qwenchat:https://chat.qwen.ai/

GitHub:https://github.com/QwenLM/Qwen-Image

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  —

📈 8月22日本周五下午14点,量子位AI沙龙邀请了RockFlow创始人、CEO赖蕴琦Vakee,一同来聊AI Agent,怎么搞投资?

🙌 欢迎线下参会面对面交流AI Agent、金融投资与AI创业 👇 

一键关注 👇 点亮星标

科技前沿进展每日见

内容中包含的图片若涉及版权问题,请及时与我们联系删除

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Qwen-Image-Edit AI图像编辑 生成式AI 语义编辑 视觉内容创作
相关文章