PaperWeekly 10月30日 23:15
复旦大学联合推出WithAnyone:AI合照新突破,真实自然不“粘贴”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

近期,复旦大学联合阶跃星辰发布了名为WithAnyone的AI多人人脸参考生成工具,旨在解决现有AI合照技术中存在的“不像”或“太像”的问题。该工具能够自然协调人物的表情、发型和姿态,避免了过去常见的表情僵硬、眼神复制和姿势割裂等“贴纸感”。WithAnyone通过创新的数据集和模型方法,实现了高人脸相似度与低“复制粘贴程度”的平衡,使生成的合照效果如同真人一同拍摄。该工具支持多种应用场景,包括单人照、朋友合照、影视角色跨界以及风格画像,甚至可与LoRA配合生成多样化风格。此外,FLUX.1 Kontext版本还能实现无缝人脸编辑和细节微调,显著提升AI生成照片的真实感。

🌟 **AI合照的“灵魂”问题得以解决**:WithAnyone打破了传统AI合照技术中人物表情僵硬、眼神呆板、姿势不协调的弊端,通过先进的AI技术,实现了人物之间自然的情感交流和姿态配合,让AI生成的合照如同真人一同拍摄,充满真实感和生活气息,真正实现了“在一起”的视觉效果。

💡 **创新性的“复制粘贴程度”指标与模型方法**:该工具引入了衡量AI生成图与参考图“复制粘贴”程度的新指标,并基于此开发了模型。通过收集包含“目标生成图、输入参考图”的测试集,并利用拥有大量单人照片的配对数据进行训练,WithAnyone学习到如何在保持人物身份一致性的同时,生成不同表情、姿态和神态,从而有效避免了简单粗暴的“复制粘贴”,实现了高相似度与低复制粘贴的突破。

🚀 **强大的多功能性与可控性**:WithAnyone不仅限于生成普通的合照,它还能够胜任单人照片、朋友合照、影视角色跨界、风格画像等多种创意场景。此外,它还支持与LoRA模型结合,进一步拓展了生成风格的多样性。其FLUX.1 Kontext版本更进一步,提供了无缝的人脸编辑、特征替换和细节微调功能,赋予用户极高的创作自由度和对生成结果的精细控制能力。

🌐 **开源与便捷的体验方式**:该项目已全面开源,并提供了GitHub地址、项目主页以及在线Demo,方便用户进行学习、研究和体验。用户可以通过简单的操作,即可初步感受WithAnyone在生成自然逼真AI合照方面的强大能力,降低了AI艺术创作的门槛。

原创 让你更懂AI的 2025-10-30 13:56 北京

复旦×阶跃星辰推出WithAnyone,把“在一起”变真

AI 合照终于不再像贴纸了 🔥  

这次,它真的能“在一起”了。

过去的人脸参考生成,要么“不像”,要么“太像”。 

一张图里的人物,表情僵硬、眼神复制、姿势割裂——  

明明是“合照”,却像几张贴纸凑在一起,完全没有灵魂。

▲ 此前的方法大多没办法修改表情,其乐融融的场景也只能板着脸

就在近日,复旦大学联合阶跃星辰发布了 WithAnyone——

一款真正做到可控的 AI 多人人脸参考生成工具。

从表情、发型到姿态,都能自然协调;  

不再陷入“相似度”与“贴脸感”的两难。

生成效果直接看图👇  

每张都像是真人一起拍的,而不是后期拼上去的。

用AI,去任何地方

不论你想生成单人照片朋友的合照、影视角色 crossover、风格画像,  

还是纯整活——WithAnyone 都能 hold 住。 

▲ 你们盾牌的项目我王多鱼投了

▲ 你们想拍新三国的项目我王多鱼也投了

▲ 名侦探卷福

▲ 秋天的第一杯咖啡

甚至还支持和 LoRA 配合,生成更多风格!

▲ 这杨幂也太传神了

▲ 水墨风摩根弗里曼

小编也试了一下,效果还挺惊喜的:

▲ 想起那天在夕阳下快乐地奔跑

还有刚刚过去的诺贝尔落下的奖项

▲ 诺贝尔闭源奖

“贴上去”的假感没了,取而代之的是风格统一、气氛自然、表情呼应。  

这才是合照该有的样子。

还支持人脸编辑版本!

更进一步,WithAnyone 还推出了 FLUX.1 Kontext 版本,  

可以实现无缝人脸编辑、特征替换和细节微调。

一句话总结就是:

想让 AI 照片看起来更像真实拍摄的?试试 WithAnyone。

在过去,评价人脸生成像不像的指标,是“人脸相似度”。怎样生成的人脸相似度最高呢?那自然是复制粘贴参考图上的人脸。

这无意间在引导模型去复制粘贴,甚至在引导开发者,去训练他们的模型进行复制粘贴。

而 WithAnyone 则站出来,要打破这一现象了,他们搜罗了一个含有 “目标生成图、输入参考图”的测试集,并基于此提出了“复制粘贴程度”的指标:

定义为,生成图到目标图的距离,减去生成图到输入参考图的距离,并用原本目标图和参考图的距离做正则化。他的物理意义很明确:离参考图越近,就越是“复制粘贴”,离目标图比离参考图更近,则越不是“复制粘贴”。

WithAnyone 的作者测试了包含 GPT-4o 在内的一众 ID 生成模型:

发现之前的各种模型,形成了一条鲜明的拟合直线— ID 相似度越高,复制粘贴程度也就越高。这或许就是文章作者结论的来源:越像就越是复制粘贴。

而我们可以看到,WithAnyone 则是跳出了这个“越像越复制粘贴”的困境,一举达到了右上角:既达到了领先的相似度,也达到了最少的复制粘贴。

那么他们是怎么做到这一点的呢?

模型方法

WithAnyone 的作者收集了大量可以配对的数据:他们的合照数据上,每个人物的 ID,都对应着几百张这个人物自己单独的照片。

过去没有这样的数据,ID 生成模型是怎样训练的呢?同一张人脸,他既是模型的参考输入,也是模型的生成监督。这就是在训练模型刻意地复制粘贴。

而有了这样配对的数据,训练时,模型得以见到同一个人不同的表情、姿态,让模型得以学习到如何不复制粘贴地,去真正生成这个人的不同动作神态。

作者还在这个数据集的基础上,提出了一系列针对性的举措:

论文地址:

https://arxiv.org/abs/2510.14975

开源 & 体验方式

项目已全面开源,甚至还有 Demo!点击即玩:

👉 GitHub 地址:

https://github.com/Doby-Xu/WithAnyone

👉 项目主页:

https://doby-xu.github.io/WithAnyone/

👉 在线 demo:

https://huggingface.co/spaces/WithAnyone/WithAnyone_Demo

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

△长按添加PaperWeekly小编

🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

WithAnyone AI合照 人脸生成 复旦大学 阶跃星辰 AI技术 图像生成 自然人脸 AI艺术 开源项目 AI Group Photo Face Generation Fudan University Jump-Star AI Technology Image Generation Natural Faces AI Art Open Source Project
相关文章