CV君 2025-10-01 14:13 江苏
AI视频生成“抠图”难题被攻克？新方法能直接生成带透明通道的视频！
对于视频创作者和设计师来说，获取带透明背景的视频素材（也就是RGBA视频）一直是个头疼的问题。无论是繁琐的手动抠图，还是效果不尽人意的自动工具，都耗费了大量时间和精力。随着AI视频生成技术的飞速发展，一个更理想的解决方案浮出水面：我们能不能直接从文本生成带透明通道的视频呢？
最近，来自天津大学和腾讯的研究者们就带来了这样一个令人兴奋的工具。在他们的新论文 《Wan-Alpha: High-Quality Text-to-Video Generation with Alpha Channel》 中，他们提出了一个名为 Wan-Alpha 的全新框架，能够直接生成视觉质量极高、动态效果逼真，并且带有精确透明度的RGBA视频。
从下面的效果图就能直观感受到它的强大，无论是半透明的物体、酷炫的发光特效，还是像发丝一样复杂的细节，Wan-Alpha都能精准地渲染出来。
要生成RGBA视频，模型必须同时学习RGB（色彩）和Alpha（透明度）两个通道。这是一个不小的挑战，因为如果分开处理，很容易导致色彩和透明度之间出现错位或不一致，比如物体的边缘很清晰，但它的透明蒙版却是模糊的，这在实际应用中是无法接受的。
现有的一些方法往往为了保证透明度的准确性而牺牲了整体的视觉质量，导致生成的视频看起来很“假”，实用性大打折扣。
Wan-Alpha的巧思：将透明度“藏”进色彩的潜在空间为了解决这个问题，Wan-Alpha提出了一个非常巧妙的方案：联合学习RGB和Alpha通道。其核心在于设计了一个高效的变分自编码器（Variational Autoencoder, VAE），它能将Alpha通道的信息编码到RGB的潜在空间中去。
上图就是整个VAE的架构，我们可以把它理解为以下几个步骤：
特征提取：首先，将一个透明视频拆分成RGB视频和Alpha视频（即透明度蒙版）。然后，将它们分别送入一个预训练并冻结的VAE编码器，得到各自的特征表示。特征融合：这是最关键的一步。一个专门设计的“特征融合模块”（Feature Merge Block）会将上述两种特征进行拼接，并通过3D卷积和注意力机制进行深度融合，最终生成一个统一的潜在特征Z。统一训练：这个融合后的Z，既包含了色彩信息，也包含了透明度信息。后续的扩散模型（Diffusion Transformer）只需要学会根据文本提示来生成这个统一的Z即可。分离解码：当Z被生成后，再分别送入两个不同的VAE解码器，一个用于重建RGB视频，另一个用于重建Alpha视频。CV君认为，这种将Alpha信息“嵌入”到RGB潜在空间中的设计，是保证色彩和透明度高度一致性的关键。因为模型在学习生成一个统一的潜在表示时，就已经被迫理解了两者之间的内在联系。
“好马配好鞍”：高质量的RGBA视频数据集先进的算法也需要高质量的数据来“喂养”。为了训练Wan-Alpha，研究团队还专门构建了一个高质量、高多样性的RGBA视频数据集。这些数据包含了复杂的边缘（如毛发）、特殊的光效和半透明效果，为模型学习精细的透明度渲染提供了坚实的基础。
与现有的SOTA方法相比，Wan-Alpha在视觉质量、运动真实感和透明度渲染方面都表现出了明显的优势。从下面的对比图可以看出，对于飘动的长发这种极具挑战性的场景，其他方法生成的透明蒙版要么边缘模糊，要么细节丢失严重，而Wan-Alpha则能生成清晰、锐利且细节丰富的发丝边缘，效果非常惊艳。
无论是飞翔的巨龙，还是喝水的运动员，Wan-Alpha生成的视频主体清晰、动态自然，并且Alpha通道干净利落，可以直接用于二次创作。
总而言之，Wan-Alpha的出现，极大地推动了高质量透明视频生成技术的发展，为视频编辑、游戏开发、VR/AR等众多应用场景提供了强大的工具。作者已经开源了模型，这无疑会大大方便广大开发者和创作者。
大家觉得这个“自带通道”的视频生成模型实用吗？你最期待用它来创作什么样的内容？欢迎在评论区分享你的想法！
