摘要
我们介绍了VASA，这是一个框架，用于在给定单个静态图像和语音音频剪辑的情况下，生成具有吸引人的视觉情感技能（VAS）的虚拟人物的逼真的会说话的脸。我们的首款型号VASA-1不仅能够产生与音频完美同步的嘴唇动作，还能够捕捉大量面部细微差别和自然的头部动作，有助于感知真实性和生动性。核心创新包括在面部潜在空间中工作的整体面部动力学和头部运动生成模型，以及使用视频开发这样一个富有表现力和解开纠缠的面部潜在空间。通过广泛的实验，包括对一组新指标的评估，我们表明我们的方法在各个维度上都显著优于以前的方法。我们的方法不仅提供了逼真的面部和头部动态的高视频质量，还支持以高达40 FPS的帧速率在线生成512x512视频，启动延迟可忽略不计。它为模拟人类对话行为的逼真化身的实时互动铺平了道路。
星野是一款能够让你与基于AI技术创造的“智能体”之间实时沟通、互动并建立情感连接的应用，由上海稀宇科技有限公司开发。你可以定义智能体的形象、声音、人设与之互动并分享给其他人，这些智能体拥有极高的开放度，可以是你的虚拟伙伴也可以是无所不知的百事通。