PortraitGen 是由中国科学技术大学开发的，基于多模态生成先验的4D肖像视频编辑工具。
主要功能

视频到4D高斯场的转换：将2D人像视频提升到4D高斯场，实现更丰富的视觉效果。
多模态人像编辑：支持在30分钟内完成多模态人像编辑。
高速渲染：编辑后的3D人像可以以100 FPS的速度渲染。
使用方法

跟踪SMPL-X系数：首先跟踪给定单目视频的SMPL-X系数。
获取3D高斯特征场：使用神经高斯纹理机制获得3D高斯特征场。
分层渲染：将神经高斯特征分层以渲染肖像图像。
迭代数据集更新：采用迭代数据集更新策略进行肖像编辑。
多模态人脸感知编辑：提出多模态人脸感知编辑模块来提高表情质量并保留个性化面部结构。
适用场景

视频编辑：适用于需要对视频进行人像编辑的场景。
虚拟现实：在虚拟现实内容制作中，用于生成逼真的人像。
动画制作：在动画制作中，用于生成动态的人像效果。
适用人群

视频编辑师：需要对视频人像进行编辑的专业人士。
动画师：需要制作逼真动画人物的动画师。
游戏开发者：需要在游戏中生成逼真人像的游戏开发者。
优缺点介绍

优点
快速编辑：能够在极短的时间内完成多模态人像编辑。
高质量渲染：支持高速渲染，生成流畅的视频效果。
多模态编辑：支持文本驱动编辑、图像驱动编辑和重新点亮等多种编辑方式。
缺点
技术门槛：需要一定的技术背景才能充分利用其功能。
资源消耗：高质量的渲染可能需要较高的计算资源。
分类标签推荐

人工智能、视频编辑、虚拟现实、动画制作、游戏开发