CogVLM2是一个强大的视觉大模型,由THUDM(清华大学自然语言处理实验室)开发,具有出色的视觉和语言理解能力。
FIFO-Diffusion是一种基于预训练扩散模型的新型推理技术,用于无需训练即可从文本生成无限长的视频。
Phi-3-vision-128k-instruct是Phi-3家族中的第一个多模态模型,拥有4.2B参数,支持128K的上下文长度。该模型结合了语言和视觉处理能力,能够在多种设备上高效地处理和响应图像及文本数据。
PaliGemma是Google开发的一款开源视觉语言模型,旨在处理与图像相关的文本生成任务,如图像描述、问答和目标分割等。
Hunyuan-DiT 是腾讯开源的一款强大的多分辨率扩散变换器(Diffusion Transformer),具备精细的中文理解能力。该模型旨在探索文本到图像的生成,支持中英文双语输入,并能够进行多轮对话式图像生成。
PuLID是一个新兴的ID保持项目,致力于提升ID保持效果并最小化对原始模型的影响。其核心优势包括高度一致性、多功能性、高保真度、稳定性和准确性,应用广泛。
一种通过生成模型学习材料,规范优化过程的方法,以提高在未知静态照明条件下拍摄的姿势图像中恢复物体材质的准确性。
VILA是由Efficient-Large-Model组织在GitHub上开源的一个视觉语言模型(Visual Language Model)。它是英伟达发布的一个模型,通过大规模的图像-文本数据进行预训练,从而实现了视频理解和多图像理解能力。
ComfyUI-IC-Light是ComfyUI的原生插件,用于实现IC-Light技术。该技术允许用户通过一系列工作流程生成背景和重新打光,从而增强图像的视觉效果。它的重要性在于能够提供更自然和逼真的图像处理结果,尤其适用于需要高级图像编辑功能的用户。
Siri-Ultra是一个基于云的智能助手,可以在Cloudflare Workers上运行,并且可以与任何大型语言模型(LLM)配合使用。它利用了LLaMA 3模型,并且通过自定义函数调用来获取天气数据和在线搜索。这个项目允许用户通过Apple Shortcuts来使用Siri,从而消除了对专用硬件设备的需求。
一个本地且开源的CharacterAI替代工具,提供了一个用户友好的界面,允许用户在桌面上与虚拟角色互动。你可以自定义创建各种角色,让每个虚拟角色都有自己的独特个性和语言风格。
。该方法通过多模态注意力机制,将视频和文本特征进行融合,并利用多语言翻译模型将不同语言的文本特征进行转换,从而实现跨语言的视频-文本检索。实验结果表明,该方法在多语言视频-文本检索任务上取得了较好的效果。
MuseV是一个基于扩散模型的虚拟人视频生成框架,它能够以无限长度和高保真度生成满足视觉条件的视频。
SadTalker:学习现实的3D运动系数风格化音频驱动的单图像说话的脸动画。
MiraData 是一个具有长时长和结构化字幕 的大规模视频数据集。它专为长视频生成任务而设计。
通义实验室研发的 AI 模型 ——EMO 正式上线通义 App,并开放给所有用户免费使用。借助这一功能,用户可以在歌曲、热梗、表情包中任选一款模板,然后通过上传一张肖像照片就能让 EMO 合成演戏唱歌视频。
VideoCrafter2 是由腾讯优图实验室开源的视频生成工具,基于 Stable Diffusion 模型,支持文本转视频、图像转视频、视频编辑等功能。
Open-Sora 是由北京大学元组智能研究组开发的开源视频生成工具,基于 Stable Diffusion 模型,支持文本转视频、图像转视频、视频编辑等功能。
一种新的视频超分辨率(VSR)模型,旨在生成具有高频细节和时间一致性的视频。
来自Meta的研究人员推出了SceneScript,只需要70M参数,仅采用编码器解码器架构,就能将真实世界的场景转化为几何表示。
AI 编码辅助工具,旨在通过提供上下文感知的代码补全和聊天辅助来提升开发者的工作效率。它集成到了流行的集成开发环境(IDE)中,并原生构建在 GitHub 平台上。
Lobe是一个低代码AI模型创建平台,旨在让用户通过微调预训练模型来创建自定义AI模型。
TeleChat 是由中电信人工智能科技有限公司研发训练的大语言模型,提供了7B和12B两个版本的模型,以及它们的量化版本。该模型基于大量的中英文高质量语料进行训练,具备多种语言理解和生成能力。
Inpaint-web主要支持两项功能:图片局部清除和将模糊的图片变成高分辨率清晰图片。
一体式大规模多语言和多模式机器翻译模型,可为近 100 种语言的语音和文本提供高质量翻译。
AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画,口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视频生成、高质量动画生成以及灵活的模型和权重配置。
一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话,支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。
VideoCrafter2是一个视频生成AI模型,能够根据文本描述生成高质量、流畅的视频。它通过克服数据局限,实现了高质量视频生成的目标。该模型可以生成照片级质量的视频,支持精细的运动控制和概念组合。用户只需要提供文本描述,VideoCrafter2就可以自动生成剧本级别的视频作品,可用于视频创作、动画制作等领域。
MagicEdit明确地解开了外观和运动的学习,以实现高保真和时间连贯的视频编辑。它支持各种编辑应用程序,包括视频风格化、本地编辑、视频MagicMix 和视频绘制。
MagicAvatar是一个多模式框架,能够将各种输入模式(文本、视频和音频)转换为运动信号,随后生成动画。
CogVLM2是一个强大的视觉大模型,由THUDM(清华大学自然语言处理实验室)开发,具有出色的视觉和语言理解能力。