/你的数字人处在哪个阶段?

你的数字人处在哪个阶段?


Mixlab

如果你拥有了自己的数字人,会将如何使用ta?


小杜

我需要一位虚拟主播来播报我的推送文章~

最近正好尝试了一种虚拟人的解决方案


shadow



小杜

厉害了,制作用到了什么技术?

TTS+一张图片+一段驱动动作(first order motion)


shadow


小杜

查阅了下资料,这种驱动数字人属于 First order motion model

First Order Motion Model for Image Animation


# 功能 & 自评

无需对目标图像进行任何加注或者信息预处理,就可依据动画驱动数据源的动画轨迹来生成动画。
Our framework scores best on diverse benchmarks and on a variety of object categories.


#项目 & 论文地址

aliaksandrsiarohin.github.io/first-order-model-website
github.com/AliaksandrSiarohin/first-order-model
- TTS 技术
Test-To-Speech 使用语音 API 将书面文本转换为具有多种声音和语言的自然语音。用生成的语言与世界各地的客户交谈,创造更好的客户体验。 


# vonage 专业文本转语音工具



Synthesia 运用TTS + first order motion 的数字人视频生成工具




ML1726

上述案例多用于“离线式”的数字人应用场景。如果需要与数字人进行实时的交流沟通,有项目采用的是 ASR+TTS+Audio2face 方案。

ASR 自动语音识别 + TTS 文本转语音 +Voice2Face 语音控制驱动模型(声音数据对应的标签是模型动画的 blendshape 权重)


小杜

可以上手体验下开源项目,自己制作数字人

FACEGOOD


FACEGOOD 将音频转换为混合权重(blendshape 权重),并在 UE 项目中驱动数字人小美。FACEGOOD为小美打造的Test部分和UE项目不提供商业用途,仅供测试使用。

#项目地址
github.com/FACEGOOD/Voice2Face



ML1593

举手🙋‍♂️,现在比较困扰的问题是通用元宇宙身份解决方案。将一个通用的虚拟形象迁入多个平台有什么简单快捷的方法吗?

或许从摄像头这块接入是最便捷的方法?这类数字人算是元宇宙的初级分身了。


shadow

- Snap Camera


Snap Camera 可调用用户设备的摄像头,在任何平台使用摄像头输出头像或视频时均可使用Snap Camera的滤镜库


小杜

试试用 Snap Camera 迁入 Vland 元宇宙空间


小杜

用摄像头作为跨平台通用形象接入的切入口还挺简易高效的,只是效果渲染层面还有待提高哈,期待 摄像头—完全体数字人化身 产品的出现。


小杜

又来小酒馆玩耍了,这次小酒馆开业展示了不少精彩的作品,欢迎大家前去体验。分享一个十分惊艳的作品,介绍的是与生物设计与计算设计相关的内容,不容错过哦~





......
Mix宇宙小酒馆展览地址:
https://beta.vland.live/app/scene?eventId=61eec7e0f20ef01f63b7539a



Mixlab

数字人专题分享系列已开启~

数字人·驱动方式

数字人·虚拟偶像制作

数字人·实业应用场景

数字人·趋势展望

入群
备注:数字人


[ 元宇宙创作者指南 ] 

[ 元宇宙资源清单 ]

github.com/shadowcz007/awesome-metaverse



本文来自微信公众号“无界社区mixlab”(ID:mix-lab)。大作社经授权转载,该文观点仅代表作者本人,大作社平台仅提供信息存储空间服务。