如何成为虚拟主播?Live3D教你玩转虚拟偶像

提起虚拟主播,去年,我们打造了一款 3D虚拟偶像----Virtual格格,于3月31日在B站首次放送。其实,做3D虚拟主播,无外乎这几点:一个3D模型,一个中之人,一套支持3D虚拟偶像做直播动画的技术。那么它们是如何结合的呢?

每一个虚拟主播的背后都有一位表演者负责做动作,一位CV负责配音。当然他们可以是同一个人。

1:动作表演+表情匹配

需要表演者穿上动作捕捉设备,然后,每做一个动作,动捕后台都会记录下表演者的动作数据,表演完成,动作数据将会保存在一个文件里,我们将这些动作数据,同手动K好的表情数据,通过unity合成输出序列,此时的动作就携带有表情了。最后,导出绿幕版的动画视频文件。这就是我们观看的虚拟偶像动画的雏形。

如果是做直播,一般来说,虚拟主播做直播,只需要用上半身,只要解决表情动画就可以了。表情动画的解决按传统的方法,就是手动K表情。但无论如何,手动K表情是属于后期操作,实时直播,这样的方法并不现实,除非是录播,后期把带表情的半身动画,剪辑到录播视频上。所以,实时做表情,这个问题需要解决。

2:配音

配音文件的获取,可以单独在录音棚看着动作素材配音,也可以在表演过程中,带上耳麦边做动作边将声音传输到录音设备中保存。这个音频文件就是虚拟主播的配音。

好啦~现在我们有绿幕的动作视频文件,也有配音文件。通过AE或者Pr,将以上素材剪辑加工,就是我们看到的虚拟偶像日常视频啦~

--------------------------

不过以上,提及到技术层面,并非所有人都能一时学会这些专业的美术工具。为了方便小白更好的解决这些技术问题,我们团队和其他虚拟主播沟通后,研发一款方便小白轻松做3D虚拟主播的工具----Live3D ,通过傻瓜式操作,简单解决上述说的各种复杂技术问题。

1:首先提到模型

(1)Live3D有自己的云端3D模型库,里面的模型均可免费使用

(2)支持自定义捏人,你可以通过捏人功能(捏脸,换装,捏身体)获得一个新的模型。

(3)Live3D支持导入外部3D模型,目前支持FBX,PMX,VRM格式。你可以将你的模型导入,开启虚拟主播之路。


2:其次,提到面部表情,以往的方法,上述提到用“手动K帧”的方式,难度大,耗时长,同时和个人能力有很强的挂钩。同样面部表情需要和动作结合,也需要通过unity 导出合成序列

针对面部表情:Live3D的解决方案--“面部捕捉”

面部捕捉实现的方式

(1)通过电脑摄像头捕捉。

(2)通过iphoneX 及以上版本的手机摄像头捕捉。

具体过程:打开Live3D的面部捕捉按钮---->将摄像头对准自己的面部----->你做什么表情,对应Live3D画面中人物做什么表情(包括眨眼,对口型,摇头)

PS:对口型的准确度可以达到你说的每个字都能准确对上口型。


3:动作捕捉数据 需要过unity 需要对unity 有一定的熟悉度 才可以最终将动作数据,表情数据 转化为可视化视频。

针对动作数据 Live3D的解决方案是:预制动作库+动作捕捉接口+导入外部动作

(1)预制动作库 有海量云端动作数据,通过按下动作对于电脑键盘上的某个键(设置动作对于键盘某个键,通过在Live3D上拖动动作到Live3D上的小键盘),人物就会做出相应的动作。

(2)动捕接口 目前支持诺亦腾一套动捕设备及诺亦腾Hi5手套,捕捉手部细节动作。使用过程:链接动捕后,在Live3D上开启Noitom动捕 Noitom Hi5手套 按钮 。可以在Live3D上看见你用动捕做出的动作,在做动作前 点击录屏,选择绿幕背景,即可录制刚才你做的动作视频,直接出来就是绿幕视频文件,不再像过去需要过unity处理。



Live3D结合诺亦腾动捕的演示demo_腾讯视频

(3)导入外部动作,除了支持导入外部模型,我们还支持导入外部动作,你可以把你喜欢的舞蹈动作,日常生活动作,动捕动作导入到Live3D里,运用在直播和动画功能上。


最后,介绍Live3D两个核心功能 直播+小动画

(1)用Live3D做直播


(2)用Live3D做小动画



MMD与虚拟主播的结合体?Live3D了解下_腾讯视频



好啦~ 今天的介绍就到这里

对Live3D感兴趣的同学 欢迎关注我的zhihu号(Live3D)

链接:https://www.zhihu.com/people/live3d/answers

Live3D 是免费使用 ,目前,泠鸢yousa同学每周直播已经开始用Live3D啦~

欢迎大家前去体验*^_^*

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350