选用「MyTwins.ai」数字兼顾，「开学季 Ai 第一课」为直播职业带来了新场景 | 前期项目

9月1日，「阿里云-云工开物」邀请了4位院士/教授，用“自己的数字兼顾”给咱们教学AI相关的常识。此次「开学季 Ai 第一课」选用的技能，是由36氪此前曾报导的「数字生命技能范畴立异企业「MyTwins.ai」供给的。

张亚勤院士的数字人（选用MyTwins.ai数字兼顾技能生成） 图片来历：MyTwins.ai

本次公开课导师包含图灵奖得主John E. Hopcroft，我国工程院院士、清华大学智能工业研究院（AIR）院长张亚勤，浙江大学人工智能研究所所长吴飞，复旦大学计算机学院教授黄萱菁，阿里云高校协作部负责人李贝，向观众展示了教育范畴可以用教师的数字兼顾来给学生讲课。

作为数字兼顾直播产品的供给方，MyTwins.ai在年头与淘宝闻名头部主播陈洁Kiki协作后，继续进行了一系列技能迭代，现阶段现已可以让数字兼顾以不同的身形、表情、拍摄角度“出镜”，习惯更多视频及直播环境。

数字人直播带货的概念在近年来逐步火爆，成为电商竞赛新赛道的一起，也掀起了数字人技能新一轮的开展浪潮。而在AI技能的支持下，数字人主播以其低本钱的优势，招引了许多的重视。

图片来历：MyTwins.ai

前期许多数字人产品，只能让数字人坚持单一身形，依据口播内容做一些简略的口型改变和上肢动作。MyTwins.ai相关负责人告知36氪，前期数字人受限技能而无法做到声响与口型同步，比方发“阿”的声响，嘴巴应该是张大的，数字人的嘴巴却是闭着的。

“后来咱们选用3D Flame技能对人脸建模，经过声响驱动3D几许表征形变，再运用3D Gaussian进行烘托。在口型、表情、姿势的精准度上，远远高于传统的纯2D技能道路所展示的作用。”

此外，为了让用户快速拿到生成好的数字兼顾，下降产品的运用门槛，MyTwins.ai研制了一套通用模型。

该通用模型由两个模块构成：根据VAE的Audio2Motion（声响到3D几许驱动）算法，在3D几许空间上完成对口型、表情的驱动；3D->2D的人脸生成算法，烘托出高清晰度、口型贴合的数字人。

曾经需求2-3分钟的视频资料，花费数小时的时刻练习数字人；在技能组合迭代后，MyTwins.ai已完成用30秒的视频资料进行小样本微调，练习时刻缩短到5分钟，有用提升了功率。

举例而言，在此次的「AI第一课」中，John E. Hopcroft数字兼顾建模的原视频便只需30秒，且在原视频清晰度较低的情况下，数字人精准复原了“表情、口型”等面部微改变。

当然，数字兼顾若想习惯更多场景，还有很长的路要走。关于MyTwins.ai而言，现阶段直播带货依然是团队主攻的研制方向之一。

为了可以帮商家直播卖货做成交，MyTwins.ai自研了一整套直播职业AI解决方案，特别是针对直播职业的主播大言语模型。

关于许多商家——尤其是没做过直播电商的商家来说，从零建立直播团队的本钱和危险都不小。假如初期作用差，人员薪酬就是一笔不小的固定开销；作用好了，假如主播团队挑选换岗，那商家便又要从头开始。

MyTwins.ai根据多年在直播范畴的数据堆集，研制了直播职业主播大言语模型。商家只需输入“产品名称、卖点”即可用头部主播的讲品方法论，由AI主动编撰头部主播风格的产品卖货讲稿，还能在直播间实时回复用户的问题，促进成交转化。

“从海量的直播数据中，咱们构建了优质的直播职业数据集，微调开源LLM，并从讲品风格、场景营建、深挖卖点、诱导消费等维度，让模型学习到头部主播带货的讲品精华。”MyTwins.ai相关负责人表明。

艾媒咨询数据显现，2023年我国数字人带动的工业市场规模和中心市场规模别离为3334.7亿元和205.2亿元，估计2025年将别离到达6402.7亿元和480.6亿元。跟着数字人工业的不断老练，关于商家来说，数字人直播将有时机成为卖货的中心途径。