短视频卡通人物说话制作(如何制作卡通人物说话的视频)

字幕条短视频 2022年08月10日 19:06 1070 admin

目前应该是有很多小伙伴对于短视频卡通人物说话制作方面的信息比较感兴趣，现在小编就收集了一些与如何制作卡通人物说话的视频相关的信息来分享给大家，感兴趣的小伙伴可以接着往下看，希望会帮助到你哦。

郭一璞发自西二旗
量子位报道 | 公众号 QbitAI

你一定觉得，AI这种前沿科技，主要活在硅谷西二旗的科技公司、大学和研究院的论文、还有资本的热捧里。

这些地方有算力、有人才、有资金。

但实际上，即使是那些中国最质朴的农民，也已经用上AI了。

比如说，快手平台上的1.9亿短视频创作者，他们也在用AI技术丰富自己创作的短视频作者。

那么，具体怎么用呢？

量子位采访到了快手的技术团队，为大家介绍几个快手平台上AI应用，还有背后的原理。

低配手机也能用的Animoji

最有趣的功能当属“萌面Kmoji”，将视频中人物的头像变成虚拟卡通形象，一方面可以给视频增添乐趣，另一方面也可以帮助到那些不想露脸的用户。

类似苹果2017年推的Animoji功能，通过面部识别将用户脸上的细微表情，生成对应的卡通形象。

△ Kmoji版的快手网红手工耿

量子位也体验了一下“萌面Kmoji”的效果：

至于如何生成这类效果，快手技术团队介绍，需要用到基于物理的真实感渲染算法，让Kmoji上的金属、皮革等模型看起来更拟真。

整个模拟人脸的过程借助了3D结构恢复与3D信息融合，用3D重建技术恢复出3D结构，融合2D信息后，分析人脸特征，进而生成虚拟形象。

在这里，3D人脸重建需要借助快手内部的上万级3D人脸数据集，包含每个人的年龄段、人种、脸型和表情，通过人脸关键点识别技术，帮助3D人脸重建，不管你是哭着还是笑着都可以重现出来。

此外，生成虚拟形象还要分析用户的人脸属性，借助分类/回归/分割等方法，区分出性别、年龄、肤色、脸型等信息。

之后，因为生成的3D卡通图像是会随着人的表情而变化的，需要分析人脸表情，才能在卡通形象上展示出一模一样的表情。

这里需要通过2D的RGB视觉信息对问题进行建模求解，获得人脸关键点和实时重建的3D模型，把各种模态信息做建模、做对齐，求解出人脸的表情，驱动虚拟卡通形象做各种逼真的动作。

另外的一个问题是，如何让模型在手机端（乃至低端手机上）跑起来？

快手技术团队介绍，为了让模型在手机端流畅运行，需要进行图像预处理，合并多种预处理操作，对预处理的图像内存进行统一分配和回收，利用NEON加速和苹果自带的accelerate加速，让运行库只占2M的空间。

最后，在保证预测精度的前提下，快手技术团队对AI模型进行局部的INT8量化，使得运行速度可提高1倍以上，同时AI预测模型的占用空间也压缩到将近原来的四分之一。

世界上的另一个你

世界上的另一个你是快手在去年乌镇的世界互联网大会上亮相的一个线下应用，这个玩法是根据体验者的面孔，匹配亿万快手用户上传在平台上的公开视频，找到那个跟你长相相似的人。

这个应用本身是靠人脸检测。

据快手技术团队介绍，在提取人脸特征后，系统在快手后台数据库中进行检索，找到相似度最高的三个人脸图像。

之后，再对这三个人脸图像进行更细粒度的属性分析，得出对应的年龄、性别、表情等属性，基于属性对检索结果进行重排，从三张人脸里挑出和体验者长得最像的那个。

人像3D打光

快手上的另外一个AI应用则是人像3D打光，就像是短视频版的“逆光也清晰”，在光线不好的情况下，自动“打”一束光到用户脸上，让生成的图像效果有非常自然、符合面部形状的光线。

人像3D打光主要利用了实时人脸三维重建技术，利用了人脸参数化先验模型，根据输入图，自动匹配人脸几何信息，得到人脸3D模型参数，获得人脸3D网格模型。

另外，还可以根据不同的场景设置不同的光源，利用实时渲染技术对虚拟人脸进行渲染，得到面部光影图；对输入人像进行前景分割，得到前景分割蒙版，也可以根据原图得到其他蒙版信息；这些蒙版分别作为不同的图层按照场景需求特定的方式叠加到原图上，就可以得到打光结果。

OMT

除了计算机视觉、计算机图形学方面的应用，据快手算法科学家张国鑫介绍，快手在2019年也会将语音识别融入到产品中，开发更多应用。

— 完 —

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

'' 追踪AI技术和产品新动态

本文结束，以上，就是短视频卡通人物说话制作，如何制作卡通人物说话的视频的全部内容了，如果大家还想了解更多，可以关注我们哦。

短视频崛起(自媒体短视频平台)

短视频科普(短视频科普文案)

发表评论