一句话生成3D人脸资产？AIGC+数字人！专访数字人底层技术团队影眸科技

wuhu专访

模型师又双叒叕要失业了？

数字人底层技术公司影眸科技

发布最新技术演示！

只需“一句话”便可生成

包括拓扑一致3D模型与PBR材质的

影视级人脸资产！

先来看看效果！

影眸科技凭借团队在生成式AI领域多年的技术积累，使用创造性的方案将自有的PFA（Production-ready Facial Assets）数据集与diffusion技术相结合，做到了以自然语言文本为输入，生成符合CG行业制作标准的3D人脸模型与PBR材质，是首个能够完成产品级3D资产生成的AI算法框架，也是影眸科技在AIGC新赛道上的又一次重大突破。

据了解，这项技术将集成于HYPERHUMAN平台中。HYPERHUMAN拟于2023年夏季正式推出，目前已经开放了小范围内测，是影眸科技规划打造的数字人平台，以AI和数据为核心的数字人生成/编辑/驱动/风格化全栈式平台，支持文本、视频、音频等多模态信息。

特色功能包括：

- 使用一段描述生成/编辑3D数字形象模型与高精度PBR材质

- 使用单张照片生成/编辑3D数字形象模型与高精度PBR材质

- 基于海量4D与表情数据的自动化绑定/RGB视频驱动

- 多语言音频驱动3D数字形象

- 简便的3D数字形象风格化工具

- 自动拓扑转换

在对影眸科技联合创始人&首席技术官张启煊的采访中，他分享到的其中两点也让我们对影眸科技的研究工作有了更大的兴趣：

“AIGC是对创作工具的一次革新，AI是为艺术家服务的，只是加速艺术家创作的过程，并不存在取缔与否的问题。”

“从整个行业来看，我们并没有感受到生产效率或是质量上的显著突飞猛进——数字人的制作流程依然是较传统和成熟的。”

首先不得不提的是，最近几个月里AIGC的发展速度实属惊人，实现破圈的同时其迭代速度更是呈现指数级爆发。其中深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能，成为AIGC发展的“加速度”。

AIGC（AI-Generated Content 人工智能生成内容），是继UGC、PGC之后一种利用AI技术自动生成内容的新型生产方式。结合当下的众多AI产品，或许会更好理解，如我们之前介绍的AI绘画、AI聊天ChatGPT等。

这条万亿新赛道的突然爆发既让人们充满憧憬的同时，影眸科技作为一家敢于探索和专注研发的数字人与AIGC底层技术搭建公司，其在这条新赛道上的表现自成立以来便尤为瞩目。

想必熟悉的朋友们还记得我们发布的这篇报道（又是啥黑科技？！国产“老婆生成器”轻松画出漂亮小姐姐？！）。

去年8月，由影眸科技开发的二次元趣味捏脸软件WAND（人称“老婆生成器”）发布后，一度冲上了 TapTap 热门榜的Top1和AppStore图形与设计榜下载量Top1，目前已拥有数百万用户。

今年4月，影眸科技宣布已完成数千万元Pre-A轮融资，此轮资金将继续用于团队建设与数字人底层核心技术的研发，探索智能科技驱动下数字人应用的更多可能性。

也在今年，影眸科技共4项工作已被SIGGRAPH/SIGGRAPH Asia接收，主题涵盖解剖学正确的数字人建模、毛发渲染、神经网络面部驱动等等，其中不少已经作为产品投入使用，为元宇宙超写实数字人技术的发展迈出了有力的一步，其中多项技术为动画提升了制作效率的同时也提供了新的发展方向。

3天就可以打造超写实数字人的「黑科技」！？

在市场表现上，影眸科技已与数家元宇宙概念公司展开合作，为数十家影视动画、游戏、营销公司提供不同等级的面部资产，其技术优势已经得到了充分的验证。

以上仅对影眸科技产品做了部分介绍和展示。影眸科技目前还对动画领域的生产制作有着哪些重点研究和探索？这些技术将会对动画产生怎样的影响？

为了更深入了解他们，并结合上文提到的诸多问题，我们邀请和采访了影眸科技联合创始人&首席技术官张启煊，期待他和影眸团队能为我们分析和解答这些问题。

WUHU Exclusive Interview

wuhu专访第379期

嘉宾 | 影眸科技

采编 | 新桥别亦

Q1.

据悉，影眸科技是一家成立不久，但在超写实数字人领域有着独立领先技术的公司，可以为我们介绍一下影眸科技吗？你们是如何聚集到这一领域的呢？

影眸科技：影眸科技成立于2020年6月，孵化于上海科技大学。创始团队主要都来自上海科技大学智能视觉与数据中心的MARS实验室，都是计算摄影、计算机图形学与深度学习背景，从2016年开始数字人方面的技术研究，每年都会有相关方面的成果产出，被诸如SIGGRAPH/CVPR/ICCV的顶级学术会议所接收。

在过去6年里，影眸科技从扫描做起，逐步建立起高保真孪生数字人技术的自动化流程，建立起首个产品级人脸资产数据集（PFA）。在PFA数据集的基础上，影眸团队又进一步研发了基于AIGC理念的一系列周边技术，包括微表情级视频驱动、多语言音频驱动，人脸资产风格化、基于单照片的人脸资产生成，甚至于文首展示的“一句话人脸资产生成”。

可以说，影眸目前的技术“边界”已经不再是超写实数字人，逐渐与动画型的风格化角色产生交集，拥有了更宽广的应用场景。事实上我们大多数客户最后输出的都是风格化的数字角色，超写实只是一个能够“向下兼容”的技术路径。

影眸科技团队前往韩国在SIGGRAPH Asia 2022上进行了多项数字人专题技术分享

Q2.

数字人技术目前在全球科技中都是一项热门且激烈的研究项目，可以为我们分享一下你们所了解的这一项目进展情况吗？

影眸科技：数字人、元宇宙都是近年来的热词。2021年以前，游戏公司做的是游戏，数字人公司做的是数字人，VRAR是VRAR，Web3是Web3，但仿佛一夜之间，大家做的内容都变成了元宇宙。当然，在元宇宙的理想里，作为现实人替身的数字人必定是不可或缺的。现阶段许多数字人IP也在商业上取得了不错的成功，受资本追捧。

但其实，从整个行业来看，我们并没有感受到生产效率或是质量上的显著突飞猛进——数字人的制作流程依然是较传统和成熟的，来源于影视与动画流程中，或是直接依赖由Epic推出的HyperHuman。国内真正着眼于数字人底层技术的团队太稀少了，并没有实质性的新技术诞生，更多的是一些制作技能与know-how。影眸团队希望尽自己的努力，真正给行业带去更多的新技术。

Q3.

最近AI领域中用文字直接生成绘画、动画、模型的项目频频让艺术行业“地震”，你们如何看待AI艺术？

影眸科技：影眸团队第一次吸引大家的关注是一款名为WAND“老婆”生成器的二次元画板，这可能是国内第一个toC的AIGC应用，也是wuhu第一次报道咱们的工作。当时我们就在思考，使用AI直接生成，与艺术家通过PS、Maya、ZB等工具软件“生成”，有什么不同呢？

“懒惰即美德”。AIGC是对创作工具的一次革新，AI是为艺术家服务的，只是加速艺术家创作的过程，并不存在取缔与否的问题——当然，这可能致使艺术家需要掌握的技能较以前会有所不同。

信息技术发展带来的软件工具，已经在创作流程中为人类与机器完成了一次分工，AIGC将会带来第二次分工。

影眸认为数字人自动化流程乃至今天“官宣”的AIGC数字人，都只能完成数字人创作的前半程。影眸团队研究的，是如何把100个数字人一口气“生成”到80分。人类艺术家研究的，是如何再把数字人做到90分。技术擅长的是标准化，这可能是指流程上的标准化、统计分布上的标准化；但艺术家完成的是更加细致、无法标准化描述，甚至突破标准的东西。

将影眸科技自有的PFA数据集与diffusion技术相结合，影眸团队能够仅仅用一句话就完成对数字人模型与PBR材质的生成/驱动/编辑，甚至直接生成知名人物。

Q4.

制作一个数字人需要团队通力协作解决多项难题。影眸科技带头的多项研究成果已经被计算机图形学顶会 SIGGRAPH 接收，且自主研发的全流程自动化的数字面部生成系统也已与数家元宇宙概念公司、影视游戏公司有着紧密合作，公司也完成了数千万元Pre-A轮融资。可以为我们介绍一下这些成果吗？这套系统解决了哪些问题？

影眸科技：影眸科技今年共4项工作被SIGGRAPH/SIGGRAPH Asia接收，主题涵盖解剖学正确的数字人建模、毛发渲染、神经网络面部驱动等等，其中不少已经作为产品投入使用。比如工作Video-Driven Neural Physically-based Facial Asset for Production，将首创的4D PBR扫描技术与神经网络表达相结合，训练多VAE的网络结构，跳过了传统的绑定与动态贴图制作流程。

这意味着，无需面捕头盔、无需人工绑定，只需要一段4D序列作为训练，RGB视频就可以实现精细到微表情级别的实时面部捕捉。在此基础上结合更广泛的数据集进一步研发后，目前该系统已经能够在仅有数字人静息头的情况下，基于任意视角的RGB视频，完成超高精度的面部捕捉，能够被更广泛的应用于影视、游戏、动画制作乃至数字人直播领域。

Q5.

影眸科技目前对动画领域的生产制作有着哪些重点研究和探索，可以结合实例为我们介绍一下吗？对于数字人、元宇宙、动画这三者的关系和发展，你们是如何看待的？

影眸科技：数字人技术来源于影视特效行业的数字替身中，在文化行业首先的落地场景自然也是影视特效行业。影眸已经得到多家国内顶级视效工作室的认可，将产品使用在电影、广告项目中。

除此之外，标准化数字人扫描服务“3天数字人服务包”也已经为行业输出了不少数字人资产，服务对象包括顶流明星、KOL、游戏等等。影眸科技自主研发的穹顶光场亚微米级皮肤材质扫描系统也将新落地于北京、青岛两地，与当地相关资源合作，联合上海总部提供服务。

影眸团队一直在关注动画行业的发展，希望能为该行业带来降本增效的新技术。

我们认为诸如无需面部设备的面部捕捉、音频驱动、风格化等技术都可以使用在动画行业——尤其是3D动画的制作中。也是希望借这个机会可以寻找一些愿意“吃螃蟹”的动画团队，能在该方向与我们展开合作。

Q6.

对于动画创作者来说，审美、技艺和工具都很重要。但是如今很多前沿技术中，创作者缺少专业的途径来学习工具，影眸科技对技术在更简便易操作和更严谨繁复之下是如何平衡的？在与其它公司合作中有没有什么心得体会？

影眸科技：当然，“科研进展”与“产品”之间的鸿沟是很大的，影眸团队也花了不少时间在“产品化”这件事情上。如上述的驱动系统，为了真正能满足工业界的需求，我们把各类主流绑定的兼容（如metahuman绑定）都做了一遍，同时又进一步打造了各类后期编辑方案，方便艺术家调整。

作为一个从实验室走出来的团队，影眸在“产品化”这件事情上有着丰富的踩坑经验，所以现在内部已经形成了比较成熟的产品化流程。现在还记得，第一次与工业界团队对接的时候，双方对“规整拓扑”“法向坐标”“delighting”“对齐”等概念的定义与标准都相当不同，磨合了不少时间。这里要特别感谢我们的早期合作伙伴，如Unity与MoreVFX，真的在产品化道路上给了我们很多帮助。

Q7.

高精度的虚拟形象未来不止是创作者需要，到元宇宙时代，每个普通用户都要有自己的高精度3D形象。未来有没有可能把高精度的人物建构门槛彻底降下来？这种高精度的角色要到非常普及的程度，也许将不能依赖于“大设备大系统”，它还将会有哪些路径或门槛？

影眸科技：通过“大设备大系统”构建硬件壁垒，通过自动化处理流程带来数据壁垒，这些都只是开头。影眸团队真正的核心能力在AI生成。

我们常跟伙伴阐述我们建立“大设备大系统”的理念：影眸科技团队之所以要搭建如此昂贵而复杂的系统，就是为了之后普通用户、创作者不再需要这样的硬件。通过这样的设备和系统，我们采集了大量最高精度的面部数字资产，进一步通过AI技术，让大家仅仅通过一张照片甚至一段文本描述，就可以得到包含拓扑一致几何、PBR材质与完整绑定的数字人资产，并且拥有便捷的手段风格化到更多的角色风格中，来满足不同应用场景的需求。

这里我们希望进一步展开聊聊我们对超写实这一件事儿的理解。

如上文所言，即使是现阶段，我们大多数客户最后输出的依然风格化的数字角色，超写实可能仅仅只占1/3。超写实只是我们在加速角色制作流程中，必要的一环，它不是最后的输出，但它不可或缺。首先从资产角度说，超写实资产能够向下兼容多种不同的美术风格，提供有效的参考（如皮肤材质、肌肉特点等等）；

其次，超写实风格是建立现实世界人与数字世界的桥梁，例如通过超写实数字人技术，我们可以做精准的面部捕捉。例如单张照片生成风格化数字人的任务，我们可以先把每个人通过超写实数字人技术准确的映射到三维数字世界，再在三维层面做小样本风格化来实现。超写实数字人技术在其中都发挥了重要的作用。超写实不是超真实，利用超写实数字人技术，我们能更快更准确更自动地完成更多事儿。

影眸团队通过三维小样本风格化技术为上海科技大学举办了毕业典礼线上分会场

Q8.

数字人技术未来能够扩展到哪些新的领域之中？影眸科技又对未来的发展（团队和事业）有着怎样的期待和规划？你们的终极目标是什么？

影眸科技：数字人技术最早来源于影视行业的数字替身，慢慢演变为现在的IP型数字人，具备营销与传播属性。慢慢地随着技术的进一步成熟，数字人应用成本的降低，服务型数字人会越来越多地出现，来完成例如商场导览、智能客服、直播带货等具体功能型场景。

不论元宇宙到来与否，我们认为数字人最终将转变向ID型数字人，数字人将成为每个要进入虚拟世界的人的标配，作为一个“资产”被持有，具备身份特点。

影眸科技希望打造的就是这样一个由ID型数字人构建的身份系统。

用户能够持有由我们生成的一个或多个数字形象——这些数字形象并不绑定某种特定的风格，只是描述某个ID特征的一串隐式向量。在不同的场合，不同的应用中，同一个数字形象能自动转换到该应用的风格（通过我们的小样本风格化技术），有不同的三维呈现。基于正在研发的HYPERHUMAN平台，我们正逐步向这个终极目标迈进。

再次感谢影眸科技团队接受我们的采访并带来的精彩分享。

日前，人工智能研发公司OpenAI发布的全新对话模型ChatGPT掀起AIGC人工智能赛道热潮。近年来，百度、阿里巴巴、腾讯、Meta、谷歌等国内外科技巨头以及A股上市公司大力布局AIGC业务，推动AI作画、数字虚拟人产品广泛应用于传媒艺术、教育、电商等内容创作领域。

可以预见的是，AIGC也势必会影响到动画的创作，正如张总提到的“AIGC是对创作工具的一次革新”。动画制作有着极为复杂和大体量的流程工序，并是一项有着高成本、高要求、高效率等特点的艺术创作。尤其是近年来随着大众审美的变化，诸如在大热的三维动画中，一位拥有“好看”皮囊和“有趣”灵魂的角色显得尤为重要，影响着不少观众对作品的初印象和观看欲望。

我们也期待动画创作者和影眸科技这类AIGC底层技术搭建者可以有更多的交流机会。

在技术和艺术的双轮驱动下，影眸科技所研发的诸如无需面部设备的面部捕捉、音频驱动、风格化等技术不仅可以让“数字人”拥有更加“逼真”和“好看”的皮囊，还将为动画创作者提供一套新的行之有效的工具和流程；而作为动画创作者，在高效便捷的新技术加持下，更需注重塑造“数字人”心中有趣的灵魂。

—END—

想了解更多后续的介绍要锁定wuhu哦，微博的小伙伴可以关注我们的新浪微博：wuhu动画人空间，对了！如果你想看更多动画作品，去b站搜索wuhu动画人空间看看？

新加入的小伙伴们请注意！往期精彩内容在平台里的wuhu主页上，可别错过哦！欢迎小伙伴们的投稿！

如果你喜欢，请分享给更多人看到：）欢迎留言和wuhu三侠互动！