当前位置:首页 > > 大鱼机器人
[导读]来炫个球技吧,看看川普版的「鸡你太美」。



来炫个球技吧,看看川普版的「鸡你太美」:



不如跳舞:只需要一张或多张人物图像,再提供一个跳舞视频,原本静止的人物就能轻松学会跳舞。衣服等细节信息一致性良好,就是脚步有点飘……


如下视频所示,舞蹈的转身和面向背后的动作合成效果都有所提升。

据新论文《Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis》介绍,改进版的优势在于源图像的数量从一张变为一组。以动作合成为例,源图像是一组不同视角的图像,因此合成结果从多个角度看起来效果更好。


  • 论文地址:https://arxiv.org/pdf/2011.09055.pdf

  • GitHub 地址:https://github.com/iPERDance/iPERCore

  • 项目主页:https://www.impersonator.org/work/impersonator-plus-plus.html


该研究在一个统一的框架内处理人体图像合成,包括人体动作模仿、外观迁移以及新视图合成。经过训练的模型,能够处理这些任务。现有的任务特定方法多数使用 2D 关键点(姿态)来估计人体结构。然而,此类方法只表达位置信息,既无法表征人物的个性化姿态,也不能对肢体旋转进行建模。
针对以上问题,该研究提出使用 3D 人体网格复原模块来解析人体姿态和形状,这样不仅可以对人体关节位置和旋转进行建模,还可以表征个性化的人体形状。为了保存源信息(如纹理、风格、颜色、人脸身份信息),该研究提出了一个新模型 Attentional Liquid Warping GAN,它包含 Attentional Liquid Warping Block (AttLWB),能够在图像和特征空间中将源信息传播到合成参考中。
具体而言,为了较好地表征源图像的识别性信息,该研究采用去噪卷积自动编码器提取源特征。此外,该方法还可以支持来自多源的更灵活的 warping。为了进一步提高未知源图像的泛化能力,该研究采用了 one/few-shot 对抗学习。
具体来说,它首先在一个广泛的训练集中训练一个模型。然后,通过 one/few-sho 未知图像以自监督的方式进行模型优化,得到高分辨率(512 × 512 和 1024 × 1024)的生成结果。
同时,该研究还建立了一个新的数据集,即 Impersonator(iPER)数据集,用于评估人体运动模仿、外观迁移和新视图合成。大量的实验证明了本文所用方法在保持面部信息、形态一致性和衣服细节方面的有效性。


免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: 驱动电源

在工业自动化蓬勃发展的当下,工业电机作为核心动力设备,其驱动电源的性能直接关系到整个系统的稳定性和可靠性。其中,反电动势抑制与过流保护是驱动电源设计中至关重要的两个环节,集成化方案的设计成为提升电机驱动性能的关键。

关键字: 工业电机 驱动电源

LED 驱动电源作为 LED 照明系统的 “心脏”,其稳定性直接决定了整个照明设备的使用寿命。然而,在实际应用中,LED 驱动电源易损坏的问题却十分常见,不仅增加了维护成本,还影响了用户体验。要解决这一问题,需从设计、生...

关键字: 驱动电源 照明系统 散热

根据LED驱动电源的公式,电感内电流波动大小和电感值成反比,输出纹波和输出电容值成反比。所以加大电感值和输出电容值可以减小纹波。

关键字: LED 设计 驱动电源

电动汽车(EV)作为新能源汽车的重要代表,正逐渐成为全球汽车产业的重要发展方向。电动汽车的核心技术之一是电机驱动控制系统,而绝缘栅双极型晶体管(IGBT)作为电机驱动系统中的关键元件,其性能直接影响到电动汽车的动力性能和...

关键字: 电动汽车 新能源 驱动电源

在现代城市建设中,街道及停车场照明作为基础设施的重要组成部分,其质量和效率直接关系到城市的公共安全、居民生活质量和能源利用效率。随着科技的进步,高亮度白光发光二极管(LED)因其独特的优势逐渐取代传统光源,成为大功率区域...

关键字: 发光二极管 驱动电源 LED

LED通用照明设计工程师会遇到许多挑战,如功率密度、功率因数校正(PFC)、空间受限和可靠性等。

关键字: LED 驱动电源 功率因数校正

在LED照明技术日益普及的今天,LED驱动电源的电磁干扰(EMI)问题成为了一个不可忽视的挑战。电磁干扰不仅会影响LED灯具的正常工作,还可能对周围电子设备造成不利影响,甚至引发系统故障。因此,采取有效的硬件措施来解决L...

关键字: LED照明技术 电磁干扰 驱动电源

开关电源具有效率高的特性,而且开关电源的变压器体积比串联稳压型电源的要小得多,电源电路比较整洁,整机重量也有所下降,所以,现在的LED驱动电源

关键字: LED 驱动电源 开关电源

LED驱动电源是把电源供应转换为特定的电压电流以驱动LED发光的电压转换器,通常情况下:LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: LED 隧道灯 驱动电源
关闭