筹画机视觉鸿沟再打破，多多体育 Turing Lab 讨论后果入选CVPR 2022
近期，国外筹画机视觉与形状识别会议CVPR 2022在好意思国新奥尔良举行，并同步进行线上会议。由王君乐博士提醒的多多体育Turing Lab执行室提交的论文《High-resolution Face Swapping via Latent Semantics Disentanglement》（基于隐语义解耦的高分辨率换脸）班师入选。
论文由多多体育Turing Lab与华南理工大学、卡迪夫大学及中国香港大学和洽完成。接下来，咱们将为民众解读论文的中枢后果，沿途来学习筹画机视觉鸿沟的最前沿讨论吧！
基于隐语义解耦的高分辨率换脸
High-resolution Face Swapping via Latent Semantics Disentanglement
在换脸任务中，咱们需要针对给定的源脸和目标脸，将源脸的身份信息迁徙至目标脸上，并同期保捏目标脸的属性信息。该本事比年来赢得大齐关爱的，并在互动文娱、广电、安全与狡饰保护等鸿沟均展现出较大的应用后劲。
这篇论文提倡了一种新的、基于预教育GAN模子中内在先验学问的换脸要道，终明晰高分辨率（1024X1024）换脸。该要道除了能保捏目标脸的常见属性信息，如色调、姿态、光照、布景等除外，还不错更好地保捏目标脸的妆容信息。
在这个责任中，咱们哄骗生成抗击模子隐空间的解耦特点，将不同性质的属性离别迁徙。具体来说，色调、姿态等是与结构相关的属性，而光照、立场等是与外不雅相关的属性。这两类属性由隐编码的不同层离别放手：一张图片隐编码的前半部分放手结构信息，此后半部分放手外不雅信息。
咱们先离别将源脸和目标脸回转到StyleGAN的隐空间内。同期将源脸和目标脸过错点的热图送入过错点编码器，得到一个结构属性障碍向量，这个向量作用在源脸的隐编码上，即可终了结构属性的迁徙。
同期，咱们用目标脸隐编码的后半部分代替源脸隐编码的后半部分，这么即可终了外不雅属性的迁徙。将惩处之后的隐编码送入预教育好的StyleGAN中，即可得到初步的换脸收场。
此外，为了终了目标脸布景的迁徙，咱们将目标脸径直送入目标编码器，得到不同分辨率的特征，并和StyleGAN中间历程中产生的特征在解码器中进行交融。这么咱们就赢得了最终的收场y。执行收场标明，咱们的要道在图片和视频换脸任务中，好多方面的效果均逾越了多SOTA要道。
注：图片只用作学术讨论，毋庸于交易用途。
对于CVPR
CVPR 全称 IEEE 国外筹画机视觉与形状识别会议（IEEE Conference on Computer Vision and Pattern Recognition），该会议始于 1983 年，是筹画机视觉和形状识别鸿沟的顶级会议。本年大会共收到来自全球各大高校、科研机构与科技公司共8186篇投稿，最终收受的论文险些齐代表了年度筹画机视觉鸿沟最新、最高科研水平以及改日发展趋势。
这次论文入选，亦然对多多体育Turing Lab执行室现阶段科研及翻新才智的招供。改日，多多体育Turing Lab将络续奋发，为民众在筹画机视觉鸿沟带来更多可能。
多多体育Turing Lab执行室精采东谈主
王君乐博士
多多体育各人讨论员
领有十余年筹画机视觉、多媒体、机器学习鸿沟讨论训戒，在东谈主体姿态估量与重建、图像质地评价、筹画影相学、千里浸式多媒体等鸿沟有较深的了解及实战训戒，并在这些鸿沟提醒团队进行探索与落地的责任。
曾主导多多体育CenseoQoE画质评价有蓄意的建树与社区开源，主导多多体育前锋云游戏云霄虚实互动本事的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东谈主及组织者。