任意更换人像背景重打光！上科大信息学院本科生科研成果被ICCV 2021接收

上科大信息学院许岚课题组、虞晶怡课题组2018级本科生张龙文、张启煊以共同第一作者身份投稿的论文 “Neural Video Portrait Relighting in Real-time via Consistency Modeling”被IEEE国际计算机视觉大会（IEEE International Conference on Computer Vision，IEEE ICCV 2021）接收。

成果流程图

论文提出了一种全新的人像视频重照明方法，仅使用单个RGB肖像图和新的目标高动态范围（HDR）照明环境作为输入就能实现更换背景重打光，不仅在动态光线变化下仍能保持时序连续性，还能在移动端上实现实时渲染。据悉，该项技术将应用在虚拟VLOG、虚拟拍摄、线上会议、人像光照编辑等多个场景中。

虚拟VLOG Demo

善其事，利其器

“如果从监督学习的角度来看待单图人像重打光这个问题，最大的难点其实是数据集。” 张龙文表示，“我们需要同一人像在大量不同光照下的对应数据，在现实中实拍几乎是不可能的。”幸运的是，两位同学所在的多学科人工现实实验室（Multidisciplinary Artificial Reality Studio, MARS）为他们的研究顺利开展搭建了平台。今年春节假期，MARS实验室的本科同学们自主研发搭建了穹顶光场（Light Field Stage）设备。该设备能够采集动态的OLAT（One Light At a Time）数据，使拍摄的每一帧画面都能渲染至不同光线环境中，顺利解决了人像重打光面临的数据瓶颈。

动态OLAT数据集

为了实现高效率的数据采集与处理，两名同学用半年左右的时间制定了一套数据采集流程，开发了一套数据处理工具链，并最终采集处理了36名不同性别、年龄、相貌的志愿者的动态数据，建立了首个动态OLAT数据集。

OLAT数据处理工具链

从课程作业走出来的科研项目

据了解，两位同学最早是在课程设计中完成了此项目的雏形。张启煊说：“作为《计算机视觉》课程的结课项目，我们最初的想法是做一个对存在外部阴影的输入也比较鲁棒的重打光网络。在研究过程中，我们发现效果不错就决定在实验室继续把这个问题研究下去，才有了后来在时序一致性上的推进。”

“我们在诸如《并行计算》《编译原理》等课程中学到了很多性能优化方面的技巧。整套OLAT重打光工具链的开发过程，也是我们不断把课程里学到的东西付诸实践的过程，最终用到项目里的版本的处理速度是我们大二最初版本的近100倍。”张龙文补充道。

在《计算机视觉》课程Final Project中的展示

上科大提供的多样而充实的通识课程以及专业课程，课程设置以及教材选用都兼具理论与实践、前瞻和创新，为本科生的学习成长奠定了重要的基础。

本科生科研实践

张龙文与张启煊都是2018级信息学院计算机科学专业的学生，从大二开始加入多学科人工现实实验室（Multidisciplinary Artificial Reality Studio, MARS），在实验室学长和老师的指导下参与科研项目。

“在科研过程中我们遇到了很多刚开始以为难以解决的问题。通过与两位教授的频繁交流、讨论来梳理工作思路；设计实验，一起分析实验现象来构思解决方案；一次次迭代试错来积累经验，最后一步步完成了这项工程。还记得截稿那天许岚教授跟我们一起加班到凌晨，完工后请我们喝了冰可乐，那一刻的冰爽至今记忆犹新。”张启煊回忆说。

两位同学还表示，未来将着重提升该项目中网络对人像细节的表达，将结合穹顶光场采集的毛孔级动态人脸模型数据，进一步提升效果；重打光范围拓展为全身，以适应更广泛的应用场景。

图|张龙文、张启煊

国际计算机视觉大会（International Conference on Computer Vision，ICCV）是计算机视觉领域中最高级别的国际学术会议之一，由IEEE（电气电子工程师学会）举办，每两年在世界范围内召开一次，在业内具有极高的评价。

图 文 张启煊

张龙文

排 版 张丽敏

编 辑 高正纯

高 瑄

今天“分享”“点赞”“在看”了吗？