计算机视觉算法和硬件实现的现状与发展趋势

导读：

计算机视觉技术让人工智能具备了视觉感知与理解的能力。近年来，得益于计算机硬件性能的提升以及大规模图像标注数据集的创建，基于深度学习的计算机视觉算法在图像分类、目标检测和图像分割等经典计算机视觉任务上取得了极大的成功，同时，驱动计算机视觉算法有效运行与应用的硬件加速平台也得以大力发展。

针对计算机视觉算法设计与硬件实现这一新兴领域，爱思唯尔旗下期刊Integration，the VLSI Journal (2019CiteScore 2.6, 2019IF 1.214) 于2019年11月发表题为“Computer vision algorithms and hardware implementations: A survey” 的综述论文，获得业内广泛关注。文章现已开放免费阅读，点击此处阅读。

该论文由昆山杜克大学、重庆理工大学和东华大学三方的研究团队合作完成，总结了近年来计算机视觉算法及相关硬件实现的研究进展，重点介绍了深度学习技术在图像分类、目标检测和图像分割任务上取得的重要成果，同时对比分析了用于实现计算机视觉算法的各类硬件加速平台，并展望了计算机视觉算法和硬件实现的发展趋势。本文旨在促进研究人员深入理解计算机视觉关键技术，推动计算机视觉领域的研究及应用进一步突破和发展。

结论与展望

本文综述近年来在深度学习技术推动下计算机视觉算法及相关硬件实现的研究进展。计算机视觉是一门研究让机器如何“看”的学科。在计算机视觉算法中，图像分类、目标检测和图像分割是三个主要的研究方向，它们分别从整个图像、局部区域及每个像素点三个粒度层面实现了计算机视觉识别任务。在图像分类领域，从2012年ImageNet大规模视觉识别挑战赛中远超过传统图像分类方法而得冠的深度卷积神经网络（CNN）模型AlexNet，到2014年VGG和GoogleNet，2015年ResNet，2017年SENet，再到2018年NASNet，更深层以及更优化的卷积神经网络结构不断推陈出新。与此同时，ImageNet图像分类的精度也不断被刷新。

然而，深度卷积神经网络在追求高精度的同时需要强大硬件算力的支撑，使得复杂的CNN模型无法在一些资源受限的应用场景中有效部署。近年来，轻量级卷积神经网络模型MobileNet，ShuffleNet和FE-Net等被相继提出。

深度学习技术在图像分类领域的成功促使目标检测领域进入飞速发展的新时期。基于区域卷积神经网络的二阶段目标检测模型：RCNN、Fast RCNN和Faster RCNN不断提高目标检测精度。同时，一阶段目标检测YOLO系列模型能够兼顾精度和效率，是目前一流的实时目标检测框架。深度学习技术还同时促进了大规模图像数据分析向像素级图像分割迈进。全卷积网络（Fully Connected Network，FCN）成功地构建了基于CNN的语义分割模型，实现了端到端的密集像素预测。其后提出的SegNet和DeepLab系统模型等都是取得优秀分割效果的重要方法。

虽然近年来基于CNN的计算机视觉算法已经取得了显著的成就，但将算法在应用领域落地还有诸多的挑战。未来计算机视觉算法研究将集中在以下领域：（1）研究更轻量、更高效的算法模型，能够在资源受限设备上实时运行。（2）研究复杂场景/工况下的目标识别、检测或分割，突破小目标检测和分割的难点。（3）研究动态及3D应用场景的目标检测及语义解析算法。（4）研究少样本或半/自监督学习方法，使计算机视觉算法能够用于数据获取困难、标注代价昂贵的应用场景。（5）研究图像、语音、文本数据的多模态融合及多技术融通，使机器实现从视觉感知到认知阶段的跨越。

当今计算机视觉算法的突破性进步离不开高效能硬件加速设备的跨越式发展。与传统通过软件在CPU上实现并行计算不同，硬件加速设备从计算机硬件层面实现以更低延迟和更高吞吐量执行计算任务。图形处理器（Graphics Processing Units，GPU）不仅是强大的图形处理引擎，还是驱动CNN模型训练的高度并行化处理器。2007年Nvidia公司推出基于Nvidia GPU的并行计算体系架构——CUDA平台，为深度神经网络模型使用GPU并行计算资源提供了完整的编程接口和工具链。此后，基于CUDA的深度学习框架Caffe、Torch和Tensorflow被相继开发。Nvidia不断创新GPU体系架构，如GeForce GTX、Titan、Tesla和RTX系列图形加速卡极大推动了基于CNN的计算机视觉算法发展。

FPGA是另一种高效能的嵌入式CNN加速解决方案。它可以适应不规则并行计算、实现自定义数据类型、并针对特定应用设计硬件架构。通过在CPU，GPU和FPGA上运行典型CNN模型（VGG和ResNet）进行实验对比发现，FPGA的吞吐能力远高于CPU，但低于GPU，而其部署CNN模型的能效高于CPU和GPU。

目前，专门针对深度学习或其他AI应用而开发专用硬件加速芯片是另一个重要方向，经典的专用芯片有Google的张量处理单元Tensor Processing Unit (TPU)、Intel 的神经网络处理器Nervana Neural network Processor (NNP)、华为的神经处理单元Neural Processing Unit (NPU)等。针对特定应用的专用芯片能够最大程度实现算法加速且灵活适应嵌入式应用部署，但是设计周期长、设计成本昂贵。从GPU、FPGA到专用芯片是一条以使用灵活性、设计成本换取计算效率、量产成本的硬件发展道路。未来计算机视觉算法发展需要开发更高效能的硬件加速引擎，以适应各种不同应用场景带来的挑战和机遇。

主要作者

冯欣

冯欣，博士，副教授，硕士生导师，现任重庆理工大学计算机学院大数据与机器学习系系主任、昆山杜克大学大数据研究中心访问教授。主要从事计算机视觉、图像/视频内容分析与理解研究。迄今在《IEEE Transaction on Broadcasting》、《自动化学报》及ICIP、ICME等国内外图像/视频领域的重要期刊和会议上发表论文30余篇。先后主持或主研省部级以上项目15项，其中主持国家自然科学基金青年基金1项、教育部人文社会科学研究项目1项，重庆市基础科学与前沿技术研究2项，产学研横向项目4项。授权、公开国家发明专利4项。

蒋友妮

蒋友妮，2017级硕士研究生。2016年在重庆工商大学获学士学位。2017年加入重庆理工大学冯欣副教授课题组攻读硕士学位。主要从事计算机视觉领域目标检测与跟踪相关研究。2018年7月获重庆理工大学研究生创新项目，2019年12月以第二作者在Integration, the VLSI Journal发表SCI学术论文一篇。参加国内会议2次。

杨雪姣

杨雪姣，2017级硕士研究生。2016年在重庆理工大学获学士学位，2017年加入重庆理工大学黄同愿副教授课题组攻读硕士学位，同年加入重庆理工大学“大数据与机器学习实验室”从事计算机视觉领域目标检测及单目测距相关研究。2019年获重庆理工大学研究生创新项目，在计算机科学等期刊发表学术论文2篇；参加国内会议2次。

杜明

杜明，东华大学计算机科学与技术学院副教授，博士，2017年赴美国杜克大学电子与计算机工程系访学，主要研究领域为人工智能、图数据管理、大数据分析。

李昕

李昕教授于2005年获美国卡内基梅隆大学电子与计算机工程系博士，2007-2016年任美国卡内基梅隆大学电子与计算机工程系助理教授和副教授，美国国家自然科学基金CAREER奖获得者，国际电气电子工程师协会会士（IEEE Fellow）。现任美国杜克大学电子与计算机工程系教授，昆山杜克大学科研副院长，应用自然科学与工程研究院主任，数据科学研究中心主任，电子与计算机工程硕士项目主任。李昕教授多次承担美国国家自然科学基金、英特尔、丰田、富士康等政府与公司的研究项目。集自身在机器学习、计算机视觉、智能制造、生物医学等方面的专长，成功开拓多领域的交叉研究，得到国际同行高度赞誉和广泛引用及应用。于2005年创立了美国Xigmix公司，担任公司的首席技术官（CTO），Xigmix于2007年被Extreme-DA收购。出版著作3本，在国际顶级期刊发表论文60余篇，在国际顶级学术会议发表论文150余篇，获得6次最佳论文奖和6次最佳论文提名。担任国际顶级期刊IEEE Trans. on Computer-Aided Design常务主编，IEEE Trans. on Biomedical Engineering副主编，IEEE Trans. on Computer-Aided Design副主编，ACM Trans. on Design Automation of Electronic Systems副主编，IEEE Design & Test副主编，IET Cyber-Physical Systems: Theory & Applications副主编和Journal of Low Power Electronics副主编。被聘为世界著名学术组织ACM Special Interest Group on Design Automation，IEEE Technical Committee on Cyber-Physical Systems和IEEE Technical Committee on VLSI 的执行委员会成员。

期刊推荐

ISSN:0167-9260

CiteScore:2.6

影响因子：1.214

Editor-in-Chief: S.X.-D. Tan

扫码了解期刊

扫码阅读文章

▲向上滑动

昆山杜克大学

杜克教育 中美经历 国际视野

dukekunshan

昆山杜克大学

Duke_Kunshan

长按右方二维码

关注我们