电子技术应用ChinaAET举办FPGA与图像处理技术沙龙
2015年2月1日，来自中科院电子所、中科院微电子所、电子六所的等科研单位，华为、清华同方、大唐移动、展讯通信等知名企业，以及北京大学、北京航空航天大学、北京邮电大学、北京工业大学等高等院校的40余位视频图像处理爱好者和FPGA爱好者共聚一堂，参加了电子技术应用?Tech-Workshop之“FPGA与图像处理技术研讨会”，共同打造工程师的圈子生活。
本次研讨会上，来自清华大学电子工程系的副教授乔飞博士、Xilinx渠道FAE经理张宁、NVIDIA高级客户工程师雷昊、某CDN公司流媒体研发总监刘岐与听众分享了当前市场环境下图像处理技术的最新发展趋势以及FPGA在视频图像处理中的应用。
智能图像处理硬件加速关键技术
图 清华大学电子工程系的副教授乔飞博士
乔飞博士所在的iVip项目组的研究方向是iVip（Integrated Vision, Intelligent Perception），其部分工作涉及的正是面向智能图像信号处理的硬件加速技术与实现。他指出，多媒体传感器网络已经成为未来的一个重要发展方向，无论在学术界还是工业界都得到了广泛的应用。我们通过在图像传感器节点上附加处理能力，使其具备一定的智能处理或信息提取的功能，并以此来解决存储密集型应用中单片FPGA处理能力不足的问题。此外，乔飞博士还以好奇号火星车、玉兔号月球车、当前市场上广受关注的Google glass和未来会出现的接触镜为例，形象而生动的说明了智能图像信号处理技术广阔的应用前景。
面对这些应用场景，传统的图像和视频感知设备存在多方面的问题，例如，数据处理能力不足以应对计算和存储密集型应用、带宽不够、功耗过高、安全、隐私和数据完整性无法保障等。对此，智能传感器图像采集设备的解决办法是将服务器端的信号处理能力与分布式智能节点的处理能力做均衡与划分，要求智能采集设备具有一定的处理能力，从而大幅降低传输的信息量，同时，通过将传感器和处理器集成在一起，可有效降低功耗与成本。乔飞博士表示，随着CMOS工业的逐渐稳定以及VLSI技术和计算机视觉技术的日益成熟，智能传感器图像采集设备成为必然趋势。
乔飞博士指出，针对不同的应用，在为智能图像处理模块选择处理器时要考虑物理约束（尺寸、功耗、IO等）、设计约束（时间成本、金钱成本）、外围电路的需求以及计算的约束（处理功耗、可编程性、软硬件应用灵活性）。之后，他比较了市场上几种智能图像处理模块的实现方式。其中，集成ARM处理器的实现方案其摄像头只可做运动检测和简单特征的识别，集成SIMD处理器的实现方案功耗过高，相比这二者而言，基于FPGA实现的智能图像处理模块成为更佳的选择。
最后，乔飞博士详细介绍了基于FPGA的硬件加速实现的双目立体视觉系统。基本原理是从两个视点观察同一场景，获取不同视角下的图像对，通过三角测量原理，匹配相应的像素点，计算视差，达到重构场景三维几何信息的目的。可应用于机器人自主导航、航空和遥感测绘、工业自动化检测、医学成像和虚拟现实等领域。
Xilinx视频图像处理解决方案
图 Xilinx渠道FAE经理张宁
与乔飞博士提出的“Smart Camera”不谋而合，Xilinx也早已提出“Smart Vision”的概念。张宁指出，无论是在汽车辅助驾驶ADAS、无人机UAV、安防监控还是机器视觉等应用领域，实时分析都已经成为一个主流的需求。同时，在显示端，使用者也对显示画面提出超高清、3D或其他特殊显示特性的需求。其中，Xilinx尤为关注实时智能分析、智能传输和情景式显示。针对汽车、机器视觉、广播与医疗、安防监控等不同的应用领域，Xilinx都提出了不同的应用关注点，以解决智能视频各环节（包括建立连接、编码、视频处理、图像处理、传输、安全等）出现的问题。
张宁称Xilinx为智能视频领域的领导者。他表示， Xilinx的28nm产品完美支持智能视频图像的处理与传输、显示，在该领域，Xilinx拥有3500家客户，Xilin为他们提供优化的解决方案，包括IP、工具和FPGA器件。
“为更好地支持Smart Vision，Xilinx努力做好两方面的工作。一方面是SmartCore，基于Xilinx的IP、工具和器件；另一方面是软件层面，即系统管理、控制与通信、视频分析等工作。”张宁非常肯定地说：“相比ASICs和ASSPs，Xilinx的完全可编程解决方案要更加智能。”
手机平板上的Camera Tuning
图 NVIDIA高级客户工程师雷昊
雷昊的演讲生动而形象，内容涉及Camera调优的方方面面，包括成像系统的基本结构、手机平板成像系统的特征、如何评价一个成像系统以及Camera Tuning的基本流程。
“一个Camera从硬件上来说由光学部件（镜头）、机械部件、图像传感器、图像处理器和微控制器/应用处理器组成。”雷昊分析道：“而手机或平板上的Camera具有定焦（不可换镜头且镜头质量不高）、模组之间差异相对大、后焦距短、传感器小、单位像素面积小的特点。”为了让听众对手机或平板上的Camera有更深刻的了解，雷昊对单反相机和手机上常用的Medium Format、Full Frame、APS-H、APS-C、4/3、1‘’、1/1.63‘’、1/2.3‘’、1/3.2‘’等几种规格的Camera做了参数与性能的对比。
雷昊指出，图像的质量与镜头、传感器、ISP算法紧密相关。评价图像质量的基本客观参数有清晰度、纹理细节、噪声、动态范围、色彩还原和镜头畸变。他表示：“一个完整的Camera Tuning流程，由驱动开发、挑选典型模组、基于典型模组生成基准的ISP参数、客观标准测试、细调ISP参数使客观测试结果最优、实际场景测试主观效果和工厂校准多个环节组成。”最后，雷昊介绍了Camera Tuning的软件和工具，包括Imatest和DxO Analyzer两款Camera Tuning的常用软件以及24-patch ColorChecker、18% gray card、DxO Checkerboard、DxO Dots target和Kodak Q-13/14几款Camera Tuning涉及到的工具。
基于Linux的FFMPEG
图 某CDN公司流媒体研发总监刘岐
刘岐就基于Linux的FFMPEG进行了深入剖析，向听众描述了FFMPEG实现的转码系统、流媒体直播与点播以及流媒体应用场景。
刘岐从FFMPEG的起源谈起，所谓FFMPEG是一套由法国著名程序员Fabrice Bellard于2000年发起创建的开源项目，可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。应用该程序，工程师可进行编解码、容器封装解析、AVIO、音频原始数据转换（重采样）、视频原始数据转换（色彩空间转换）、音视频处理（AVFilter）及后期处理（PostProc）。
“互联网视频可简单的分为点播和直播，互联网多媒体点播应用到的协议有RTMP和HTTP（HLS、HTTP+FLV、HDS），互联网多媒体直播应用到的协议有HTTP。” 刘岐比较了这些协议的优缺点，并指出，FFMPEG均能对其提供良好的支持。
共同的兴趣爱好使得现场的互动交流愉快而热烈。至此，一场关于FPGA与图像处理的盛会圆满落下帷幕。下一站，《电子技术应用》将携手汽车电子行业资深人士，于上海举办电子技术应用?Tech-Workshop之“新能源汽车充电技术”，继续持力打造工程师的圈子生活！