支持遥感图像了,Jittor开源物体检测算法库JDet

8月4日,清华大学计图(Jittor)团队发布了遥感图像物体检测算法库JDet,支持S2ANet,Gliding,RetinaNet,Faster R-CNN等主流的遥感图像物体检测模型。希望借助Jittor的性能优势和能较好地支持国产操作系统和芯片的特点,为我国的遥感领域的进步做贡献。

Part1

遥感图像物体检测的背景和意义

遥感图像处理关注目标检测、语义分割和实例分割等不同视觉任务在遥感图像中的应用,在灾害防控、城市规划、环境监测和国土安全等领域有着重要作用(示例见图1)。然而,遥感图像具有物体尺度差异较大、物体分布较密集、图像分辨率高、旋转变化大等特点,因此针对自然图像的通用算法和模型效果往往不佳,需要专用的遥感算法和模型。

图1 遥感图像物体检测示例

遥感图像物体检测任务旨在从遥感图像中检测出所关注物体的旋转包围盒(Oriented Bounding Box, OBB),并得到所检测出物体的类别。目前学术界已有很多优秀的遥感物体检测算法,并且部分已经开源,但是这些开源代码在运行接口、构建方式、运行所需的软、硬件环境等方面不统一,使得用户在测试和修改模型时的环境配置成本和学习成本较大,降低了研究和开发的效率。

Part2

遥感检测库JDet

Jittor团队基于Jittor深度学习框架开发了遥感图像物体检测算法库JDet,对现主流遥感图像物体检测算法进行整理重构,统一接口,提升易用性,并且借助Jittor深度学习平台的优势,使其更高效、稳定运行。

目前JDet已经支持4个模型,正在支持6个模型,共计划支持15个以上主流及基础模型。目前,JDet支持光学遥感影像的处理,后续JDet也将支持SAR图像的处理!

性能提升

我们对其中精度最高的S2ANet与Pytorch实现的版本在NVIDIA3090上进行了对比,其性能相较pytorch有较大提升,可以显著缩短模型训练所需要的时间。

表1 JDet和mmdet(PyTorch)的性能对比

接口统一
JDet还支持了COCO、DOTA和FAIR等目标检测数据集,集成了这些数据集的相关辅助工具,包括数据预处理、后处理等,方便用户使用。此外,JDet还集成了不同的数据增强策略,和数据均衡化等一些目标检测领域常用的优化技巧。

易用性提升

由于Jittor动态编译的特性及code算子对python内联C++及CUDA的支持,JDet在不同环境下无需对任何算子进行手动编译,即可轻松运行不同模型,免去了用户对不同模型分别配置环境的负担,同时方便用户对不同方法进行更公平的比较。此外,JDet的设计易于拓展,用户可以基于JDet已有的模型和功能方便地开展进一步的研究和开发。

未来,JDet将继续完善模型库,并支持更多的目标检测数据集,还将提供FPS、FLOPS、参数量自动测试等功能。

Part3

实践案例

下面,我们将简要介绍如何使用JDet训练一个基础模型。

首先,下载数据集到原始数据集目录。

通过脚本preprocess.py对原始数据进行预处理,得到处理后的数据集。然后即可对模型进行训练,训练后JDet将会自动对模型在测试集上进行测试、后处理和打包。整个过程只需要运行两个脚本即可完成数据集预处理、模型训练、模型测试、结果后处理和打包等过程,尽可能地降低了用户的使用成本。

图2 JDet遥感物体检测算法输出结果示例

JDet全部代码已开源在:https://github.com/Jittor/JDet

欢迎大家使用Jittor的遥感目标检测库JDet开展研究工作。

(0)

相关推荐

  • 机器学习在遥感影像分类中的应用

    随着遥感仪器性能的不断发展,我们所能获取的遥感图像数量激增,且光谱特征维数不断增加,有必要利用机器学习对图像进行自动处理. 本文概述了机器学习的主要方法及其在遥感影像的主要应用方向,并通过应用实例说明 ...

  • 《HALCON机器视觉与算法原理编程实践》第14章 机器视觉中的深度学习

    文章目录 14.1 深度学习的基本概念 14.1.1 Halcon中深度学习的应用 14.1.2 系统需求 14.1.3 搭建深度学习环境 14.1.4 Halcon的通用深度学习流程 14.1.5 ...

  • 使用 YOLO 进行目标检测

    重磅干货,第一时间送达 自从世界了解人工智能以来,有一个特别的用例已经被讨论了很多.它们是自动驾驶汽车.我们经常在科幻电影中听到.读到甚至看到这些.有人说,我们将在2010年拥有自动驾驶汽车,有人说到 ...

  • 当遥感图像检测机智起来:全场景AI与遥感的顶峰邂逅

    就在昨天,由国家自然科学基金委信息科学部."空间信息网络基础理论与关键技术"重大研究计划指导专家组主办的遥感图像稀疏表征与智能分析竞赛,也刚刚落幕.这已经是国家自然科学基金委筹办的 ...

  • 【目标检测算法解读】yolo系列算法一

    前言 大家好,这是目标检测算法解读系列的第一篇文章,在这个系列中小糖豆会对经典的目标检测算法进行解读,在每个算法原理讲解完后,会有相应的源代码解析.小糖豆认为学习一个算法,既要弄清楚它的原理,又要真正 ...

  • 遥感图像中的小物体检测(内有新数据集)

    干货第一时间送达 文章:Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Ob ...

  • 目前最强开源人脸检测算法RetinaFace

    人脸检测为目标检测的特例,是商业化最早的目标检测算法,也是目前几乎各大CV方向AI公司的必争之地. WIDER FACE数据集是由香港中文大学发布的大型人脸数据集,含32,203幅图像和393,703 ...

  • 开源目标检测算法用于交通标志检测全方位评估

    交通标志检测在自动驾驶.汽车主动安全中应用非常重要,通用的目标检测算法可以通过微调网络的方式直接用于交通标志检测.如何在不同的硬件平台和应用环境中选择算法?今天介绍的刚刚被<Neurocompu ...

  • 物体检测算法汇总 | 通用物体检测、人脸检测、行人检测算法

    计算机视觉领域一定要做物体检测! 从研究角度来看,物体检测是计算机视觉的根本问题之一,是很多高层视觉任务(如:图像分类.人脸识别.行人再辨识和目标跟踪)的基础.并且,现在国内外很多研究团队在对物体检测 ...

  • CVPR2019| 9篇CVPR论文开源代码(行人检测/物体检测/3D Face等)

    前段时间,计算机视觉顶会CVPR 2019 公布了接收结果,极市也对此做了相关报道:1300篇!CVPR2019接收结果公布,你中了吗?.目前官方已公布了接收论文列表,极市已汇总目前公开的所有论文链接 ...

  • 计算机视觉物体检测中面对的挑战

    导读 给出了目前目标检测中的一些问题和挑战. 几年前,在图像中寻找并分类单个物体是一项极其困难的任务.今天,在计算机视觉的帮助下,数字设备可以简单快速地识别图像的内容,这为不同领域的视觉数据理解和分析 ...

  • 雷达科普|自动驾驶毫米波雷达物体检测技术-算法

    导读: 本文的代码均在MATLAB上运行, MATLAB在传统辅助驾驶系统的验证和模拟上相对于其他编程语言具有很强的优势. Range and velocity estimation 在这篇文章中, ...

  • 空天院对外发布全球规模最大的遥感图像细粒度目标识别数据集

    来源:中央广电总台国际在线 编辑:王鲁平 国际在线报道(记者 林维):近期,中国科学院空天信息创新研究院(以下简称"空天院")付琨研究员团队和国际摄影测量与遥感协会(ISPRS)合 ...