基于OpenCV的位姿估计

重磅干货,第一时间送达

今天我们的目标是找出我们相对于球场上的位置,从而了解我们在比赛中的全局位置。

01.什么是单应性

单应性是一种平面关系,可将点从一个平面转换为另一个平面。它是一个3乘3的矩阵,转换3维矢量表示平面上的2D点。这些向量称为同质坐标,下面将进行讨论。下图说明了这种关系。这四个点在红色平面和图像平面之间相对应。单应性存储相机的位置和方向,这可以通过分解单应性矩阵来检索。

针孔相机

针孔相机数学模型

针孔相机模型是相机的数学表示。它接受3D点并将其投影到像上图所示的图像平面上。该模型的重要方面是焦点,像平面(上图中的灰度平面),主点(上图中的像面上的粗体点),焦距(像平面与像之间的距离)焦点)和光轴(垂直于穿过焦点的像平面的线)。可以在投影矩阵中编码该变换,该投影矩阵将表示3D点的4维均匀向量转换为表示图像平面上2d点的3维均匀向量。

齐次坐标是表示计算机视觉中的点的投影坐标。由于拍摄照片时会从3D转换为2D,因此深度范围会丢失。因此,可以将无限数量的3D点投影到相同的2D点,这使得同质坐标在描述可能性射线时非常通用,因为它们的比例相似。齐次坐标仅取直角坐标,并将维数增大到末端。

用齐次坐标表示的笛卡尔坐标,在比例上也相等。

请注意,三角形可能会越来越远且更大,但仍然可以产生相同的图像给定同质坐标,将所有元素除以矢量的最后一个元素(比例因子),然后笛卡尔坐标是一个矢量,该矢量由除最后一个元素之外的所有元素组成。

02.投影矩阵

投影矩阵是与相机属性相关的其他两个矩阵的乘积。它们是外部和内部相机矩阵。这些矩阵分别存储摄像机的外部参数和固有参数(因此命名)。

投影矩阵(3 x 4矩阵)

外参矩阵

外在矩阵存储摄像机在全局空间中的位置。该信息存储在旋转矩阵以及平移矢量中。旋转矩阵存储相机的3D方向,而平移矢量将其位置存储在3D空间中。

旋转矩阵

然后将旋转矩阵和平移向量连接起来以创建外部矩阵。从功能上讲,外部矩阵将3D同类坐标从全局坐标系转换为相机坐标系。因此,所有变换后的矢量将相对于焦点在空间中表示相同的位置。

内参矩阵

本征矩阵存储相机的本征,例如焦距和主点。焦距(f 1和f 6)是从焦点到像面的距离,可以用像素宽度或像素高度(因此为何有2个焦距)来度量。每个像素都不是一个完美的正方形,因此每个边都有不同的边长。主点(cₓ和cᵧ)是光轴和像平面(像平面的功能中心)的交点。该矩阵将相对于焦点的3D坐标转换到图像平面上;将其视为拍摄照片的矩阵。当与外部矩阵组合时,将创建针孔相机模型。

针孔相机数学模型

现在,单应性是针孔相机模型的特殊情况,其中投影到相机上的所有现实世界坐标都位于z坐标为0的平面上。

H是单应性矩阵,是3 x 3矩阵,可将点从一个平面转换为另一个平面。在这里,变换是在Z = 0的平面和指向该点的图像平面之间进行的投影。单应性矩阵通常通过4点算法求解。本质上,它使用来自2个平面的4个点对应来求解单应矩阵。在OpenCV中,我们可以使用cv2.findHomography方法找到单应矩阵:

cv2.findHomography(<points from plane 1>, <points from plane 2>)

此方法需要某种形式的特征点跟踪,以便上面方法的结果。坐标测量的质量将有助于上述方法的准确性。一旦有了单应性矩阵,就可以将其分解为摄像机的平移和旋转。单应矩阵的分解如下所示:

我们可以通过将解决方案矩阵的前两列用作旋转矩阵中的前两列,然后使用叉积来找到旋转矩阵的最后一列,从而得出旋转矩阵。翻译是解决方案矩阵的最后一列。

03.分解代码

'''H is the homography matrixK is the camera calibration matrixT is translationR is rotation'''H = H.Th1 = H[0]h2 = H[1]h3 = H[2]K_inv = np.linalg.inv(K)L = 1 / np.linalg.norm(np.dot(K_inv, h1))r1 = L * np.dot(K_inv, h1)r2 = L * np.dot(K_inv, h2)r3 = np.cross(r1, r2)T = L * (K_inv @ h3.reshape(3, 1))R = np.array([[r1], [r2], [r3]])R = np.reshape(R, (3, 3))

代码链接:https://github.com/RaubCamaioni/OpenCV_Position

04,优势

使用Homography比其他算法简单得多,因为它非常简单直观。利用基本或基本矩阵的其他方法需要复杂的算法和更多的实现精力。由于所有视觉本地化方法都在做相同的事情,因此最好在可能的情况下使用Homography,以节省时间和精力。

交流群

(0)

相关推荐

  • Python-EEG工具库MNE中文教程(10)-信号空间投影SSP数学原理

    更多技术,第一时间送达 projector(投影)和投影背景 projector(投影)(简称proj),也称为信号空间投影(SSP),定义了应用于空间上的EEG或MEG数据的线性操作. 可以将该操作 ...

  • 立体视觉入门指南-坐标系与相机参数

    干货第一时间送达 亲爱的同学们,我们的世界是3D世界,我们的双眼能够观测三维信息,帮助我们感知距离,导航避障,从而翱翔于天地之间.而当今世界是智能化的世界,我们的科学家们探索各种机器智能技术,让机器能 ...

  • 机器学习数学基础:从奇异值分解 SVD 看 PCA 的主成分

    今天我们来看一个在数据分析和机器学习领域中常用的降维方法,即主成分分析(PCA).它是探索性数据分析(EDA)和机器学习算法对数据的基本处理方法. 1引言 首先,我们来看一下机器学习中数据的表示形式. ...

  • (2条消息) 基于OpenCV使用OpenPose进行多个人体姿态估计

    目录 1.网络的体系结构 2.下载模型的权重文件 3. 第一步:生成图片对应的输出 3.1 读取神经网络 3.2 读取图像并生成输入blob 3.3 向前通过网络 3.4 样本输出 4. 第二步:关键 ...

  • 基于改进的点对特征的6D位姿估计

    作者:仲夏夜之星 「3D视觉工坊」技术交流群已经成立,目前大约有12000人,方向主要涉及3D视觉.CV&深度学习.SLAM.三维重建.点云后处理.自动驾驶.CV入门.三维测量.VR/AR.3 ...

  • 基于OpenCV实战:车牌检测

    重磅干货,第一时间送达 拥有思维导图或流程将引导我们朝着探索和寻找实现目标的正确道路的方向发展.如果要给我一张图片,我们如何找到车牌并提取文字? 一般思维步骤: 识别输入数据是图像. 扫描图像以查看由 ...

  • 基于OpenCV实战的图像处理:色度分割

    重磅干货,第一时间送达 通过HSV色阶使用彩色图像可以分割来分割图像中的对象,但这并不是分割图像的唯一方法.为什么大多数人偏爱色度而不是RGB / HSV分割? 可以获得RGB / HSV通道之间的比 ...

  • 基于自监督深度估计的领域自适应语义分割

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 使用Python OpenCV实现姿态估计

    什么是OpenCV? 计算机视觉是一个能够理解图像和视频如何存储和操作的过程,它还有助于从图像或视频中检索数据.计算机视觉是人工智能的一部分. 计算机视觉在自动驾驶汽车,物体检测,机器人技术,物体跟踪 ...

  • 基于OpenCV的实战:轮廓检测(附代码解析)

    重磅干货,第一时间送达 利用轮廓检测物体可以看到物体的各种颜色,在这种情况下放置在静态和动态物体上.如果是统计图像,则需要将图像加载到程序中,然后使用OpenCV库,以便跟踪对象. 每当在框架中检测到 ...

  • 基于OpenCV实战:绘制图像轮廓(附代码)

    重磅干货,第一时间送达 山区和地形图中海拔高的区域划出的线称为地形轮廓,它们提供了地形的高程图.这些线条可以手动绘制,也可以由计算机生成.在本文中,我们将看到如何使用OpenCV在简单图像上绘制轮廓线 ...

  • 基于OpenCV实战:动态物体检测

    重磅干货,第一时间送达 最近,闭路电视安全系统运行着多种算法来确保安全,例如面部识别,物体检测,盗窃检测,火灾警报等.我们在运动检测的基础上实现了许多算法,因为在空闲帧上运行所有这些进程没有任何意义. ...