高精度三维空间测量、定位与追踪（上）

本篇文章2947字，读完约7分钟

作者周坤，深圳市环创科技有限公司总裁，清华大学深圳研究生院硕士生导师，973级首席科学家，长江学者戴琼海教授。雷锋的特别文章。(公开号码:雷锋。com)。

本文分为上下两部分，重点介绍了基于计算机视觉的空测量定位技术，包括其应用领域和市场前景，常用方案的比较，并重点介绍了单目空定位的原理和难点，人工智能技术在位置跟踪中的应用等

1.行业需要高精度和低成本的三维空测量和定位。随着智能家居、工业4.0、计算机辅助医疗和vr/ar的蓬勃发展，越来越多的场景需要高精度、低成本的三维空测量和定位技术。

该技术主要有两种应用场景:第一种是高精度测量物体的尺寸、方向和姿态，特别适用于工业、医疗和商业领域的高精度应用；二是在方便、快速、准确的人机交互领域提供性价比高的人机交互技术，这在工业机器人控制和vr/ar中非常重要。

具体来说，常见的应用场景包括:

1)在工业领域，需要在生产线上测量零件的三维尺寸，以确定其几何尺寸和位置偏差是否合格；

图1:飞机风洞试验中的位置测量

2)在计算机辅助手术中，为了配合计算机辅助成像，帮助医生完成各种手术，需要精确测量和定位手术刀的三维空位置；

图2:计算机辅助外科手术中手术刀的测量和定位

3)在安全监控领域，需要精确测量运动物体，以提供准确的运动检测报警，这种报警不能被误报，更不能被忽略。

图3:安全摄像头的运动检测

4)在工业机器人的标准教学系统中，提供了一种方便快捷的人机交互模式来实现机器人的教学，从而形成了对现有编程教学模式的更有效的补充；

图4:传统工业机器人教学系统

5)在虚拟现实领域，内外向跟踪方案都需要对控制器进行实时定位和跟踪。这种定位和跟踪需要精确的定位、稳定的跟踪，并且无论控制器移动多快以及是否被阻挡都不会丢失。

图5:htc空定位系统

在上述领域中，对物体的三维空尺寸、方向和姿态的测量有非常强烈的需求，这是一种刚性需求。

目前，在工业领域，具有代表性的三维空测量和定位方案是加拿大ndi公司的光电跟踪系统。在该系统中，发光标记点应附着在被测物体上，应采用视觉方案定位在空之间，其测量和定位精度可达0.1毫米。但是，它适用于离线测量，而不适用于在线测量，因为需要在被测物体上粘贴标记点。在工业生产中的在线测量领域，测量的准确性和实时性非常重要，这就要求被测对象不能有任何标记，这样才能得到广泛的应用。

在智能安全领域，目前的芯片制造商已经提供了基于计算机视觉的最基本的运动检测方案。但是，这种方案只能检测图像的像素级亮度，而不能识别高层图像的语义，因此会造成很多误报，例如天空空的阳光被云遮挡，可能会造成误报。基于热电的检测方案也会由于外部加热物体(如汽车)的通过而导致误报警。因此，智能安全领域迫切需要的是如何采用更加稳定可靠的方案来检测运动目标。

在虚拟现实领域，宏达电、oculus和索尼都提供了一种基于激光、单目视觉和双目视觉的内外控器及其跟踪方案，微软的全息项目也提供了一种内外控器及其跟踪方案。尽管在当前方案中定位精度已经做得很好，但是成本一直很高。因此，如何在不降低甚至不增加现有定位精度的情况下提供一个低成本的定位方案是虚拟现实行业巨头们正在努力做的事情。

从以上应用场景可以看出，根据相应的应用场景，提供准确、经济、方便、高鲁棒性的合适解决方案必将赢得市场的青睐。请注意，“适合性”在这里非常重要，因为在没有应用场景和成本的情况下谈论性能和便利性是“不明智的”。因此，对于空之间的测量和定位技术，方案必须灵活，可以根据客户需求和应用场景进行调整，从而在垂直领域具有最强的竞争力。

2.常见的3-D 空测量和定位方案的优点和缺点常见的3-D 空测量和定位方案大致分为两类:激光和视觉，它们又细分为tof、结构光、双目和单目测量。其中，前三个已经在许多分析文章中介绍过，但很少介绍单目测量。本节将重点介绍单目测量的原理和性能。

1.tof测量tof测量实际上属于激光测量。其原理是测量激光发射后反射并射入接收器的物体的飞行时间，以计算三维空信息。典型的例子是kinect 2和iphone 8的后部深度传感器，将于今年下半年推出。由于光速太快，测量飞行时间极短，所以传感器的像素尺寸很大，这导致传感器分辨率不高，因此其测量精度不高，并且只能达到厘米级。

2.结构光和双目测量结构光和双目测量的原理实际上是相似的。它们是用三角测量法测量的。本质上，比较两种模式，并通过测量它们之间的差异来计算深度。不同之处在于，结构光对比度是投影图案和预设图案之间的差异，而双目对比度是左右相机拍摄的图像。结构光和双目测量的精度一般在厘米级。他们的大问题在于大量的计算，这是对消费者和移动设备的一种测试。此外，双目测量还存在测量精度与双目基线距离密切相关的问题。基线距离越近，测量精度越差，目标物体越远，测量精度越差。在国际双目测量设备中，如果双目基线距离为25毫米，深度误差为1米0.45厘米，3米4.05厘米，4米7.2厘米。结构光的代表性产品是kinect 1。国内外有很多双目视觉的代表，以色列也有代表公司。相对而言，双目视觉的进入阈值最低，算法相对简单易行，但精度和成本都不尽人意。

3.单目测量与上述测量方法相比，单目测量是最困难的。由于它不像激光那样是高精度的测量元件，同时采集的信息量也不像双目或结构光那样多，因此有必要采用一些不同的方法来实现三维空定位。一般来说，有两种方法可以实现单目定位。一种是结合imu传感器的多帧定位方法，使摄像机在运动过程中能够连续采集多帧信息，通过比较imu信息和多帧图像来计算摄像机自身的运动参数和估计物体位置。普通的单眼slam算法可以做到这一点。其次，进行单帧测量，基于pnp原理进行定位测量。单帧测量不需要imu作为辅助传感器，而是利用pnp原理进行测量和定位。这需要事先知道被测物体的几何模型。几何模型越精确，定位精度就越高。在测量过程中，首先需要提取被测物体上至少四个非共面的感兴趣点，然后根据这些点之间的几何模型约束，唯一地求解物体在空之间的位置、姿态和几何尺寸。

图6:基于单帧的单目空测量和定位

与以往的测量方法相比，基于单帧的单目测量需要预先知道被测物体的几何模型，因此在计算过程中可以引入约束条件进行验证，从而可以非常精确地测量物体在空之间的位置和姿态。例如，oculus定位系统的定位精度可达2-3毫米，比索尼psvr双目相机高一个数量级。下面是一个模拟实验，比较了单目和双目定位的精度:

图7:单目和双目定位精度的对比模拟

然而，由于这一优点，其使用存在一定的局限性，需要提前估计或掌握被测物体的几何模型。但这在许多场景中不是问题。例如，在工业领域，被测对象是预先已知的。即使在家庭环境中，如果被测物体是一个已知的粗糙模型，它们也可以用来估计位置和姿态，但精度不是很高。然而，单目视觉有许多优点，包括相对较小的计算和较大的视场，不像双目视觉那样有盲点。

图8:单目和双目视野的比较

本文是关于高精度三维空测量。接下来，我们将重点讨论单目空测量和定位中需要解决的问题，以及人工智能技术在位置跟踪中的应用。

雷锋的特别贡献。严禁擅自转载。详情请参考转载说明。