数据是怎么变成图像的？解读 Uber 自动驾驶可视化平台

本篇文章1984字，读完约5分钟

雷锋。(公开号码:雷锋。出版社:本文作者是陈小奇，是雷锋的辛志佳编辑的优步数据可视化团队的软件工程师。

优步的高级技术团队正在努力塑造自动驾驶的未来。今年早些时候，数字可视化团队(使用可视化技术来探索、检查、解释和调试数据)与atg携手提升自动驾驶汽车解释和理解世界的能力。

这一次，两个团队共同搭建了一个新的平台。凭借基于web的最新可视化技术，atg工程师和操作员可以快速完成离线和在线测试数据的检查、调试和探索。对于使用这种技术的用户来说，快速理解问题、完成产品迭代和提高生产率是非常重要的。同时，更简单的视觉语言和用户体验设计是向工程师和操作员传达细节和技术信息的必要工具。

本文详细阐述了数字可视化团队构建该平台的方法，并详细描述了在将复杂多样的数据集与可重用的高性能web组件相结合的过程中遇到的挑战。

为什么选择网络？业界有许多关于选择网络来构建自动驾驶可视化平台的有趣讨论。优步选择网络的原因如下:

1.快速循环迭代。在网络的帮助下，开发和部署新功能将变得非常快速和简单。如果用户想要最新的产品，他们只需要刷新他们的浏览器页面，这比下载和安装新应用要快得多。

2.灵活性和共享。由于网络与硬件无关，只要有操作系统，任何人都可以在任何平台上工作。事实上，这里的浏览器就是操作系统。将操作系统放到网上不仅可以打破不同操作系统之间的界限，还可以使世界上的任何地方成为atg的总部。因为只需要一个网址链接，工程师和操作员就可以报告和诊断事故。

3.协作和定制。作为一项快速发展的技术，自动车辆一直在生成新的数据集、指标和用例。同时，每个atg团队对可视化和数据生成都有特殊的需求，所以他们必须定制自己的团队体验。Html5和javascript是创建定制用户界面的成熟可靠的工具，它们可以很容易地集成到其他基础设施和任务管理系统中。

合并不同的数据源为了理解自主车辆做出的决策，我们必须基于大量数据重建上下文。这些数据包括驾驶时记录的预处理地图和车辆日志。

地图可以揭示城市道路的联系和限制。优步使用自己的专有网络地图，其中包含丰富的详细信息。例如，这组地图包括路面、车道边界和类型、转弯、限速和人行道等的高清晰度扫描。

地图团队利用这个平台查看特殊交叉口的3d地图细节

车辆日志记录了车辆的所作所为、所见和所想。在传感器数据的帮助下，该算法完成了自动驾驶的三个关键阶段:感知(测量)、预测(预测)和行动计划(行动)。为了在路上平稳行驶，车辆必须通过传感器感知周围物体的每一次移动。得到这些信息后，它就可以预测周围物体的运动趋势。最后，车辆将根据手头的信息计划下一步行动。

操作员使用该平台检查自动驾驶汽车的感知和预测数据

在与工程师结合之后，我们实验性地建立了一个可视化的隐喻系统来展示复杂的数据。该系统可以提供周围环境的真实表示，包括一系列锚点，如车辆、地面图像、标记和路标，这些可以帮助工程师和操作员确定周围环境。

为了帮助工程师快速了解未来的备选决策或时间片，系统还可以通过颜色和几何编码抽象地显示算法生成的信息，如对象分类、预测、规划和预测。

影响这些数据源聚合的最大挑战是处理不同的地理空坐标。不同的服务使用不同的坐标系来提供模型，一些依赖于纬度和经度，一些使用通用横轴墨卡托坐标系(utm)，一些与它们的实际位置相关，而另一些与车辆的位置和方向相关。此外，所有坐标信息将快速更新。为了更有效地转换这些坐标并输出准确的数据，我们赋予了图形处理器沉重的责任。

使用webgl完成高性能3d场景渲染

优步的可视化团队为基于网络的大规模数据可视化任务维护了一套完整的框架，包括反应-地图-gl和甲板-GL。这些框架利用gpu的能力在浏览器上以高帧率显示数百万个几何图形。如果Gpu能够像地图一样将可视化精度从一个块降低到一个像素，那么它就是理想的选择。

Deck.gl可以渲染geojson、点云和可视化网格等。

最终，性能将是决定性因素。Atg工程师和车辆操作人员需要实时了解车辆日志，平稳地操作摄像机和场景中的选定对象，然后高级deck.gl可视化框架将正式投入使用。

deck.gl的最新版本的性能已经在许多方面得到了优化，研究人员也根据atg的使用情况升级了它的图形特性。deck.gl上下文的每一层都可以将数据源显示为预置。网格(地面和车辆)、道路(车道和轨道)、多边形(道路上的其他对象)和点云都很重要。

在日志回放期间，用户可以在不同的相机模式之间切换

工程师使用该平台来比较两个软件的模拟结果

此外，每个图层可以指定自己的坐标系，并共享相同的相机视角。一个典型的代码片段可以以每秒30-50帧的速度渲染60-100层。

雷锋。com推荐阅读:

揭开世界上最先进的自动驾驶公司发展的秘密

雷锋原创文章。严禁擅自转载。详情请参考转载说明。