多篇论文和专利，Magic Leap这家“飘在空中”的神秘的公司终于要落地了？

本篇文章1803字，读完约5分钟

mr初创公司Magic leap仅通过酷炫的宣传视频获得了14亿美元的融资，但它尚未宣布一款体验头盔产品。

《信息与边缘》等许多外国媒体报道指出，magic leap的宣传视频涉嫌误导公众，而该公司的技术实际上远没有描述的那么“先进”。尽管他们展示了可以每天佩戴的mr眼镜，但实际上他们在将ar技术集成到小型化设备中时遇到了瓶颈。

众所周知，增强现实的关键在于对环境的感知，所有ar公司都必须首先解决这个基本问题。最近，雷锋。com发现，神奇的飞跃“漂浮在云里”，像其他人一样解决基本问题。

Roomnet房间布局估算8月7日的最新论文题为“roomnet:端到端房间布局估算”，它是人工智能用来估算房间大小和形状的工具，被称为Roomnet。本文的结论表明，本文对室内导航、场景重建和增强现实具有重要意义。

在论文的摘要中，我们可以看到:“论文的重点是从单目rgb图像估计房间布局。先前的工作将这个问题分成两个子任务:对地板、墙壁和天花板进行语义分割，以生成布局假设，随后是对这些假设进行排序的迭代优化步骤。相反，我们用一种更直接的方式来描述这个问题，作为一个有序集合来估计房间布局的关键点。给定这些有序的关键点的位置，房间布局和相应的划分是完全清楚的。我们使用roomnet(端到端可编程编码器-解码器网络)来预测房间布局的关键点。在具有挑战性的基准数据集hedau和lsun上，与最近的工作相比，我们实现了最先进的性能和200-600倍的加速。此外，我们还提供了roomnet体系结构的可选扩展，包括循环计算和存储单元，以在相同的参数容量下优化关键点。”

他们的研究重点是从任何相机都能提供的常规图像中找到房间布局。阐述了用摄像机识别房间布局的关键点，然后用深层神经网络识别这些关键点。他们提供了十种不同的方法。

此前，雷锋。(公开号码:雷锋。据报道，他们展示了一个在房间里玩鬼故事的游戏。在这个游戏中，你会放弃传统的游戏控制器，先玩你手里的木块。第一个任务是学习如何使用这些木块和工具来完成mr世界中的交互。完成这一步后，奇怪的声音会在你家里响起，而且会变得越来越大。你要做的是找到声音的来源。对空间和环境的认识有助于这种mr游戏的实现。

走向几何深度slam两周前，他们还发表了一篇题为“走向几何深度slam(点击下载)”的论文。在这篇论文中，我们看到了一种创新的机器视觉技术，它可以带领公司创造一个强大的ar头盔。

本文描述了一个由两个卷积神经网络驱动的点跟踪系统，一个称为magicpoint，另一个称为magic wrap。这两个系统速度快、简洁，可以在单个cpu上以30+fps的速度轻松运行。

简而言之:根据这个文件，magicpoint对单个图像进行操作，并创建具有跟踪目的的重要2d点，这些点将被反馈给slam视觉算法。该团队将他们的网络与经典的点检测器进行了比较，发现“当存在图像噪声时，存在显著的性能差距。”由于噪声会破坏探测器的性能，因此对于传统的探测器来说，散斑噪声尤其难以处理。

因为计算移动物体的形状并不是一件容易的事情——不管物体移动还是观察者移动——magic warp的工作是使用magicpoint生成的一对2d点图像来基本上预测运动。Magicwarp slam算法的执行方式与传统方法不同，因为它只使用点的位置，而不是更复杂的“局部描述符”，这是一个计算机视觉术语，专门用来描述包含编码和唯一识别信息的事物。

使用物理和合成数据进行测试，据说两个卷积神经网络可以实时运行。作者总结道:“我们相信，大规模部署slam系统驱动的深度学习并不遥远。”

Magic leap昨天通过了一项专利申请，“一种能够将透视图像路径与虚拟图像路径相结合的紧凑型光学透视头戴式显示器”，主要关注虚拟物体实际上能够阻挡真实物体。

尽管我们不知道magic leap是否会像其首席执行官rony abovitz所说的那样拥有一个“小巧、可移动、强大且酷”的头盔，但我们会尽最大努力从它们身上看到任何有用的结果。从这两篇论文和一项专利来看，雷锋。发现magic leap在环境识别和slam方面有自己的成就。如果他们能够实现他们的愿景:“将数字内容直接呈现在您的身边，并且这些内容能够与用户和现实世界持续互动”，为什么还要等三年？

雷锋原创文章。严禁擅自转载。详情请参考转载说明。