多篇論文和專利，Magic Leap這家神秘公司終于要落地了？

Magic Leap，這家僅憑炫酷的宣傳視頻就獲得14億美元融資的MR創(chuàng)業(yè)公司，依然還沒有公布一款可以體驗的頭盔產品。

The Information、The Verge 等多家國外媒體報道指出，Magic Leap 的宣傳視頻存在誤導大眾的嫌疑，該公司的技術實際上遠遠沒有形容的那么“先進”。他們雖然展示了可以日常佩戴的MR眼鏡，但事實上卻在將AR 技術融合到小型化設備上遭遇瓶頸。

我們都知道，增強現(xiàn)實的關鍵在于對環(huán)境的感知，所有的AR公司都得先解決這一基本問題。近來雷鋒網發(fā)現(xiàn)從他們發(fā)表的多篇論文來看，“飄在云端”的Magic Leap也和大家一樣在踏踏實實解決基本問題。

RoomNet房間布局估計

8月7日最新一篇論文名為：“RoomNet: End-to-End Room Layout Estimation（點擊下載）”該論文致力于用AI的方法來估算房間的大小和形狀，名為RoomNet。論文總結表示該論文對于室內導航，場景重建和增強現(xiàn)實十分重要。

在論文摘要部分我們看到：“論文聚焦于從單眼RGB圖像估計房間布局，先前的工作將這個問題分成兩個子任務：地板、墻壁、天花板的語義分割以產生布局假設，接著是迭代優(yōu)化步驟來對這些假設進行排序。相比之下，我們采用更直接的方式來描述這個問題，作為估計房間布局關鍵點的有序集合之一。給定了這些有序關鍵點的位置，房間布局和相應的分割就完全清晰了。我們使用RoomNet（端到端可編程編碼器 - 解碼器網絡）預測房間布局關鍵點的位置。在具有挑戰(zhàn)性的基準數(shù)據(jù)集Hedau和LSUN上，與最近的工作相比，我們實現(xiàn)了最先進的性能以及200倍至600倍的加速。此外，我們提供了RoomNet架構的可選擴展，包括循環(huán)計算和內存單元，以在相同的參數(shù)容量下細化關鍵點位置。“

他們的研究注重從任何相機都能提供的常規(guī)圖像中尋找房間布局。論文解釋了利用相機識別房間布局的關鍵點，然后再用深度神經網絡來識別這些關鍵點，他們提供了十種不同的辦法。

在此前，雷鋒網曾報道過他們曾展示了一個在房間里玩MR鬼故事的游戲，在這款游戲中，你會丟棄傳統(tǒng)的游戲手柄，首先玩起手中的木塊，第一階段的任務就是學會如何使用這些木塊并在 MR 世界中用這些工具完成交互。完成這步后，你的家里就會響起奇怪的聲音，它們會越變越大，你要做的就是去找尋聲音的源頭。對于房間和環(huán)境的識別有助于這類MR游戲的實現(xiàn)。

邁向幾何型深度SLAM

在兩周前，他們還發(fā)布了一篇名為“邁向幾何型深度SLAM（點擊下載）”的論文，在這篇論文中我們窺見了一種創(chuàng)新的機器視覺技術，可以帶領公司向創(chuàng)造一個強大的AR頭盔邁進。

這篇論文描述了一個由兩個卷積神經網絡（CNNs）驅動的點追蹤系統(tǒng)，一個被稱為MagicPoint，另一個被稱為Magic Wrap。兩個系統(tǒng)是快速簡潔的，可以很輕松地在單一CPU上以30+FPS的狀態(tài)運行。

簡單來說：根據(jù)該文件，MagicPoint對單個圖像進行操作，并創(chuàng)建重要的具有跟蹤目的的2D點，這些點將被反饋到即時定位和地圖構建（SLAM）視覺算法。將他們的網絡與經典點檢測器進行比較，團隊發(fā)現(xiàn)“在有圖像噪聲時存在顯著性能差距”。因為探測器性能會被噪點破壞，對傳統(tǒng)探測器來說，斑點噪點尤其難以處理。

因為計算移動的物體的形狀并不是一件容易的事情——不管是物體移動還是觀察者移動 - MagicWarp的工作就是使用一對由MagicPoint生成的2D點的圖像來實質地預測運動。MagicWarp SLAM算法以與傳統(tǒng)方式不同的方式進行，因為它僅使用點的位置，而不是更復雜的“本地點描述符”，這是專用于描述包含編碼、獨特標識信息的事物的計算機視覺術語。

使用物理和合成數(shù)據(jù)進行測試，據(jù)說兩個卷積神經網絡能夠實時運行。作者總結說：“我們認為大規(guī)模部署以SLAM系統(tǒng)驅動的深度學習Deep-Learning的日子并不遙遠。

Magic Leap昨天通過了一項專利申請，“a compact optical see-through head-mounted display capable of combining, a see-through image path with a virtual image path（一種能夠結合透視圖像路徑與虛擬圖像路徑的緊湊光學透視式頭顯）”，其主要是關于虛擬對象能實際地遮擋真實對象。

小結

雖然我們并不清楚Magic Leap是否會有一個如其CEO Rony Abovitz所稱的“小巧，移動，強大而且很酷”的頭盔，我們都盡力從他們那里去看到任何有用的成果。從這兩篇論文和一項專利開看，雷鋒網(公眾號：雷鋒網)發(fā)現(xiàn)Magic Leap在環(huán)境識別、SLAM上都有了自己的成果，他們若是能實現(xiàn)自己的愿景：“直接將數(shù)字內容呈現(xiàn)在你身邊，這些內容不斷可以與用戶進行交互，還能與現(xiàn)實世界互動”，再等三年又何妨。

Magic Leap，這家僅憑炫酷的宣傳視頻就獲得14億美元融資的MR創(chuàng)業(yè)公司，依然還沒有公布一款可以體驗的頭盔產品。

The Information、The Verge 等多家國外媒體報道指出，Magic Leap 的宣傳視頻存在誤導大眾的嫌疑，該公司的技術實際上遠遠沒有形容的那么“先進”。他們雖然展示了可以日常佩戴的MR眼鏡，但事實上卻在將AR 技術融合到小型化設備上遭遇瓶頸。

我們都知道，增強現(xiàn)實的關鍵在于對環(huán)境的感知，所有的AR公司都得先解決這一基本問題。近來雷鋒網發(fā)現(xiàn)從他們發(fā)表的多篇論文來看，“飄在云端”的Magic Leap也和大家一樣在踏踏實實解決基本問題。

RoomNet房間布局估計

8月7日最新一篇論文名為：“RoomNet: End-to-End Room Layout Estimation（點擊下載）”該論文致力于用AI的方法來估算房間的大小和形狀，名為RoomNet。論文總結表示該論文對于室內導航，場景重建和增強現(xiàn)實十分重要。

在論文摘要部分我們看到：“論文聚焦于從單眼RGB圖像估計房間布局，先前的工作將這個問題分成兩個子任務：地板、墻壁、天花板的語義分割以產生布局假設，接著是迭代優(yōu)化步驟來對這些假設進行排序。相比之下，我們采用更直接的方式來描述這個問題，作為估計房間布局關鍵點的有序集合之一。給定了這些有序關鍵點的位置，房間布局和相應的分割就完全清晰了。我們使用RoomNet（端到端可編程編碼器 - 解碼器網絡）預測房間布局關鍵點的位置。在具有挑戰(zhàn)性的基準數(shù)據(jù)集Hedau和LSUN上，與最近的工作相比，我們實現(xiàn)了最先進的性能以及200倍至600倍的加速。此外，我們提供了RoomNet架構的可選擴展，包括循環(huán)計算和內存單元，以在相同的參數(shù)容量下細化關鍵點位置。“

他們的研究注重從任何相機都能提供的常規(guī)圖像中尋找房間布局。論文解釋了利用相機識別房間布局的關鍵點，然后再用深度神經網絡來識別這些關鍵點，他們提供了十種不同的辦法。

在此前，雷鋒網曾報道過他們曾展示了一個在房間里玩MR鬼故事的游戲，在這款游戲中，你會丟棄傳統(tǒng)的游戲手柄，首先玩起手中的木塊，第一階段的任務就是學會如何使用這些木塊并在 MR 世界中用這些工具完成交互。完成這步后，你的家里就會響起奇怪的聲音，它們會越變越大，你要做的就是去找尋聲音的源頭。對于房間和環(huán)境的識別有助于這類MR游戲的實現(xiàn)。

邁向幾何型深度SLAM

在兩周前，他們還發(fā)布了一篇名為“邁向幾何型深度SLAM（點擊下載）”的論文，在這篇論文中我們窺見了一種創(chuàng)新的機器視覺技術，可以帶領公司向創(chuàng)造一個強大的AR頭盔邁進。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。