來源：映維網 作者 黃顏
早前索尼為位于日本東京的銀座索尼公園帶來了一款基于《捉鬼敢死隊》的線下AR體驗，并在同一天發布了一段1分鐘宣傳視頻。日前，AR硬件/軟件企業Rave的首席科學家卡爾·古塔格（Karl Guttag）撰文分析了索尼的AR頭顯設備，下面是映維網的具體整理：
上周各大論壇都在好奇索尼在其AR頭顯中采用了何種技術。我（Karl Guttag）未能從海報或視頻中發現足夠的線索。我的突破來自于阿德里安·斯坦納德（Adrian Stannard），他表示自己曾在SID 2019大會看過這款設備。阿德里安曾擔任AR頭顯廠商Daqri的研發總監和首席光學工程師。
需要注意的是，為了盡快發布本文，我沒有將其交給經常幫助我審閱校對的羅恩·帕德贊斯基（Ron Padzensky）。如有錯漏，我提前道歉。
1. 識別技術
阿德里安只是在演示結束后只看了一眼索尼頭顯，并認為它看起來像是Lumus光學引擎，因為他看到了部分反射鏡/半透半反射鏡的條紋。從圖片來看，它看起來確實與Lumus的OE Vision 1080p光學引擎十分相像，請參考AWE 2019的Lenovo原型。
盡管看起來十分接近，但根據我手上的較低分辨率圖像，索尼光學元件的邊緣要比Lumus引擎更加方正。同樣奇怪的是，索尼視頻顯示他們采用的是LCD快門（下文詳述）。需要快門表明顯示屏亮度不足。但我知道Lumus引擎的亮度達到數千尼特，是目前最亮的光學引擎之一。
在阿德里安的指引下，我參考了位于2019 SID Display Week Digest of Papers的索尼論文（需要付費），并發現了一篇“Latency Compensation for Optical See-Through Head-Mounted with Scanned Display（包含掃描顯示器的光學透視頭戴設備的透射補償）” 。正如論文標題所示，它主要討論了AR頭顯的運動預測和預先補償。他們采用的顯示器是索尼的1280×768像素隔行掃描Micro-OLED。
除一張頭顯圖片外幾乎沒有關于光學元件的線索，但圖片的分辨率足夠高，可以清楚顯示出光學組合器，而這與視頻中的頭顯非常匹配。
2. 光學技術
在左邊，我放大了索尼的組合器，并對比了Lumus光學元件的圖片。你可以看到，不僅只是邊緣形狀不同，它們同時是非常不同的技術。
首先，Sony光學元件阻隔了大部分光線，而Lumus光學元件幾乎是透明。所以，你幾乎無法在Lumus波導中看到“條紋”。從這個角度看很難判斷，但索尼的光學元件似乎要比Lumus厚3至4倍。
對于Lumus波導，全內反射使得光線在波導內進行多次反射。上面提到的條紋名為光瞳擴展器，因為它們起到增加光瞳/視窗的作用。在Lumus結構中，光線最終穿過上方的條紋并到達下方條紋。如果條紋遮擋的光線了與索尼光學系統一樣多，則幾乎沒有光線能夠到達下方的條紋。
索尼選擇了與Lumus不同的機制。它們不能仿效Lumus，Hololens，Magic Leap，Digilens和Waveoptics等采用大量全內反射的波導。索尼的設計可能最多是在正面采用一個全內反射，更像是自由形式光學元件。盡管索尼設計中的每個條紋都像Lumus一樣可作為光瞳擴展器，但每個條紋必須采取一條徑直路徑。為了提供更直的路徑，玻璃必須更厚。而且，較厚玻璃和條紋將有助于提高光通量。
3. 亮度問題
索尼頭顯中的Micro-OLED類型輸出1000尼特。即使是非常明亮（且昂貴）的OLED都只有5000尼特。與600尼特的智能手機或200尼特的電腦顯示屏相比，1000尼特至5000尼特聽起來像是十分明亮。但對于透明顯示器，AR組合器光學元件通常只能將不到10％的尼特傳送到眼睛。
對于DLP和LCOS投影儀，由于它們可以高度準直LED光線，其光輸出可以遠遠超過100萬尼特。高尼特是DLP和LCOS與波導結合的通常原因，但你從未見過OLED與波導光學一起搭配。Hololens 2所采用的激光掃描光束能夠在任何時候發出數百萬尼特（如果光束停止掃描并停留于一點，其足以燒穿視網膜）。
除其他損耗外，波導的尼特輸出至少受輸入區域的面積所影響。我們不探討復雜的數學計算和細節介紹，簡單來說，對于Lumus這樣的1.8毫米薄波導，Lumus幾乎可以比典型的衍射波導好10倍。所以，如果他們將1000尼特的Micro-OLED作為輸入，則輸出的亮度將大大低于10尼特。除夜間之外，這對其他用例而言都過暗。這就是為什么你看不到Mico-LED顯示器與常見波導配對，以及索尼采用不同結構的原因。
4. 索尼LCD快門
即使用上了光學組合器，尼特損失都可能會大于10比1。因此，如果從大約1000尼特的Micro-OLED開始，眼睛都可能只看到大約100尼特或更少。這種光損耗正是nReal等公司在使用Micro-OLED時選擇了更為簡單的Birdbath結構的原因。
在視頻大約24秒的位置，他們啟動了看似LCD快門的組件以阻擋大多數現實世界光線。我截取了快門啟動前后的圖片。
所以除了組合器元件阻擋了大部分光線之外，為了支持室外用例，他們增加了一個LCD快門來進一步阻擋周遭光線。
5. 幀緩沖后的延遲補償和光學校正：是否可以使用ARM的Mali-D77顯示處理單元呢？
索尼論文主要介紹了通過預先補償以應對“動顯（motion to photon）延遲”。我幾乎是事后才想到這張幫助我確定組合器結構的頭顯圖片。他們使用的Micro-OLED顯示器使問題變得更加復雜，因為其采用了120Hz隔行掃描視頻。如果不進行任何校正，除了其他延遲問題之外，當出現運動時它們會在所有邊緣造成類似梳子的偽影。
論文指出，其硬件搭載了“將反向位移應用于幀緩沖器的渲染圖像的畸變器）”，參見下圖。另外，畸變器可以執行校正透鏡失真的操作。這里的關鍵是，在將幀圖像發送到顯示器之前他們對幀緩沖區中的渲染圖像進行了重要的處理。在幀緩沖區之后執行的處理稱為“后端”處理。
基本思想是減少“動顯（motion to photon）延遲”。為了做到這一點，他們在渲染完成后和接近于看到像素前對任何用戶運動進行校正。另外，由于渲染的圖像在幀緩沖區之后發生更改，所以任何透鏡失真校正都必須在這一變換之后進行，因此也必須在幀緩沖區之后進行。
值得一提的是，在SID 2019大會，ARM發布了他們的Mali-D77“顯示處理單元”。ARM在新聞發布會中談到了一系列相同的“動顯（motion to photon）”問題。巧合的是，索尼設計采用了基于ARM的內核及GPU和顯示控制組件。在撰寫本文時，我尚無法確認索尼的AR頭顯是否有搭載Mali-D77。
原文鏈接：https://yivian.com/news/67388.html
