來源:映維網 作者 黃顏
移動AR已經成為一個熱點話題。當看到與微軟的HoloLens,Magic Leap的Creator Edition或DAQRI的Smart Glasses相關的熱門文章時,你會有一種AR似乎終于準備好走進大眾市場的感覺。但是,所述設備依然存在諸多缺陷,而今天尤為明顯的一個是顯示器。
近來熱門的媒體出現了各種推測和“功能建議”,大家似乎普遍認為當前的AR顯示器十分優秀,而盡管視場依然過小,但很快就能達到優秀的水平。諸如波導設計商DigiLens等顯示器廠商同樣加入了這輪視場喧囂之中,并于最近宣稱他們的AR顯示器很快就能達到150度的視場。
在本文中,DAQRI首席技術官Daniel Wagner、DAQRI首席光學設計工程師Louahab Noui和DAQRI研究總監Adrian Stannard將嘗試解釋視場為什么不太可能在短期內實現大幅擴展。本文另一個更為重要的目標是,說明視場只是對AR顯示器重要的大約24個參數中的一個。其他參數的重要性不弱于FOV,同時尚未得到解決或可以獨立解決。實際上,目前大多數AR顯示技術早已存在于軍事或工業場景,而最近的進展更多是降低了相關的成本,全新的突破較少。下面是映維網的具體整理:
1. AR顯示器的種類
目前主要有兩種AR顯示技術:光學透視和視頻透視。行業在過去已經探索過這兩種選擇,但由于后者的局限性十分顯著,目前幾乎所有商用AR設備都采用光學透視顯示器。
1.1 光學透視顯示器
光學透視顯示器允許用戶“直接”(通過一組光學元件)感知現實世界。這種AR顯示器是通過為來自現實世界的光線添加額外光線來呈現虛擬內容。由于這是一種添加操作,所以不可能顯示黑色或令現實世界變暗。所以,今天的無源光學系統無法顯示黑色虛擬內容或繪制陰影。確實有實驗設備能夠以每像素級別阻止入射光,但它們遠離實際應用尚有十分遙遠的距離,所以本文不作考慮。
今天主要存在兩種主要類型的光學透視顯示器:波導和自由空間系統(組合器)。就目前而言,波導(見下圖)顯然在高端領域占據主導地位,而且上述提到的所述設備都是基于波導:投影儀在波導的一個位置(內耦合)插入圖像。由于全內反射(Total Internal Reflection;TIR),它將在波導內反彈(就如同在光纖電纜之中),然后在另一個位置(外耦合)朝向眼睛出射。波導十分受歡迎,因為它們能夠實現簡練的平面設計,但會帶來一系列的(圖像質量)問題。
左邊是基于波導的光學透視顯示器;右邊是基于自由空間系統的光學透視顯示器
當今最流行的波導替代方案是自由空間系統。由于采用自由形式元件,其設計過于復雜,但從光學角度來看比波導簡單很多,所以可以產生更高的圖像質量。另外,一旦完全原型化,它們的生產成本將遠低于波導。對基于自由空間系統的顯示器而言,一個常見的誤解似乎是它們通常必須很大才能實現大視場(如Meta2)。
波導的光學效率低,所以需要強大的投影儀。目前的實現方式是將作為光源的LED和作為圖像調制器的LCOS組合起來。自由空間系統通常足以應用OLED,后者具有自發光的特性,可實現更小的投影儀設計。
1.2 視頻透視顯示器
對于視頻透視顯示器,一對攝像頭將記錄真實世界視圖,然后再通過不透明顯示器進行顯示,如OLED或LCD。虛擬內容是通過常見的視頻混合技術進行添加,這意味著可以進行任何類型的操作,包括顯示黑色虛擬內容和令現實世界變暗。
視頻透視顯示器的原理
可以進行適當視頻混合的能力絕對是視頻通過光學透視的優勢。盡管如此,現在基本所有的AR設備都采用光學透視。原因十分簡單:在視頻透視的情況下,我們在本文中討論的所有挑戰都適用于真實視圖和虛擬內容。相比之下,光學透視僅適用于虛擬內容,而通過巧妙的UI設計我們可以更好地進行控制。動態范圍是一個明顯例子:盡管具有巨大動態范圍的人眼可以看到一個位于陽光之下的人和一個位于陰影之中的人相鄰站立,但今天的相機和顯示器無法解決這個問題。要么陰影中的人過暗,要么陽光下的人太亮。另外,大視場是必要項,這不僅是為了匹配所部署的攝像頭系統,同時是為了模仿如肉眼所見的真實世界視場。另外,存在安全和人類因素等需要解決的問題。所以,本文的其余部分只探討光學透視顯示。
2. 設計參數
我們在本文假設視場只是AR顯示器的眾多基本設計參數之一。所述的大多數設計參數與F視場同樣重要。下面我們列出了最重要的屬性:
視場視窗大小(Eye box size)亮度,透明度和占空時間對比度均勻性和色彩質量分辨率現實世界畸變虛擬圖像畸變人眼安全適眼距色差深度感知體積,重量和形狀參數光學效率延遲雜散光
我們可以相對輕松地以其他作為代價來改進一個參數。例如,如果可以接受大體積和小視窗,增加視場將不是什么難事。但大多數用戶可能不希望使用這樣的設備。另一方面,在小型顯示器中實現大視場和大視窗非常具有挑戰性。類似地,較大的視窗需要更多的光線來實現相同的感知亮度,所以需要更強大的光源。
下面描述的大多數參數今天都未達到最理想的狀態。所以,設備廠商的目標是全方位地提升它們。但正如剛才提到的一樣,在不犧牲其他參數的情況下改進一個參數已經十分困難。這種權衡的主要原因是所謂的系統光學擴展量。這是一個幾何不變量,如下面的公式所定義。類似于能量守恒,我們需要維持光學擴展量守恒。在最簡單的形式中,光束所通過的面積和光束所占有的立體角的乘積必須是常數。
光學擴展量守恒:h2越高,Ω2則越小
在圖片中,高度為h1的對象用作光源。對于所示透鏡系統的幾何形狀,得到的圖像高度h2> h1,而對象側的立體角Ω2小于Ω1。換句話說,如果面積擴大,則立體角減小,反之亦然。更正式的光學擴展量定義為:
其中n是介質的折射率,θ是面積dA的發射(或接收)光束的角度。我們注意到光學擴展量沒有的標準符號,但“G”和“dG”經常用于光學領域。類似術語出現在稱為拉格朗日不變量的近軸極限中:
其中h1和h2是對象和圖像高度,u1和u2分別是對象和圖像射線角度。G的替代表達式有時用于包含NA(數值孔徑)的顯微鏡物鏡:
如果為獲得恒定視場而嘗試擴大出射光瞳,光學擴展量將影響光引擎設計的效率和投影儀尺寸。以下圖的簡單投影儀設計為例,焦距為f的準直透鏡準直寬度為x的微型顯示面板(限制在一個維度)。無論是波導還是自由空間系統,投影儀的視場都是我們希望嘗試實現和通過顯示器中繼的目標。
基于準直微顯示面板的簡單頭顯投影儀
投影儀的高度(出射光瞳)由透鏡的直徑確定,而投影儀的視場θ由以下等式確定:
為了增加給定顯示器的視場,我們需要減小f或增加x,但根據光學擴展量守恒,增加立體角將減小圖像尺寸。另外,透鏡半徑不能大于其曲率半徑,而這又決定了它的焦距(通常使用鏡子,因此只有一個表面具有屈光率)。所以這里存在一種權衡,而我們可以通過更大的顯示面板進行解決,但這又會使得投影儀和照明系統更大,因為在準直光源時會出現相同的問題。所以,光電發射顯示面板非常具有吸引力。波導十分歡迎,因為它們支持“出瞳擴展”或“出瞳復制”,從而使得光學擴展量關系不會直接受到影響。但這會產生其他后果,如圖像質量,效率和亮度。當選擇用于投影儀的掃描激光系統時,你同時會遇到其他復雜的情況,因為投影儀的出射光瞳非常小。擴展這種投影儀的一種方法是,將中介屏幕作為輔助光源,但這會增加體積(因為需要額外的中繼透鏡),增加光斑,并且會降低效率。另一種出瞳擴展方法是采用波導,但如果沒有眼動追蹤和主動校正功能,你將難以抑制偽影。
2.1 視場
盡管人人似乎都渴望更大的視場,但這必須與其他方面進行仔細平衡。更大視場的需求很大程度上取決于頭顯設計目的。對于諸如游戲這樣的消費者用例,更大的視場將能增加沉浸感。有40度×30度的視場對大多數專業用例而言已經足夠(如維護和檢查等),因為焦域小,而其他方面更為重要(如增加安全性)。
各種AR/VR設備的視場和人類視場。為簡單起見,所有視場都繪制成矩形。注意,實際的AR/VR設備視場和人類視場都不是矩形。
如上圖所示,今天的AR顯示器僅覆蓋人類視場的一小部分。受益于更簡單光學設置的VR設備則更接近覆蓋整個人類視場。
視場,視窗和適眼距緊密相關,如下面簡化的方程式所示:
其中s是光學表面的尺寸(如寬度),b是視窗尺寸,r是適眼距,v是視場。下圖說明了這種關系。
光學表面尺寸(s),適眼距(r),視窗尺寸(b)和視場(v)的關系。
假設視場是40度,適眼距是20mm,視窗尺寸是20mm,顯示器表面需要35mm寬。假設視場是90度,其他參數類似,則顯示器表面需要達到60mm。對于DigiLens宣稱的150度(對角線)波導,顯示器的對角線需要達到170mm。對于4:3的形狀參數,顯示器需要為大約135mm×100mm,而且是單眼。
從左到右的波導尺寸:35mm,60mm和135mm。
從上圖中可以看出,即便是60mm寬的波導都已經相當大,而135mm寬的波導根本不可行。它不僅大得可笑,而且這種寬視場必須納入雙目重疊,這意味著兩個波導必須重疊。顯然,要達到這樣的視場,平面顯示器表面將不再有效,并且需要考慮曲面組合器選項。(盡管并非不可能)但曲面波導目前只是一個研究課題,離實用尚有十分遙遠的距離。
2.2 視窗尺寸
視窗是近眼顯示器前面的區域,可允許用戶“正確地”感知顯示內容。視窗之外的顯示內容可能會失真,顏色可能錯誤,或者內容可能根本就無法感知。盡管行業將其稱為“視窗”,但這一區域的3D形狀不是盒狀而是圓錐形,并且會隨著距顯示器的距離變大而變薄。盡管視窗是AR和VR顯示領域的常見術語,但光學元件領域更常用的術語是“出瞳”,其中瞬時視場等于總視場。
眼睛是黑色,視窗是綠色,顯示器則為藍色。
在使用雙筒望遠鏡或顯微鏡時,大多數人應該都會注意到出瞳過小的問題:除非每只眼睛能夠精確定位在目鏡前面的正確位置,否則你將看不到任何一切。這種“不待見”行為的原因是,較小的出瞳導致更高的光效率(進入雙筒望遠鏡的光線集中在另一側的小范圍區域),而這顯然是雙筒望遠鏡的理想屬性。
那么,視窗到底要多大呢?視窗的最小實際尺寸顯然是人眼瞳孔尺寸(通常假設為大約4mm),而這通常是雙筒望遠鏡的設計目標。雙筒望遠鏡的視場非常小,所以瞳孔保持相對固定。但對于AR/VR顯示器,用戶的眼睛可以自由移動。為了支持這種眼睛運動,視窗需要在每個方向增加至少數毫米。
眼球運動不是擴大視窗的唯一要求。不同人有著不同的瞳距(IPD)。為了支持這種差異化,我們需要機械調節(如雙筒望遠鏡)或光學調節(通過進一步增加視窗寬度)。對于移動端設備而言,移動式組件存在非常大的問題,尤其是在需要精確校準的時候。由于機械調整不是一個好選擇,所以視窗寬度需要進一步增加至少10mm,理想情況下是20mm。
由于波導的輸入光瞳通常不是非常大,所以行業開發了各種技術來增加出射光瞳的尺寸,如出瞳擴張或出瞳復制。衍射波導具有天然的優勢,而反射波導在兩個方向擴展視窗(2D出瞳擴展)則非常具有挑戰性。結果,半反射波導通常具有比衍射波導小的視窗。
設計大視窗通常非常具有挑戰性,并且會對其他設計參數產生巨大的影響。例如。視窗尺寸直接影響顯示區域(波導)的所需尺寸。另外,正如在雙筒望遠鏡的示例一樣,為了實現相同的感知亮度,較大的視窗需要更多的光輸出。
2.3 亮度,透明度和占空時間
簡單來說,顯示亮度定義了顯示器的亮度是否足夠支持用戶在特定情況下清楚地感知虛擬內容。透明度則關于有多少現實世界光線能夠到達眼睛。對于AR,理想情況是非模糊區域達到100%。對于VR,它通常為零。占空時間定義了每幀像素點亮的時間。占空時間可以以毫秒或幀時間百分比進行度量。這三個主題在很大程度上獨立于用戶視點,但技術上密切相關。我們將在本節中一起討論。
對移動AR設備而言,顯示亮度絕對是一個極具挑戰性的話題。今天幾乎所有的AR頭顯的顯示亮度都非常有限:Hololens和DAQRI Smart Glasses的顯示亮度約為300 nits,而Magic Leap One的顯示亮度僅為200 nits。由于顯示器亮度非常具有挑戰性,所以今天大多數的AR眼鏡通常都是經過調配,只限于室內使用,而且在戶外很快變得不可用,尤其是在陽光直射的情況下。為了減輕這個問題,大多數AR頭顯都采用會降低透明度,并因而減少到達用戶眼睛的環境光線數量的有色面板,從而令顯示器相對更加光亮。盡管這對于消費者來說或許可以接受,但大多數專業領域都不能容忍低顯示透明度。
除了有色面板,大多數光學設計都會阻擋大量的現實世界光線。例如,Birdbath設計(原ODG和現Nreal)會格擋大部分的入射光線。
Karl Guttag的博客有關于這方面的介紹(這里 和這里 )。根據Guttag的說法,Hololens只允許約40%的環境光線到達眼睛,MagicLeap One僅為約15%,而在2019年初亮相的Nreal眼鏡則是25%左右。幸運的是,人眼具有大約1:109的巨大動態范圍,所以我們能夠應對這種亮度降低。但在黑暗環境中,這種亮度降低可能是產生問題。
由于占空時間定義了每幀允許像素發光的時間長度,所以它與顯示亮度密切相關。占空時間為100%意味著顯示器連續發光。對于60Hz顯示器,這意味著每幀大約16ms。但在這樣長時間內顯示相同的像素值將導致運動偽影(“拖尾”)。比方說我們假設顯示器的水平視場是40度,水平方面1280像素分辨率,以及每秒60度的頭部旋轉。在這種情況下,頭部大約每毫秒旋轉2個像素。所以當占空時間為16ms時,每個像素將在32個像素的長度中產生“空間拖尾”(參見下圖)。
左右兩邊為相同的圖像,但右圖出現了水平運動模糊。
但幸運的是,在專心查看細節時,我們人類頭部會更加穩定,所以實際上AR顯示器通常可以接受4ms或更低的像素占空時間。
60Hz幀率的占空時間。左邊是16ms,右邊是4ms。
LCOS面板是由單獨的LED點亮,而這可以非常光亮,所以可以實現高透明度,占空時間低于1ms(各顏色)的光亮顯示器。另一方面,OLED更暗,所以當占空時間過短并且同時需要高透明度時,OLED顯示器很快就會出現多個問題。以上圖為例,當占空時間為16ms時,顯示器更亮,但會出現拖影。當占空之間為4ms時,拖影情況會減少,但顯示器會過暗。
當占空時間為4ms時:左邊是120Hz幀率,右邊是240Hz。
當幀率為60Hz(約16ms)時,4ms的絕對占空時間將導致顯示像素僅在約25%的時間內有效。結果,顯示亮度將降低四倍。如果顯示器以120Hz運行,4ms的占空時間意味著像素依然在大約50%的時間內發光。類似地,240Hz可以實現約100%的占空時間。但對于移動設備及其顯示面板而言,這種高幀速率并不現實。
2.4 對比度
對比度沒有正式的定義或衡量方法。但是,大多數人都能理解對比度。簡單來說,對比度描述了顯示器同時產生更亮和更暗像素的能力,如:
如果顯示器的對比度較差,則無法同時顯示亮內容和暗(透明)內容。根據顯示器的整體亮度,它要么無法顯示明亮區域,要么本應為暗(透明)的區域沒有變暗。對于光學透視顯示器,透明度取代了黑色的作用:在對比度差的AR顯示器中,你可以看到透明區域顯示為深灰色。換句話說:只要AR顯示器不夠亮,對比度差的負面影響同樣有限。但隨著AR顯示器的亮度提升,它們將需要更高的對比度。
對比度取決于顯示面板和光學系統。LCOS往往具有低對比度,通常是為1:100至1:200。OLED具有相對較高的對比度,可以達到1:1.000.000或更高,這就是它們如今受到家用電視歡迎的原因。但在兩種情況下,光學元件(棱鏡,透鏡,波導)將導致對比度的進一步降低。例如對基于LCOS的系統而言,最終對比度很容易就會低于1:100。
2.5 均勻性和顏色質量
顏色質量定義了顯示器能夠再現顏色的準確程度。例如,由GPU渲染成紅色的像素會顯示屏中顯示為紅色嗎?為了實現適當的色彩再現,我們需要進行校準(包括伽瑪)。由于AR顯示器通常是添加光線,所以感知顏色同時取決于虛擬內容所疊加的場景。
與對比度相同,顏色質量可能存在非常大的差異,具體取決于顯示器的位置:例如,取決于它是位于顯示器的左側還是右側,像素顏色看起來可能相當不同。這種偽影通常依賴于視圖,這意味著用戶瞳孔的位置同樣會有影響,并且需要眼動追蹤進行解決。
均勻性描述了位于不同顯示器位置的像素顏色變化:對于完美的顯示器,通過相同RGB值渲染的每個像素看起來都完全相同。實際上,亮度,對比度,顏色和其他屬性取決于顯示器位置以及查看像素的角度。
盡管自由形式組合器(如Meta2)和半反射波導(如Lumus)的均勻性通常都非常好,但衍射波導顯示器(如Hololens和MagicLeap)明顯受到均勻性問題的影響。這種充滿中等灰度像素級數的顯示器會出現各種色調(見下圖)。
衍射波導的顏色問題。顯示器會出現各種色調,而非均勻的白色或灰色色調。底部明顯出現了亮度不均勻
2.6 分辨率
顯示分辨率描述了可以顯示多少不同的像素。這是一個有著眾多文章介紹的屬性之一。顯示分辨率的最終目標是達到人類視覺極限或略微超過大約一弧分(1/60度)。
由于市場對提升規格的需求,今天大多數智能手機的分辨率遠高于人眼在正常情況所能感知的分辨率。例如在40厘米遠查看顯示屏尺寸為14厘米的智能手機,這意味著手機屏幕在人眼視場范圍內大約為20度,所以長邊不需要超過1200像素。但是,今天依然有一系列的智能手機的顯示分辨率要比這個數字高出50%。
視場為30度×20度的AR顯示器大約需要1800×1200像素。但今天的VR顯示器位于90度×60度的范圍內,所以實現人眼極限需要5400×3600像素。這意味著每秒生成和顯示大約20萬像素75次,或每秒15億像素……
對于智能手機,用戶直接看著屏幕(忽略手機膜)。所以沒有光學元件會以負面方式影響顯示面板提供的像素質量。對于AR和VR設備,盡管復雜的光學系統是位于用戶眼睛和顯示面板之間,但它們會嚴重降低圖像質量。感知分辨率(到達眼睛的分辨率)可以顯著低于顯示面板分辨率。正如Karl Guttag所說,MagicLeap One的有效分辨率僅為其面板分辨率的一半。類似地,Hololens顯示器在從LCOS到眼睛的光路中損失了大量的分辨率。
所以,只要光學系統是顯示面板的限制因素,分辨率通常沒有什么意義。
2.7 真實世界畸變
對于光學透視顯示器,用戶是通過顯示器的光學元件感知現實世界。在大多數AR設備中,所述元件構成了下面的子集:
顯示視覺增強所需的虛擬圖像的波導,如HoloLens。或者將投影圖像反射到眼睛的自由形式組合器,如Meta2。設備外部的面罩用于保護電子元件和光學元件。將虛擬圖像焦平面從無限遠移動到更為可行位置的推/拉透鏡,如2米(如DAQRI Smart Glasses的反射波導)。在一側或兩側保護脆弱波導的附加塑料,如Hololens。
其中一些元件具有額外的,不受待見的光學屬性。例如,波導以將光線彎曲(引導)到正確的方向,但它同時會影響真實世界的光線,而理想情況下光線不應該受到影響。類似地,面罩或推/拉透鏡的設計或由于有限的質量而使光線變形。
當然,大家都希望能夠盡可能少地扭曲現實世界視點,但在實踐中,限制重量和成本的愿望需要可能會產生明顯偽影的妥協。
2.8 虛擬圖像畸變
光學工程師旨在設計一種有著最大可能圖像質量的光學路徑,而這同時包括最小化畸變:在完美的示例中,顯示面板的矩形像素網格將顯示為等量矩形像素網格。在諸如看著矩形智能手機這樣的直接視圖場景中,這一點很少有納入考慮。在諸如AR顯示器這樣的復雜光學設置中,為了優化其他參數,圖像畸變通常成為需要忍住的要素。
幸運的是,與現實世界畸變相比,只要顯示器合理校準(畸變很大程度上是取決于視圖),虛擬內容的畸變可以有效地進行解決。通過恰當的校準,所述畸變可以作為渲染管道的一部分進行處理,而處理成本很低或者為零。不過,取決于系統的光學畸變量,這可以帶來顯著的偽影,比方說特定區域的顯示分辨率出現大幅降低。
通常來說,波導的畸變相當低,這樣至少消費者用例可能會予以忽略(沒有通過數字方式進行校準和校正)。自由空間組合器(和VR顯示器一樣)通常會生成需要進行恰當處理的嚴重畸變。由于畸變圖像非常不規則,所以顯示面板的有效區域可能同樣會減少。下圖是自由空間設計的示例性畸變網格。可以注意到,網格的一部分落在顯示面板之外,并且用戶不能觀察到顯示面板的一部分(沒有網格的黑色區域)。 下圖同時說明了頂部和底部之間的分辨率差異。
自由空間組合器的示例性失真。圖片是沿到顯示面板的光路追蹤矩形網格圖像生成。
2.9 人眼安全
在談論AR顯示器時,兩種類型的人眼安全十分重要:確保眼睛不受AR顯示器的影響;確保AR顯示器保護眼睛免受外部傷害。
確保眼睛不受AR顯示器傷害聽起來像是不費吹灰之力。顯然,任何產品都必須滿足這個要求。但對于距離最脆弱的人體器官僅幾厘米的近眼顯示器而言,我們必須特別小心。這變得尤為重要,因為大多數AR顯示器是將玻璃元件作為光學堆疊的一部分。在發生撞擊時,玻璃元件可能會破碎并傷害用戶。所以,我們需要將所有玻璃元件整合至不易破碎的護蓋之中。
盡管這聽起來十分明顯,但事實并非總是如此。例如,最近發布的聯想ThinkReality就把反射性波導波導直接放在用戶眼睛前面,沒有任何護蓋。由于這種波導是由眾多以水平條紋粘在一起的小玻璃元件構成,所以它們很容易損壞并對用戶造成傷害。
保護眼睛免受外界傷害通常只商業和工業環境中的要求。對于所述領域,諸如ANSI Z87.1之類的眼睛保護安全標準描規定了評為安全眼鏡所需承受的力類型。
2.10 適眼距
與視窗相同,適眼距沒有通用的定義。簡單來說,它是指瞳孔到AR顯示器最近點的支持距離。由于并非所有用戶都具有相同的頭形,所以在實踐中需要支持一定范圍的適眼距,從而限定視窗的厚度(沿著觀察方向)。
適眼距是瞳孔到光學表面最近點的距離
通常來說,優選足夠支持常規眼鏡的適眼距,這樣存在視力問題的用戶就無需購買定制透鏡。但如前所述,視窗實際上不是一個方形,而是圓錐形,并且會隨著顯示器的距離變大而變薄。所以,支撐大適眼距,以及寬度和高度足夠大的視窗非常具有挑戰性。
2.11 外圍視覺
當談到AR眼鏡時,我們關注的不僅只是一個視場,而是兩個視場:AR眼鏡用于顯示虛擬內容的可視覺增強區域,這是大多數文章和規范所指的視場;但人類可以感知的視場范圍要大于當前AR顯示器的可視覺增強區域,而我們將可視覺增強區域之外的視場稱為外圍視場。另外,我們需要確保不能過分遮擋外圍視場。
人類視場是單眼約150度×120度,雙眼加起來是220度×120度。將顯示器放在眼睛前面會造成額外的遮擋,所以一個重要的設計目標是將這種遮擋保持在最低限度。下面是人眼視圖(綠色),無遮擋視圖(紅色)和可視覺增強視圖(藍色)的尺寸對比示意圖。為簡單起見,所有區域都繪制為矩形。
人類視場(綠色)與AR設備的示例性視場和實際視覺增強視圖進行比較。綠色和紅色之間的區域表示設備所遮擋的視場。紅色和藍色之間的區域表示用戶可以感知的真實環境區域,但無法進行視覺增強。
因此,除了最大化可視覺增強視場(藍色區域)之外,第二個目標是最大化非遮擋視場(紅色區域)。要做到這一點,任何遮擋視圖的元素都需要向外拉。這包括顯示器部分(如投影儀),以及諸如傳感器這樣的元件或諸如鏡臂這樣的支撐結構。
與上面的簡化示例圖不同,實際的視場不是矩形。如下圖所示,視場主要受眉毛,鼻子和臉頰的限制:紅色和黃色的組合區域描繪了左眼視場。類似地,綠色和黃色區域描繪了右眼的視場。黃色區域則描繪了雙眼重疊,亦即雙眼都可以觀察到的視場。
左圖:左眼和右眼的人類視場;右圖:左圖是通過使用虛擬頭部模型進行光線投射生成。
2.12 色差
透鏡的折射率隨光波長而變化,這導致不同的“顏色相關”焦距。在相機中,這一般是通過組合多個透鏡來進行補償,但由于尺寸限制,這對AR顯示器而言通常是不可能的事情。所以,色差是AR顯示器中引人注目的問題。盡管可以在軟件中校正一定的像差(通過適當的校準),但其他效果更難以解決(取決于視圖)或者不能校正。一如既往,最佳的途徑是盡可能地以光學方式而非數字方式來減少偽影。
左圖:紅色和藍色由于色差而分解;右圖:通過相應地扭曲每個顏色通道進行數字校正。
2.13 深度感知
有多種人類視覺線索可以允許我們感知深度。對于AR顯示器,兩個最重要的線索是視覺輻輳(眼睛旋轉以觀察相同的對象)和視覺調節(瞳孔聚焦對象)。它們是神經耦合,而不匹配的視覺輻輳和視覺調節會造成用戶不適,亦即所謂的視覺輻輳調節沖突(VAC)。
大多數人在觀看3D電影時都會注意到VAC:盡管焦點永遠不會改變(電視或投影屏幕不會移動……),但由于我們的眼睛看到略有不同的圖像(立體內容),我們依然能夠感受到3D效果。在電影院中,焦平面由房間設置給出:如果你所坐的位置距離投影墻10米,焦平面就固定為10米。在這個距離下,人類幾乎不能根據瞳孔焦點區分距離。所以,只要立體內容停留在這個距離或更遠,畫面看起來就會自然。
對于AR顯示器,焦平面是光學路徑的設計參數:即便顯示器與眼睛的距離只有幾厘米,焦距平面都總是設置得更遠,因為人類無法聚焦于這么短的距離,而且這沒有任何意義,因為虛擬內容會出現在更遠距離。
下面的圖例說明了正常視圖,虛擬現實和增強現實之間的差異:在正常視覺輻輳和視覺調節同步的情況下,兩者都調整到相同的距離;對于虛擬現實,視覺輻輳始終位于相同的距離(通常約為兩米),而視覺調節取決于以立體形式渲染的屏幕內容;對于增強現實,兩者的沖突甚至可以更大:通過虛擬內容增強的對象看起來是與視覺調節同步,但對于真實對象和虛擬對象的視覺輻輳可能非常不同。
理想情況下,我們能夠為每個像素選擇不同的焦距,而且行業已經演示了朝這個方向發展的實驗系統。但是,這種系統需要非常長的時間才能達到商用水平。
正常視圖(左),虛擬現實(中)和增強現實(右)的視覺輻輳和視覺調節
如果我們必須使用單個焦平面的AR顯示器,設計師就需要決定放置它的位置。最適合大多數場景的情況似乎是2米左右。焦平面應該為大致平坦且對所有顏色相同。這不是一個簡單的設計目標,所以在測量今天的AR顯示器時,你會注意到實際的焦點“平面”既不平坦,對所有顏色也不相同。
2.14 尺寸,重量和形狀參數
顯示器尺寸和眼鏡尺寸是當今AR設備最具挑戰性的設計參數之一。由于要求大視場和大視窗,所以很難令顯示器變小。這就像要求一輛小型卡車同時具備大卡車的運載噸位。大型顯示器會導致整體體積龐大,從而又造成AR眼鏡實用性較差。眼鏡越大,用戶越容易撞到什么。
另外,較大的顯示器通常會導致更重的光學元件。由于質量和折射率要求,當今AR顯示器的眾多光學元件都是由玻璃制成,而隨著尺寸的增加,玻璃很快就會變得太重。
在2018年舉行的Oculus Connect 5大會中,邁克爾·亞伯拉什指出AR眼鏡的重量不應該超過70克。尺寸和重量不是獨立于其他屬性的參數。人體頭部可以舒適地承受比70克更重的重量(如果重量分布均勻)。盡管承受很輕的重量都會很快造成鼻梁受傷,但耳朵可以承受更多的重量,而且頭頂更加堅硬。重量分布比重量本身更為重要。例如,Meta2眼鏡不是很重,但由于糟糕的重量分布,它給前額施加了非常大的壓力。
2.15 光學效率
光學效率是指發光元件所發出的光線有多少實際到達用戶眼睛。令人驚訝的是,今天大多數基于波導的顯示器在光學效率方面都非常低,大部分僅為約百分之一。幸運的是,組合LCOS和LED的投影儀足夠亮,可以為波導提供足夠的光量。所以,OLED不是當今波導的選擇。另一方面,對于組合器顯示器(如Meta2),我們可以通過組合器元件具有的透明度來很好地控制光學效率:組合器反射率越高,它的光學效率就越高。但這同時會反射更多的環境光,所以到達眼睛的環境光更少(透明度降低)。
波導是今天占主導地位的AR顯示技術。由于LCOS十分光亮但存在低對比度問題,而有著高對比度的OLED則存在低亮度問題,大多數人把目光投向了微型LED,因為這種類型的顯示器有望實現更高的亮度水平。行業已經演示了分辨率和尺寸足以支持AR顯示器的微型LED面板,但迄今為止都只是單色面板。要實現支持全RGB的類似規格面板,行業尚需多年的時間發展。
2.16 延遲
運動到光子延遲定義了從出現一個事件(運動)到顯示器顯示相應更新所需的時間。例如,當用戶將頭部向右旋轉時,顯示器索顯示的內容必須相應地“向左移動”。對AR而言,延遲不是一個經過充分研究的主題,這主要是因為行業直到最近才實現了具有足夠低延遲的系統。但人們普遍認為,對于光學透視顯示器,5毫秒或更短的延遲已經足夠。
由于延遲問題,標注在快速頭部運動期間可能會從清晰位置(左側)移動到不清晰的位置或錯誤位置(右側)。
除了算法和其他電子組件,延遲主要是受顯示面板(OLED,LCOS)和顯示協議(MIPI,DisplayPort,HDMI)影響。延遲和顯示面板的選擇是一個復雜的主題,因為它對電子組件和軟件設計產生了巨大的影響。例如,執行線序(“滾動”)更新的OLED和執行色序(“全局”)更新的LCOS有著完全不同的數據傳輸和運動補償策略。
2.17 雜散光
大多數用戶和眼鏡廠商都渴望一種形狀與太陽眼鏡類似的AR眼鏡。盡管這聽起來十分簡單,但人們經常會忽視一個問題:雜散光。
AR眼鏡的敞開程度越高,越多來至多余方向和光源的光線就能夠進入系統。盡管AR顯示器通常能夠很好地應對來自前方的環境光,但來自側面或用戶后方的光線會引起嚴重問題。常規眼鏡通常不會反射太多光線,所以問題不大。但AR顯示器必須反射和彎曲光線,所以更容易受到雜散光的影響。衍射波導特別受其影響,來自側面的光線會議彩虹偽影的形式出現在顯示器(參見下面的右圖)。反射波導的性能更好,但同樣存在這方面的問題。某些設計可以減少雜散光,但對于其他設計而言,這個問題不像衍射技術那樣容易解決。
左圖:來自兩邊的雜散光正反射進入用戶眼睛;右圖:因雜散光造成的偽影
2.18 視覺舒適度
在過去五十年間的頭顯發展中,業界投入了大量的努力來解決人類因素問題,尤其是立體圖形顯示器。視覺輻輳和視覺調節是一個眾所周知的問題,另外還存在與雙眼視覺相關的其他問題,而它們會對舒適性產生巨大影響。其中一個是被稱為雙目垂直角差。當雙目顯示器之間存在垂直視差或傾斜時,雙目垂直角差就會出現。人類視覺系統難以忍受這一問題,并且可能會導致頭暈,惡心,甚至嘔吐。有時人們認為視覺輻輳調節沖突是造成這種癥狀的原因,但實際上這是顯示器之間的輕微錯位。1986年的美國海軍訓練文本指出,為了避免眼睛疲勞,雙目鏡筒軸的垂直偏差δ不應超過2弧分。
圖像的垂直偏差,亦即雙目垂直角差。這可能會導致用戶不適。右眼需要稍微旋轉才能整合的雙目圖像。
另一個可以影響舒適度的領域是雙目重疊量。例如,不必將左右圖像場完全重疊。實際上,通過故意不重疊雙目顯示來增加有效視場是一種常見的做法,這主要有兩種方式:眼睛發散重疊和眼睛會聚重疊。通常,人類視覺系統可以容忍這種情況,因為由于鼻子的影響,左眼和右眼看到的現實世界圖像不完全重疊。但在產生不適之前,用戶之間有著不同程度的部分重疊。90%的部分重疊可以接受,而當重疊減少到70%時,表示不適的用戶數量有所增加。
部分重疊:左圖是眼睛發散部分重疊;右圖是眼睛會聚部分重疊
質量中心是另一個重要元素。盡管不是非視覺要素,但不適當的設計可能會給用戶帶來不必要的頸部不適。需要合理安排顯示組件和驅動電子的放置,這可以幫助最小化重心的任何偏移。如果用戶需要在一定角度范圍內向上和向下查看,這可能是十分關鍵的一點。
3. 其他?
除了本文探討的話題之外,還存在尚未進入商業系統的其他光學設計選項。今天大多數設備都能夠在固定距離顯示一個焦平面。Magic Leap One則更進一步,能夠顯示兩個焦平面,但在顯示器質量和透明度方面付出了巨大的代價。然而,人類能夠區分大約十二種焦距,而目前的方法只能實現一兩個。所以,業界已經開始研究可調節的焦平面,但對于大多數AR設備而言,迄今為止所演示的方法都過于復雜。
尚未進入商業系統的另一個功能是:在光學透視顯示器中繪制黑色像素。今天的無源光學元件無法實現這一點,因為它們混合現實和虛擬的工作純粹是添加性質。對于黑色像素,我們需要能夠以每像素和每幀水平格擋真實世界光線。盡管LCD層可能是一種解決方案,但它會將顯示器的透明度降低一半,并產生極化環境光的問題,所以這通常不是一種可行的解決方案。
我們同時沒有探討功耗和散熱的話題。人類對靠近眼睛和臉部的熱源非常敏感。所以,頭顯在面部和太陽穴區域消散的熱量不應高超過一瓦特。基本上,今天所有的AR設備都產生了過多的熱量。為了提高顯示器的亮度,光學設計必須變得更加有效,而不僅僅只是增加顯示器光源的屈光率。
4. 對未來的期待
一個常見的要求是擴大視場和降低眼鏡尺寸(實現太陽鏡般的形狀參數),而這顯然不利于改進我們上面討論的大多數參數。與電子設備不同,小型化通常不是光學設計的選擇或優勢,因為它將帶來縮小的參數,如焦距,視窗尺寸或適眼距。
除了少數參數之外,新的突破技術不太可能推動上面的大多數要素。例如,全彩微型LED的出現將使得更亮的小型投影儀成為可能,但這對整體顯示器尺寸的影響有限。另一方面,光學領域的技術不太可能出現急劇的改變。
所以,我們需要很長一段時間才能實現具備太陽鏡形狀參數,大視場,高亮度,支持戶外用例,以及其他遠見者所暢想的元素的AR眼鏡。與電池技術領域類似,我們更有可能看到各參數的逐年提升。
原文鏈接:https://yivian.com/news/65323.html