21 Haziran, benim gibi VR meraklıları için haziran ayında Noel’i yaşamak gibiydi. Meta, devam eden projelerindeki ilerlemelerini paylaştı. Bu biz meraklılar için bir açıklama mıydı veya halka açık bir şirketin mevcut finansal sonuçlarını paydaşlarına açıklaması mıydı emin olmasam da bu zor sorunları çözme yaklaşımlarını öğrenmek beni çok heyecanlandırdı. Ve bu harika geliştirici yazısını okuyunca, geleceğin bize getireceklerini sabırsızlıkla beklemeye başladım.

TL;DR Görsel olarak çekici, estetik bir sanal gerçeklik başlığını ulaşılabilir bir fiyatla yaratmak zor ve biraz zaman alacak ama neyse ki üzerinde çalışan bir lab dolusu insan kaynaklarını bu konu için harcıyor.

Bu kişiler “zaman makinesinin” anlamını yeniden yorumlamışlar. Tarifledikleri zaman makinesi, son tüketiciye hazır olmaktan çok uzak ve yıllarca süren araştırma-geliştirmeyle nelerin mümkün olabileceğini keşfetmek amacıyla yaratılıyor. Bu tanım, gelecekte mümkün olabilecekleri bize bugünkü prototiplerle başarılabilir gösterdiği için bana fazlasıyla ilham veriyor.
Dört farklı önemli soruna çözüm olarak dört başlık konsepti tanıttılar: Half-Dome Serisi, Butterscotch, Starburst, Holocake ve diğer dördünün odaklarının birleşiminden oluşan Mirror Lake konsept başlığı. Bunlar ve adı geçmeyen diğer konseptlerin geliştirilmesi Meta’nın 7 yılını ve milyon dolarlarını aldı.

Mark Zuckerberg ve görüntü sistemleri araştırma direktörü Douglas Lanman, çıtayı sanal Turing testini geçmek olarak belirlemiş oldu. Standart Turing testi, bir bilgisayarın zekasını test etmek için tasarlanmıştır. Test senaryosunda kişi, makineyi insandan ayırt edemiyorsa test başarılı sayılır. Sanal Turing testi ise, insan gözlerimizin gerçek veya sanal bir dünya görüp görmediğini test etmeyi amaçlar. Bu nispeten sübjektif bir testtir ve günümüzde bu testi geçebilen bir sanal gerçeklik teknolojisi bulunmamaktadır.

Meta Araştırması sanal Turing testini geçebilmek için dört özelliğin üzerinde durmaktadır.

- Baktığımız noktaya göre odağını ayarlayan adaptif odaklı teknoloji (Varifocal Technology)
- İnsan gözlerimize yaklaşan ve nihayetinde onu aşan çözünürlük
- Optik sapmaları gidermeye yardımcı olmak için bozulma düzeltmesi
- Sanal gerçeklikte deneyimleyebileceğiniz renk, parlaklık ve kontrast aralığını genişleten yüksek dinamik aralık (HDR) teknolojisi 

Sadece yeni nesil Quest üzerinde değil de farklı seri prototipleri üzerinde çalışmalarının iyi bir nedeni var. Lanman, bu işin karmaşıklığına şu sözleriyle dikkat çekmektedir: “Tüm başlıkların aynı boyut, ağırlık, güç ve maliyet bütçesine veya daha iyisine uyması gerekir. Tüm teknik gereksinimlerin yanında estetik olarak giyilebilir bir formda olması gereklidir.” Bu sadece tüm teknolojiyi kısıtlı bir bütçeye sıkıştırma meselesi olmakla kalmayıp, bütünün her bir bileşeninin diğerleriyle de uyumlu olmasını gerektirir.

Half Dome Serisi 

Verjans Akomodasyon Çatışması (VAC), Sanal gerçeklikte başlıklarını kullanırken çokça karşılaştığımız bir durumdur. VAC, gözleri sınıra getiren dürbün eşitsizliğinin, gözlerin odaklandığı mesafeyle uyumsuzluk içinde olması durumunda ortaya çıkar (akomodasyon)^([1]). Daha basit bir ifadeyle, bir VR başlığı taktığınızda midenizin bulanmasının ana sebeplerinden biridir. Bu sorunu çözmek için Reality Labs değişken odaklı teknoloji üzerinde çalışmaktadır. Değişken odaklı teknoloji, baktığınız cisme göre ekranın odağını ayarlayabilme yeteneğine sahiptir. Bu önemli problemi çözmeye çalışan ilk prototip çalışmalarından, tek sorunun ağırlık ve estetik olmadığını biliyoruz. İlk başlık prototipleri, hareketli mekanik parçalar nedeniyle çok ses çıkarıyordu. Kulaklarımıza bu kadar yakın taktığımız başlıklardan gürültülü olmasını istemeyiz. Bu nedenle Half-Dome 3 ile motorları bırakıp bunları çoklu sıvı kristal lenslerle değiştirdiler. Her bir camın opaklığını ayarlayabildikler ve şekilde görülebilen uzaklığı kontrol edebildikleri bir sistem geliştirebildiler. Peki bu teknolojiyi neden raflarımızda görmüyoruz? Meta’nın CTO’su John Carmack bize iki neden veriyor: Son kullanıcı için fazla olan maliyet ve kusurlu bir değişken odak teknolojisinin şu anda kullandığımız teknoloji kadar olgun olmaması. Peki bunu gerçeğe dönüştürmek neden önemlidir? Lanman 2020'deki Kaliteli Ekran Süresi: Mekânsal Programlama için Hesaplamalı Ekranlardan Yararlanma sunumunda buna harika bir cevap vermiştir: “VR başlıkları sadece bir televizyon değil, harika bir kişisel hareket alanıdır.”

Half Dome prototipinin dört versiyonu. Alıntı: Meta/ Gerçeklik Laboratuvarları

Butterscotch

Sanal Turing testini geçmek için görüntü netliği de çok önemlidir. İnsan gözünün retina çözünürlüğü, derece başına yaklaşık 60 pikseldir (ppd). Butterscotch protoipinde, bunun ötesini hedeflemektedir. Orijinal makalelerinden anlatıldığı şekilde, hatta retina çözünürlüğünün ötesine geçmek bile mümkündür. Ve mevcut bazı ekranlarda bu zaten elde edilebilmektedir. Aşağıdaki çeşitli cihazlardan alınan vizyonları yan yana karşılaştırdığımızda farkı açıkça görebiliyoruz. HTC Vive veya Rift gibi önceki nesil VR başlıklarından Quest 2’ye geçtiğimde oldukça etkilendiğimi hatırlıyorum ve sanal dünyayı Butterscotch lenslerinden görmek için sabırsızlanıyorum.

Rift ve Quest 2 ile karşılaştırıldığında Butterscotch’un netliği. Görsel alıntı: Meta/ Gerçeklik Laboratuvarları

Display Systems Research, görüntü kalitesinin, çözünürlük kadar önemli olduğuna dikkat çekmektedir. Günümüzün VR başlıkları, görüntüleri çarpıtmak ve bazı optik sapmaları azaltmak için yazılımsal çözümler kullanmaktadır fakat bu yöntem kendi başına yeterli değildir çünkü elde edilen düzeltmeler statik, sanal görüntüdeki bozulmalar dinamiktir. Değişken odaklı başlıklarla olan çalışmalarını da düşündüğümüzde prototipleme hızlarının başlıklara sıkıştırma evresinde yavaş kaldığını gözlemlemişler. Bu nedenle Butterscotch çalışmalarına ek olarak, gözle izlenen bozulma düzeltmesi için bir test ortamı oluşturmuşlar. Test düzenekleri hakkında SIGGRAPH 2022’de daha detaylı konuşacaklar. Bildiriye bu yazının kaynaklar bölümünden ulaşabilirsiniz.

Starburst

Bizlere sorulduğuna, yüksek dinamik aralık (HDR) teknolojisi, gerçekçilik ve derinlik algısıyla bağlaştırdığımız en çok fark yaratan özelliklerden olmuş 〖^([2])〗 Bu nedenle, Sanal Turing testini geçmeyi hedefleyen Meta'nın önceliklendirdiği özelliklerden biri olmuş Starburst de bu teknolojiyi VR'a dahil etme girişimlerine verdikleri kod isim.

HDR teknolojisi tek başına yeni sayılmaz. Kontrast ve renk aralığını iyileştirmek için çeşitli halihazırda kullandığımız ekranlara sahibiz. HDR özellikli ekranımız varsa, favori online servis sağlayıcınız bile bu teknolojiyi destekleyen çözünürlüğü sağlayabilir. Optimal değeri bulmak için, Dolby Labs〖^([3])〗  20.000 nit’lik bir tepe değerine sahip bir deney düzeneği oluşturulmuştur. Çalışmalarının sonuçlarına göre, optimum parlaklık 10.000 nit civarındadır ve Quest’in 100 nit’lik zirvesi ile karşılaştırıldığında, çok ileride bulunmaktadır.

Yukarıdaki resme baktığımızda, bu teknolojiyi VR başlıklara uygularken düşünülmesi gereken tek noktanın HDR destekli bir ekranı küçültmek olmadığını varsayabiliriz. Basitleştirilmiş bir yorumla, daha fazla parlaklık daha fazla güç gerektirir ve yüksek güç daha fazla ısı üretir. Tüm bu donanım bileşenleri şu anda Quest serisinin kabuğuna uymamaktadır. Neyse ki Andrew Maimone gibi mevcut prototiplerin boyutunu, ağırlığını ve gücünü mümkün olduğunca azaltmaya çalışan insanlar var. Ekibin vizyonunu düşündüğümüzde bana Obadiah’ın Iron Man filminden bir sahneyi hatırlattı.

Holocake

Holocake ilk çıkışını 2020’de yaptı. Sınırlı bir renk gamı olan bir prototipti. Yaklaşımları, geleneksel yansıtıcı lensleri holografik lenslerle değiştirerek sınırlı yerden tasarruf etmeyi amaçlıyordu. Lenslerden kazanılan yer haricinde, görüntüyü odaklamak için ekran paneli arasında boş bir alan olmasına ihtiyaç duyuyordu. Orijinal Holocake’de pancake” olarak da bilinen polarizasyon tabanlı optik katlama〖^([4])〗, ışığı birden çok kez geçirerek aradaki boşluktan yararlanmalarını sağlıyor. Yeni nesil Holocake prototipi, mevcut PC VR oyunlarıyla uyumlu, bilgisayara bağlı ancak tamamen işlevsel bir VR başlığıdır. Aşağıdaki görselde ekran ve lenslerin bulunduğu kabuğun ne kadar inceldiğini görebiliyoruz.

2020’de çıkan orijinal Holocake. Fotoğraf alıntı: Meta/ Gerçeklik Laboratuvarları

Mirror Lake

“Temel Holocake 2 mimarisiyle başlayan, ardından ekibin son yedi yılda planladığı hemen hemen her şeyi kapsayan, kayak gözlüğü benzeri bir konsept.” Her ne kadar öyle olsa da, kayak gözlüğü kavramını ilk burada duymadığımızı söylemek biraz haksızlık olabilir. Özellikle Meta son güncellemelerini bizimle paylaştığı ve Apple bunu yapmadığı için. 

Özetle, Meta önemli ölçüdeki kaynaklarını gelecekteki VR başlıklarının önünü açmak için harcamaktadır. Bu vizyonla dört temel sorun üzerinde duruyorlar: Değişken odaklı teknoloji ile doğru derinlik odaklama, insan görüşünü aşacak seviyede çözünürlük iyileştirme, optik sapmaları azaltmak için bozulma düzeltme ve daha gerçekçi görseller elde etmek için HDR. Ve elbette, tüm bu yeni teknolojiyi son kullanıcıların erişebileceği bir seviyede tutarken estetik bir kabuğa da sığdırmaya çalışıyorlar. Görüntü Sistemleri Araştırması’nı biraz önce özetlemeye çalıştığım Lanman’ın ilham verici sözüyle kapatmanın uygun olacağını düşünüyorum: “Her halükârda, hangi yoldan gidersek gidelim, ekibimiz görsel Turing testini mutlaka geçmek bizim için nihai hedeftir ve bu yolda fizik kurallarınca ters düştüğümüz, bu noktaya gitmemizi engelleyen bir şey yoktur. Son yedi yılda, bu geleceğe bir göz attık ve gerçekten görsel olarak gerçekçi bir metaverse için pratik bir yol bulmaya kararlıyız.”

• Kaynaklar:

  [1] Kramida, Gregory. (2015). Resolving the Vergence-Accommodation Conflict in Head-Mounted Displays. IEEE transactions on visualization and computer graphics. 22. 1912 - 1931. 10.1109/TVCG.2015.2473855. 
  [2] Vangorp, Peter & Mantiuk, Rafal & Bazyluk, Bartosz & Myszkowski, Karol & Mantiuk, Radoslaw & Watt, Simon & Seidel, Hans-Peter. (2014). Depth from HDR: Depth Induction or Increased Realism?. Proceedings of the ACM Symposium on Applied Perception, SAP 2014. 10.1145/2628257.2628258 as cited in Passing the visual Turing test: The inside story of our quest for visual realism in VR. Tech at Meta. (2022, June 21). 
  [3] Brooks, D. G. (2014). The Art of Better Pixels. USA; Dolby Laboratories, Inc. as cited in Passing the visual Turing test: The inside story of our quest for visual realism in VR. Tech at Meta. (2022, June 21). 
  [4] Applying holographic optical technology to virtual reality. FindLight Blog. (2021, February 15). Retrieved June 27, 2022, from https://www.findlight.net/blog/2021/02/15/applying-holographic-optical-technology-to-virtual-reality/

  • Passing the visual Turing test: The inside story of our quest for visual realism in VR. Tech at Meta. (2022, June 21). Retrieved June 24, 2022, from https://tech.fb.com/ar-vr/2022/06/passing-the-visual-turing-test-the-inside-story-of-our-quest-for-visual-realism-in-vr/

  • Douglas R. Lanman “Display Systems Research at Facebook Reality Labs (Conference Presentation)”, Proc. SPIE 11310, Optical Architectures for Displays and Sensing in Augmented, Virtual, and Mixed Reality (AR, VR, MR), 1131025 (23 July 2020); https://doi.org/10.1117/12.2566597

  • IS&T Electronic Imaging (EI) Symposium. (2020). Ei 2020 Plenary: Quality Screen Time: Leveraging Computational Displays for Spatial Computing. YouTube. Retrieved June 24, 2022, from https://www.youtube.com/watch?v=LQwMAl9bGNY&t=2105s&ab_channel=IS%26TElectronicImaging%28EI%29Symposium. 

  • Guttag, K. (2022, February 11). Meta’s Cambria (Part 2): Is it half dome 3? KGOnTech. Retrieved June 24, 2022, from https://kguttag.com/2021/12/13/metas-cambria-part-2-is-it-half-dome-3/

  • Guan, P., Mercier, O., Shvartsman, M., & Lanman, D. (2022, June 21). Perceptual requirements for eye-tracked distortion correction in VR. Meta Research. Retrieved June 24, 2022, from https://research.facebook.com/publications/perceptual-requirements-for-eye-tracked-distortion-correction-in-vr/