S3D at WibbleWobble

Para sa mausisang gamer
Isang popular-level na paglalarawan ng teknolohiya, kung paano ito binuo at kung paano ito gumagana. Kung hindi ka interesado, hindi na kailangang basahin ito - tuyong materyal ito.

Paano gumuguhit ng 3D ang isang laro
Ang karaniwang paraan upang makagawa ng 3D na imahe sa isang laro ay ang i-render ang eksena nang dalawang beses - hiwalay para sa kaliwa at kanang mata, na virtual na inililipat ang camera kaugnay sa gitna ng eksena. Ito ay magastos sa resources at nangangailangan ng built-in na suporta mula sa game engine. Malayo sa bawat laro ay makakagawa nito. Nag-aalok ang WibbleWobble ng dalawang magkaibang landas, at ang pagkakaiba sa pagitan ng mga ito ay pangunahing - tinutukoy nito ang kalidad ng imahe at ang hanay ng mga artifact ng imahe.

Unang landas: ReShade Client - pag-synthesize ng stereo mula sa flat na frame
Ang laro ay nagre-render ng isang ordinaryong view. Kinukuha ng SuperDepth3D ReShade effect ang frame na iyon kasama ng depth buffer ng eksena at muling binubuo ang pangalawang viewpoint mula rito sa pamamagitan ng paglilipat ng mga pixel ayon sa depth. Walang alam ang game engine tungkol sa stereo. Ito ay mura sa performance at gumagana sa halos anumang DX11/DX12 na laro. Ang kapalit ay ang mga artifact na likas sa mismong paraan. Inilalarawan ang mga ito sa ibaba, sa mga seksyong "Mga Disadvantage".

Ikalawang landas: OpenVR Client - tunay na 3D rendering
Nagrerehistro ang WibbleWobble sa SteamVR bilang virtual VR headset. Ang isang VR-capable na laro, o isa na may VR mod, ay nagre-render ng eksena nang dalawang beses mula sa dalawang camera na pinaghihiwalay ng interpupillary distance, eksaktong tulad ng ginagawa ng tunay na headset. Ang IPD, per-eye resolution, at focal length ay itinatakda sa VR Config. Dito ang WibbleWobble ay hindi nag-synthesize ng anuman: kinukuha nito ang ready-made na stereo pair at inilalabas ito sa screen frame-sequentially, na sinisynchronize ang shutter glasses. Mas magastos ito sa performance, ngunit ang 3D geometry ay ganap na tama. Walang butas sa mga contour, walang "cardboard" effect; bawat mata ay nakakakuha ng sarili nitong reflections at highlights. Sa esensya, ito ay isang paraan upang maglaro ng mga VR game sa ordinaryong monitor na may 3D glasses ngunit walang headset.

Reprojection - ang mekanismo ng pagpapalawak ng field-of-view
Gumagana ang reprojection sa parehong mode, kabilang ang monocular. Ang isang high-performance shader ay kumukuha ng game frame at ini-map ito sa geometry ng iyong workspace: sa isang monitor, o apat na monitor, o curved screen. Sa pamamagitan ng head-tracking (OpenTrack) ang imahe ay lumilipat upang sumunod sa iyong ulo, at ang mga monitor ay nagsisimulang kumilos bilang isang bintana sa isang virtual na mundo - ang "VR fishtank" effect. Ang layunin ng reprojection ay makuha ang tamang world scale at ang tamang field of view (FOV) para sa multi-monitor na paggamit. Ang reprojection ay maaaring patayin nang buo (Client Config -> Reprojection: Disabled) at maaari mong gamitin lamang ang stereo output, BFI, at ang upscaler - ang karaniwang senaryo para sa isang display.
* Dapat sabihin na ang may-akda ng proyekto ay labis na optimistic tungkol sa ideya ng "pagpapalawak ng mundo" sa ilang panel. Kahit na ang makapangyarihang graphics cards ay walang sapat na performance para dito. Magiging mapalad ka kung ang bilis ay sapat para sa isang 4K display. Hindi ito gagana sa maraming display...

FOV (Field of View): ang viewing angle. Tinutukoy nito kung aling sektor ng mundo ang virtual camera ay nakukuha sa frame. Sinusukat ito sa degrees, hiwalay para sa vertical at horizontal. Ang maliit na FOV (40-50°) ay mukhang telephoto lens: makitid na sektor na may malalaking bagay. Ang malaking FOV (100-120°) ay wide-angle, tulad ng action camera. Marami kang nakikita sa mga gilid, ngunit ang mga gilid ay naka-stretch at ang mga bagay ay lumilitaw na mas malayo at mas maliit. Ito ay isang key parameter sa WibbleWobble. Dapat malaman ng programa ang anggulo kung saan iginuhit ng laro ang frame upang mai-project ito nang tama sa iyong pisikal na monitor. Iyon ang dahilan kung bakit ang Game Config ay may dalawang field, FOV Vertical at FOV Horizontal, na may isang kinakailangan: ang halaga ay dapat tumugma sa itinakda sa laro mismo. Baguhin ang isang halaga at ang isa pa ay awtomatikong muling kalkulahin upang tumugma sa aspect ratio ng window.

Kung ang FOV ay:
masyadong malaki ang mundo ay mukhang laruan at ang sukat ng mga bagay ay baluktot
masyadong mababa ang mundo ay tila napakalaki at lahat ay bumabaling sa iyo
sa 3D ang lalim ay nasisira kasabay ng sukat, at nagsisimula ang pagkapagod ng mata

Head-tracking bilang "bintana sa mundo"
Gamit ang OpenTrack method, sinusubaybayan ng application handler ang posisyon ng ulo at inililipat ang projection upang ang monitor ay mag-render ng virtual na bintana sa 3D scene. Lumilikha ito ng parallax effect. Kapag inilipat mo ang iyong ulo, bahagyang nagbabago ang imahe, na parang tunay kang tumitingin sa isang bintana.

Frame-sequential stereo output
Ang application ay tumatanggap ng mga frame mula sa laro sa variable na rate habang nagiging handa, "kung paano man dumating." Inaayos ng client ang frame rate para sa playback sa 60 Hz. Ang pinagmulan ng stereo pair ay maaaring SuperDepth3D, isang VR mod, o ready-made na 3D content. Tinatanggap ito ng WibbleWobble sa side-by-side o checkerboard format (Client Config -> Source Format) at ini-decode ito sa FrameBufferDecode. Pagkatapos ay ginagawang 120 Hz frame-sequential stream ng renderer habang nagsi-synchronize ng shutter glasses. Ang mga sumusunod na emitter ay sinusuportahan: NVIDIA 3D Vision, Open3DOLED, DLP projectors, 3D Ready, at isang homemade na Arduino/VESA IR emitter.

Labanan ang motion blur at cross-talk
Ang Motion blur ay blur na ginawa ng display. Ang mga modernong LCD at OLED panel ay nagpapanatili ng pixel na naiilawan sa buong tagal ng frame - ang sample-and-hold mode. Habang ang pixel ay nananatiling naiilawan at nakatakda sa isang posisyon, ang mga mata ay likas na patuloy na sumusunod sa gumagalaw na bagay. Bilang resulta, ang imahe ay "nagkakalat" sa retina mismo, kahit na ang bawat indibidwal na frame sa display ay perpektong matalim. Kung mas matagal na nananatiling naiilawan ang isang pixel, mas malakas ang pagkakalat. Itinatago ng depekto ang pinong detalye at dagdag pa nitong pinapababa ang kalidad ng imahe sa 3D mode.

Upang mabawasan ang oras ng pag-ilaw ng pixel, nagbibigay ang WibbleWobble ng dalawang tool:
Black Frame Insertion - pagpasok ng itim na frame sa pagitan ng mga kapaki-pakinabang (ang Black Frame Insertion Interval parameter sa Client Config).
CRT Beam Simulator ni Blur Busters - isang shader na ginagaya ang sweep ng electron beam ng CRT: binablangko nito ang imahe linya sa linya kaysa sa buong frame. Nagbibigay ito ng mas mahusay na resulta ngunit mabigat sa display: kailangan nito ang gamma 2.2 o 2.4, ABL/APL na naka-disable, at OLED sa SDR mode. Sa FALD at MiniLED panel ay hindi ito gumagana nang maayos dahil sa backlight inertia.

Ang dalawang mode na ito ay hindi dapat paganahin nang sabay. Kapag gumagamit ng CRT Sim, ang Black Frame Insertion Interval parameter sa Client Config ay dapat na zero. Nararapat na bigyang-diin nang hiwalay na ang laro ay maaaring tumakbo sa mas mababang rate kaysa sa display na naglalabas ng mga frame, at pinupunan ng programa ang mga nawawalang frame hanggang sa rate ng display. Ngunit hindi ito ang pagbuo ng mga bagong intermediate na imahe - ito ay pag-uulit ng mga ready na. Sa madaling salita, wala ang kinis na ibinibigay ng isang resampling method.

Ang Cross-talk ay ang epekto kung saan ang imahe na inilaan para sa isang mata ay bahagyang umaabot sa kabilang mata. Bilang resulta, ang manonood ay nakakakita ng dobleng contour o semi-transparent na "ghosts" sa tabi ng mga bagay. Pinapababa nito ang kalidad ng 3D na imahe at binabawasan ang pakiramdam ng lalim. Upang labanan ito, ang suporta para sa Black Frame Insertion at ang Blur Busters CRT-beam simulator ay built in. Para sa komprehensibong pagsugpo ng cross-talk, isang matalinong mode ang ginagamit: ang imahe ng laro ay iginuhit sa 60 Hz, ang mga salamin ay tumatanggap ng sync sa 120 Hz, at ang output sa screen ay tumatakbo sa 240 Hz na may pag-uulit ng frame.

Sa lahat ng mga kalamangan nito, ang paraang ito ay may mga limitasyon na dapat banggitin nang hiwalay. Ang mga ito ay hindi nagmumula sa anumang kakulangan ng programa kundi sa napiling prinsipyo ng operasyon. Ang pangalawang stereo viewpoint ay hindi nire-render mula sa scene model kundi muling binubuo mula sa isang tapos nang frame at isang depth map. Kung walang data tungkol sa kung ano ang nakatago sa likod ng mga foreground object sa source frame, wala itong mapagkukunan upang mabawi ito.

Mga butas sa gilid ng object - disocclusion
Ito ang pangunahing depekto ng paraan. Kapag inilipat ng programa ang viewpoint para sa pangalawang mata o para sa pag-ikot ng ulo, ang bahagi ng background na nakatago ng gilid ng isang foreground object sa source frame ay dapat na maging nakikita. Ngunit walang nag-render ng mga pixel na iyon - wala silang pisikal na pag-iral. Walang maipapasok ang programa upang punan ang puwang, kaya ito ay nag-uunat ng mga edge pixel, na nagdudulot ng "rubbery" na smeared halo sa mga contour, o nagpapalit ng isang "kapani-paniwala" ngunit kadalasan ay maling patch. Kung mas malakas ang viewpoint shift, mas malawak ang mga halo band. Hindi ito bug sa implementasyon kundi isang limitasyon ng paraan mismo: hindi mo maaaring kunin mula sa isang larawan ang nakatago sa likod ng mga object at hindi nakikita dito.

Ang paggalaw ng ulo ay nagpapalakas ng mga distortion
Sa ordinaryong stereo, ang distansya sa pagitan ng mga viewpoint ay maliit at pare-pareho - katumbas ng distansya sa pagitan ng mga pupil. Ngunit sa isang "bintana sa mundo," ang ulo ay naglalakbay ng sampu-sampung sentimetro sa iba't ibang direksyon, kaya ang relatibong paglilipat ng viewpoint ay maraming beses na mas malaki kaysa sa natural, at ang mga butas at pagpapahid ay lumalaki. Ganito ang nangyayari: umupo nang tahimik at halos walang artifact, ngunit mahina rin ang 3D effect; gumalaw nang marami at nandiyan ang effect, ngunit ang lahat sa mga gilid ng mga bagay ay napapahid at lumulutang.

Ang graphics ay umaasa sa depth map
Kailangan ng programa ng tamang impormasyon tungkol sa distansya sa bawat punto sa eksena. Hindi ito palaging ibinibigay ng laro, o hindi lahat ng ito. Ang mga transparent na surface - tubig, salamin, usok, apoy, dahon - ay karaniwang walang detalyadong depth, o hindi ito ginagawa ng engine. Bilang resulta, ang mga bagay ay napupunta sa maling distansya: ang tubig ay dumidikit sa maling lugar, nagdodoble ang usok, ang mga particle ay nakabitin sa hangin sa iba't ibang lugar. Bukod pa rito, hindi lahat ng laro ay naglalabas ng compatible na depth buffer - sa iba ito ay baligtad, sa iba ito ay protektado at hindi mabasa.

Ang mga reflection at highlight ang pinakasira
Ang mga salamin, tubig, basang aspalto, at metal ay tinutukoy ng depth ng kanilang sariling surface, hindi ng imagen na nakareflect sa kanila. Kapag lumipat ang viewpoint, ang reflection ay lumilihis sa kung saan man. Kung ang isang highlight ay "pinintura" sa surface, hindi ito kumikilos sa paraang dapat sa totoong mundo. Ang pinaka-kapansin-pansing glossy na content ang mukhang flat at mali sa stereo.

Interface, crosshair, at HUD
Ang mga two-dimensional na elemento sa ibabaw ng frame - health bars, menus, ang crosshair - ay iginuhit sa zero depth, kaya pagkatapos ng processing napupunta sila sa maling stereo distance. Ang interface ay dumidikit sa screen o nakabitin sa harap ng eksena. Ang crosshair ay isang sariling sakit ng ulo; ang depth position nito ay halos palaging kailangang i-adjust nang manu-mano.

Isang frame para sa dalawang mata
Parehong imagen ang nakikita ng dalawang mata, inilipat lang. Sa tapat na stereo rendering, bawat mata ay nakakakuha ng sarili nitong tamang highlights, shadows, at refractions; dito hindi iyon mangyayari. Dahil dito, ang mga bagay ay lumilitaw bilang flat na mga layer na pinutol mula sa plywood at inayos ayon sa depth, hindi bilang volumetric na mga katawan. Sa English-language na materyal, ang effect na ito ay tinatawag na "cardboard cutout" effect.

Per-game tuning
Ang field of view, depth range, at convergence ay itinatakda nang manu-mano para sa bawat laro nang hiwalay. Ang mali ay nagdudulot ng eye strain mula sa sobrang convergence, o ang maling scale, kung saan ang mundo ay mukhang parang laruan o higante, o kahit baligtad na depth. Ito ay isang "i-tune at alamin" na solusyon, hindi isang "i-install at maglaro" na solusyon.

Latency at hindi pantay na frames
Ang laro ay nagre-render ng mga frame nang hindi pantay, at ang client ay nag-aadapt sa kanila sa stable na fps ng display sa pamamagitan ng pag-uulit ng mga ready na frame. Ang pag-uulit mismo ay hindi nagdudulot ng distortion, ngunit ang latency sa pagitan ng aksyon at imagen ay nag-iipon: frame capture, processing, output. Para sa head tracking, ang anumang ganoong latency ay nararamdaman bilang "paglutang" ng eksena. Ang Game Config ay may Frame Capture Delay parameter para dito, upang i-tune ang capture moment.

Residual cross-talk at mataas na pangangailangan sa monitor
Mga teknik sa software - black frame insertion at ang 60/120/240 mode - pinipigilan ang ghosting, ngunit hindi ito tuluyang inaalis, dahil ang cross-talk ay natutukoy ng maraming salik: ang pisika ng display panel at ng mga salamin mismo. Depende ito sa pixel response time, switching speed, ang contrast ng mga lens ng salamin, at ang vertical draw rate ng screen. Bukod pa rito, ang pinaka-agresibong mode ay nangangailangan ng mabilis na 240 Hz panel na may maikling pixel persistence, na hindi lahat ng gumagamit ay mayroon. Hindi tulad ng NVIDIA 3D Vision, ang ReShade ay hindi nagre-reproduce ng ready-made volume kundi ini-synthesize ito mula sa flat frame. Iyon ang dahilan kung bakit ang mga butas sa tabi ng mga contour, maling reflections, at lumulutang na mga gilid ay stable na mga artifact ng pamamaraan, hindi isang pansamantalang kakulangan.

Ang stereo geometry dito ay tapat, at wala sa mga image-synthesis artifact - disocclusion, "cardboard," sirang reflections - ang naririto. Ngunit ang pamamaraang ito ay may sariling halaga rin, at ito ay iba.

Dapat suportahan ng laro ang VR
Ito ang pangunahing limitasyon. Ang pamamaraan ay hindi gumagana sa isang arbitrary na laro: nangangailangan ito ng alinman sa built-in VR support o isang VR mod. Kung walang ready mod na umiiral, ang OpenVR path ay hindi gagana, at tanging ReShade kasama ang lahat ng mga artifact nito ang natitira. Sa madaling salita, ang malawak na compatibility kung saan umiiral ang unang path ay ganap na nawawala dito.

Dobleng load sa graphics card
Ang eksena ay talagang nire-render nang dalawang beses, mula sa dalawang camera. Wala ang pagtitipid na ibinibigay ng reprojection ng isang view: bumababa ang performance tulad ng sa tunay na VR. Bahagyang nababawi ito ng Resolution setting sa VR Config - ang per-eye resolution ay maaaring ibababa, at i-scale ng WibbleWobble ang imahe pataas sa resolution ng display.

Kumplikadong pag-install
Dapat na naka-install ang SteamVR. Ang driver ay nirerehistro sa pamamagitan ng Install.bat na may administrator rights, pagkatapos nito ay dalawang linya ang dapat manu-manong idagdag sa config\steamvr.vrsettings file: "forcedDriver": "WibbleWobbleVR" at "activateMultipleDrivers": "true". Pagkatapos ay kumpletuhin ang Room Setup sa STANDING ONLY mode. Isang error sa alinmang hakbang at, sa halip na stereo, makakakuha ka ng itim na screen na walang malinaw na mensahe tungkol sa dahilan.

Mga limitasyon ng OpenVR mismo
Ang ilang mga setting ay hindi mababago on the fly. Kung babaguhin mo ang resolution o ang output rate, kailangan ng restart ng SteamVR. Ito ay limitasyon ng platform, hindi ng programa, ngunit kapansin-pansin nitong pinapabagal ang pag-tune ng mga laro.

Ang render optimization ay sumisira sa ilang mga laro
Ang VR Config ay may Optimise Single Eye parameter na nagpapahintulot sa pag-render ng isang mata lamang o pareho sa kalahating FOV. Ang may-akda ng proyekto ay direktang nagbabala: ang "Both" mode ay ang pinaka problematiko - posible ang vignetting at eye desynchronization, at ang imahe ay maaaring "mag-shift." Sa ilang mga laro ang optimization ay kailangang patayin nang buo.

Pakikipaglaban para sa window focus
Ang ilang mga laro ay hindi nagbibigay ng focus sa WibbleWobble interface: ang SHIFT + END key combination ay hindi nagti-trigger, o ang UI ay iginuguhit ngunit hindi makokontrol. Kailangan mong mag-switch nang manu-mano sa pamamagitan ng ALT + TAB. Isang hiwalay na problema: ang WibbleWobble window ay hindi dapat isara - ang programa ay hindi na makakabawi pagkatapos, at ang laro ay kailangang i-restart.

Recentering sa bawat launch
Ang pagsubaybay ay dapat na isentro nang manu-mano (SHIFT + .) sa bawat oras sa pagsisimula, na nakaposisyon nang eksakto sa gitna ng lugar ng trabaho sa harap ng mga screen. Kung ang ulo ay wala doon sa panahon ng pagsesentro, ang reprojection ay nagsisimulang kumilos nang kakaiba at ang sukat ay "nag-drift." Sa sariling pag-amin ng may-akda, ang pagtama sa tamang posisyon ay nangangailangan ng pagsasanay. Maaari itong ayusin sa ibang pagkakataon sa pamamagitan ng paggamit ng mas matalinong software sa pagsubaybay.

Mga kakaibang katangian ng mga indibidwal na aplikasyon
Ang ilang mga programa ay gumagana lamang sa ilang mga tatak ng headset. Para sa kanila, ang VR Config ay may parameter na Headset Identification na ginagawang ipakita ng WibbleWobble ang sarili nito bilang ibang device - Vive, halimbawa - kung wala ito ay hindi gumagana ang head tracking sa DEOVR. Sa madaling salita, ang pagiging tugma sa ilang lugar ay nakasalalay sa mga workaround na tulad nito.

Karaniwang batayan sa unang landas
Lahat ng tungkol sa hardware ay tumatayo para sa parehong pamamaraan: natitirang cross-talk, ang pangangailangan para sa mabilis na panel, ang pangangailangan para sa tumpak na pag-synchronize ng salamin. Ang stereo output, mga emitter, BFI, at CRT Sim ay gumagana nang pareho anuman ang pinagmulan ng stereo pair.