Sisältö

• Rajoitettu virran budjetti
• Kaistanleveys ja korkeat resoluutiot
• Alhainen viive ja näyttöpaneelit
• Ääni ja anturit
• Kehittäjät ja ohjelmistot
• Paketoida

Sukellamme lopulta syvästi vallankumoukseen, kuten jotkut saattavat sanoa, sillä laitteisto- ja ohjelmistotuotteita on markkinoilla runsaasti ja resursseja käytetään innovaatioiden vauhdittamiseen. Meillä on kuitenkin yli vuosi sitten, kun suuret tuotteet lanseerataan tässä tilassa, ja odotamme edelleen kyseistä tappajasovellusta, jotta virtuaalitodellisuudesta tulisi valtaosa menestys. Odottaessamme uudet kehitykset tekevät virtuaalitodellisuudesta edelleen kannattavamman kaupallisen vaihtoehdon, mutta ylitettävään joukko teknisiä esteitä on etenkin mobiili-VR-tilassa.

Rajoitettu virran budjetti

Ilmeisin ja eniten keskusteltu haaste mobiili virtuaalitodellisuussovelluksiin on paljon rajoitetumpi virran budjetti ja lämpörajoitukset verrattuna sen pöytätietokoneen vastaavuuteen. Intensiivisten grafiikkasovellusten käyttäminen akusta tarkoittaa, että akun käyttöiän säilyttämiseksi tarvitaan pienempiä komponentteja ja tehokasta energian käyttöä. Lisäksi käsittelylaitteiden läheisyys käyttäjälle tarkoittaa, että lämpöbudjettia ei voida myöskään nostaa korkeammalle. Vertailun vuoksi matkaviestin toimii tyypillisesti alle 4 watin rajoissa, kun taas työpöydän VR-GPU voi helposti kuluttaa 150 wattia tai enemmän.

On yleisesti tunnustettu, että mobiili VR ei aio sovittaa pöytätietokoneita raakatehoon, mutta se ei tarkoita, että kuluttajat eivät vaadi syventäviä 3D-kokemuksia terävällä tarkkuudella ja korkealla kuvanopeudella.

Yleisesti tunnustetaan, että mobiili VR ei aio verrata työpöytälaitteita raakatehoon, mutta se ei tarkoita, että kuluttajat eivät aio vaatia syventäviä 3D-kokemuksia terävällä resoluutiolla ja korkealla kuvanopeudella rajoitetusta virrasta huolimatta talousarvio. 3D-videon katselun, 360 asteen uusittujen kohteiden tutkimisen ja jopa pelaamisen välillä on edelleen paljon mobiili-VR: lle sopivia käyttötapoja.

Kun tarkastellaan tyypillistä mobiililaitteesi soC: ta, se aiheuttaa lisäongelmia, joita harvemmin arvostetaan. Vaikka mobiiliratkaisut voivat pakata kunnollisen oktaytimisen CPU-järjestelyn ja jonkin verran merkittävän GPU-tehon, näitä siruja ei ole mahdollista ajaa täysin kallistettuna virrankulutuksen ja aiemmin mainittujen lämpörajoitteiden takia. Todellisuudessa matkaviestimen VR-instanssin CPU haluaa ajaa mahdollisimman vähän aikaa, vapauttaen GPU: n kuluttamaan suurimman osan rajoitetusta virran budjetista. Tämä ei pelkästään rajoita pelilogiikkaan, fysiikan laskutoimituksiin ja jopa taustamobiiliprosesseihin käytettävissä olevia resursseja, mutta myös rasittaa tärkeitä VR-tehtäviä, kuten piirtää puhelut stereoskooppiseen renderointiin.

Teollisuus on jo kehittämässä ratkaisuja tähän, jotka eivät koske vain mobiililaitteita. Monikuvantoistoa tuetaan OpenGL 3.0: ssa ja ES 3.0: ssa, ja sen ovat kehittäneet Oculus, Qualcomm, Nvidia, Google, Epic, ARM ja Sony. Monikuvanäkymä mahdollistaa stereoskooppisen hahmontamisen yhdellä ainoalla piirtopuhelulla sen sijaan, että kutakin näkökohtaa olisi yksi, mikä vähentää CPU-vaatimuksia ja kutistaa myös GPU-vertex-työtä. Tämä tekniikka voi parantaa suorituskykyä 40-50 prosentilla. Mobiili-tilassa Multiview tukee jo useita ARM Mali- ja Qualcomm Adreno -laitteita.

Toinen innovaatio, jonka odotetaan näkyvän tulevissa mobiililaitteiden VR-tuotteissa, on hihnoitettu renderöinti. Silmäseurantatekniikan yhteydessä käytettävä, vaahdotettu renderöinti keventää GPU: n kuormitusta vain tekemällä käyttäjän tarkan polttopisteen täydellä resoluutiolla ja vähentämällä ääreisnäkymässä olevien kohteiden resoluutiota. Täydentää hienosti ihmisen visiojärjestelmää ja voi vähentää huomattavasti GPU: n kuormitusta, mikä säästää virrankulutusta ja / tai vapauttaa enemmän virtaa muihin CPU- tai GPU-tehtäviin.

Kaistanleveys ja korkeat resoluutiot

Vaikka prosessointiteho on rajoitettua mobiileissa VR-tilanteissa, alustalle asetetaan edelleen samat vaatimukset kuin muille virtuaalitodellisuusalustoille, mukaan lukien vaatimukset pienestä viiveestä, korkearesoluutioisista näyttöpaneeleista. Jopa ne, jotka ovat katsoneet VR-näyttöjä, joilla on QHD-tarkkuus (2560 x 1440) tai Rift-kuulokemikrofonin 1080 × 1200 -resoluutio silmää kohti, ovat todennäköisesti kuvan selkeyden vuoksi hieman alistuneet. Aliasointi on erityisen ongelmallista, koska silmämme ovat niin lähellä näyttöä, että reunat näyttävät erityisen karkealta näyttäviltä tai sakkoilta liikkeen aikana.

Vaikka prosessointiteho on rajoitettua mobiileissa VR-tilanteissa, alustalle asetetaan edelleen samat vaatimukset kuin muille virtuaalitodellisuusalustoille, mukaan lukien vaatimukset pienestä viiveestä, korkearesoluutioisista näyttöpaneeleista.

Raakavoimaratkaisuna on lisätä näytön resoluutiota 4K: n ollessa seuraava looginen eteneminen. Laitteiden on kuitenkin ylläpidettävä suurta virkistystaajuutta resoluutiosta riippumatta, 60 Hz: n katsotaan olevan vähintään, mutta 90 tai jopa 120 Hz on paljon parempia. Tämä asettaa suuren taakan järjestelmämuistille, missä se on kahdesta kahdeksaan kertaa enemmän kuin nykypäivän laitteissa. Muistin kaistanleveys on jo rajoitetumpi mobiili-VR: ssä kuin työpöytätuotteissa, joissa käytetään nopeampaa erillistä näytönohjainta kuin jaettua allasta.

Mahdollisia ratkaisuja graafisen kaistanleveyden säästämiseen ovat pakkaustekniikoiden, kuten ARM: n ja AMD: n Adaptive Scalable Texture Compression (ASTC) -standardin tai häviöttömän Ericsson Texture Compression -muodon käyttö, jotka molemmat ovat OpenGL: n ja OpenGL ES: n virallisia laajennuksia. ASTC: tä tuetaan myös ARM: n uusimmissa Mali-GPU-laitteissa, Nvidian Kepler- ja Maxwell Tegra SoC -sovelluksissa ja Intelin viimeisimmissä integroiduissa GPU-laitteissa, ja se voi säästää yli 50 prosentin kaistanleveydellä tietyissä tilanteissa verrattuna pakkaamattomien tekstuurien käyttöön.

Tekstuurien pakkaamisen käyttö voi vähentää huomattavasti 3D-sovellusten vaatimaa kaistanleveyttä, viivettä ja muistia. Lähde - ARM.

Myös muut tekniikat voidaan toteuttaa.Tessellaation käyttö voi luoda yksityiskohtaisemman näköisen geometrian yksinkertaisemmista objekteista, vaikkakin vaatimalla joitain muita merkittäviä GPU-resursseja. Viivästetty renderöinti ja eteenpäin suuntautuva pikselitapaaminen voivat välttää suljettujen pikselien tekemisen, kun taas binning- / laatoitusarkkitehtuureja voidaan käyttää kuvan jakamiseen pienempiin ruuduihin tai laattoihin, jotka kukin toimitetaan erikseen, ja jotka kaikki voivat säästää kaistanleveyttä.

Vaihtoehtoisesti tai edullisesti lisäksi kehittäjät voivat uhrata kuvanlaatua järjestelmän kaistanleveyden aiheuttaman stressin vähentämiseksi. Geometrian tiheys voidaan uhrata tai aggressiivisempaa teurastusta voidaan käyttää vähentämään kuormitusta, ja huipputietojen resoluutio voidaan alentaa 16-bittiseen, perinteisesti käytetyn 32-bittisen tarkkuuden alapuolelle. Monet näistä tekniikoista ovat jo käytössä erilaisissa matkaviestinpaketeissa, ja yhdessä ne voivat auttaa vähentämään kaistanleveyden rasitusta.

Paitsi, että muisti on merkittävä rajoitus mobiili-VR-tilassa, se on myös melko suuri virrankuluttaja, joka usein vastaa CPU: n tai GPU: n kulutusta. Säästämällä muistin kaistanleveyttä ja käyttöä, kannettavien virtuaalitodellisuusratkaisujen tulisi nähdä pidempi akun käyttöikä.

Alhainen viive ja näyttöpaneelit

Latenssiasioista puhuttaessa olemme toistaiseksi nähneet vain OLED-näyttöpaneeleissa urheilevia VR-kuulokkeita, ja tämä johtuu lähinnä nopeista pikselien vaihtoajoista, jotka ovat alle millisekunnin. Historiallisesti LCD on liitetty haamukysymyksiin erittäin nopeilla päivitystaajuuksilla, mikä tekee niistä melko sopimattomia VR: lle. Erittäin korkearesoluutioiset LCD-paneelit ovat kuitenkin edelleen halvempia tuottaa kuin OLED-vastaavia, joten siirtyminen tähän tekniikkaan voisi auttaa laskemaan VR-kuulokkeiden hinnat halvemmalle tasolle.

Liikkeen fotoniviiveen tulee olla alle 20 ms. Tähän sisältyy liikkeen rekisteröinti ja käsittely, grafiikan ja äänen käsittely ja näytön päivittäminen.

Näytöt ovat erityisen tärkeä osa virtuaalitodellisuusjärjestelmän yleistä viivettä, ja ne tekevät usein eron näennäisen ja ala-par-kokemuksen välillä. Ihanteellisessa järjestelmässä liikkeen fotoniviiveen - pään liikuttamisen ja näytön reagoinnin välillä kuluttavan ajan - tulisi olla vähemmän kuin 20 millisekuntia. Selvästi 50 ms: n näyttö ei ole tässä hyvä. Ihannetapauksessa paneelien on oltava alle 5 ms, jotta ne sopisivat myös anturin ja prosessoinnin latenssiin.

Tällä hetkellä on olemassa kustannustehokkuuden kompromissi, joka suosii OLED: ää, mutta se voi pian muuttua. Nestekidenäytöt, jotka tukevat korkeampia virkistystaajuuksia ja alhaisia ​​mustavalkoisia vasteaikoja, joissa hyödynnetään huipputekniikkaa, kuten vilkkuvia taustavaloja, voisivat sopia laskuun hienosti. Japan Display esitti juuri tällaisen paneelin viime vuonna, ja saatamme nähdä muiden valmistajien ilmoittavan myös vastaavista tekniikoista.

Ääni ja anturit

Vaikka suuri osa yleisistä virtuaalitodellisuusaiheista kiertää kuvanlaatua, syventävä VR vaatii myös korkean resoluution, alueellisesti tarkan 3D-äänen ja matalat latenssianturit. Matkapuhelinalueella tämä kaikki on tehtävä samassa rajoitetussa virran budjetissa, joka vaikuttaa suorittimeen, GPU: han ja muistiin, mikä asettaa lisähaasteita.

Olemme aiemmin käsitellyt anturien latenssiasioita, joissa liike on rekisteröitävä ja käsiteltävä osana 20 ms: n liikettä fotoniin -latenssirajassa. Kun katsomme, että VR-kuulokkeet käyttävät kuutta liikkumisastetta - kierto ja suunta molemmissa X-, Y- ja Z-akseleissa - sekä uutta tekniikkaa, kuten silmäseurantaa, siellä on huomattava määrä jatkuvaa tietoa keräämistä ja prosessointia varten, kaikki minimaalisesti viive.

Ratkaisut tämän latenssin pitämiseksi mahdollisimman pienenä vaativat kokonaisvaltaisen lähestymistavan, jossa sekä laitteistot että ohjelmistot pystyvät suorittamaan nämä tehtävät samanaikaisesti. Mobiililaitteille onneksi omistettujen pienitehoisten anturiprosessorien ja aina kytketyn tekniikan käyttö on hyvin yleistä, ja nämä toimivat melko pienellä teholla.

Äänen suhteen 3D-sijainti on tekniikka, jota on käytetty pitkään pelaamiseen ja sellaisiin, mutta pään liittyvän siirtofunktion (HRTF) käyttö ja konvoluutiokaikuprosessointi, joita vaaditaan realistiselle äänen lähteen paikannukselle, ovat melko prosessorin intensiivisiä tehtäviä. Vaikka nämä voidaan suorittaa CPU: lla, omistettu digitaalinen signaaliprosessori (DSD) voi suorittaa tämäntyyppisiä prosesseja paljon tehokkaammin, sekä käsittelyajan että tehon suhteen.

Yhdistämällä nämä ominaisuudet jo mainitsemiemme grafiikka- ja näyttövaatimuksiin on selvää, että useiden erikoistuneiden prosessorien käyttö on tehokkain tapa täyttää nämä tarpeet. Olemme nähneet, että Qualcomm tuottaa suuren osan lippulaivansa ja viimeisimmän keskitason Snapdragon-mobiiliympäristöjen heterogeenisestä laskentakyvystä, jotka yhdistävät useita prosessointiyksiköitä yhdeksi paketiksi ominaisuuksilla, jotka auttavat vastaamaan moniin näihin mobiililaitteiden VR-tarpeisiin. Todennäköisesti näemme pakettityypin useissa mobiileissa VR-tuotteissa, mukaan lukien erillinen kannettava laitteisto.

Kehittäjät ja ohjelmistot

Lopuksi, mikään näistä laitteistokehityksistä ei ole kovin hyvä ilman ohjelmistopaketteja, pelimoottoreita ja SDK: ita kehittäjien tukemiseksi. Loppujen lopuksi meillä ei voi olla jokaista kehittäjää keksimään pyörää jokaiselle sovellukselle. Kehityskustannusten pitäminen alhaisina ja nopeudet mahdollisimman nopeasti ovat avainasemassa, jos aiomme nähdä monenlaisia ​​sovelluksia.

Erityisesti SDK: t ovat välttämättömiä keskeisten VR-prosessointitehtävien, kuten asynkronisen aikawarpin, linssin vääristymien korjauksen ja stereoskooppisen renderoinnin toteuttamiseksi. Puhumattakaan virran, lämmön ja prosessoinnin hallinnasta heterogeenisissä laitteistoasetuksissa.

Onneksi kaikki suuret laitteistoalustavalmistajat tarjoavat SDK: ita kehittäjille, vaikka markkinat ovat melko hajanaiset, mikä johtaa alustojen välisen tuen puuttumiseen. Esimerkiksi Googlella on VR SDK Androidille ja oma SDK suositulle Unity-moottorille, kun taas Oculus Mobile SDK on rakennettu yhdessä Samsungin kanssa Gear VR: lle. Tärkeää on, että Khronos-ryhmä julkisti äskettäin OpenXR-aloitteen, jonka tavoitteena on tarjota sovellusliittymä, joka kattaa kaikki tärkeimmät alustot sekä laite- että sovellustasoilla, jotta helpotettaisiin alustojen välistä kehittelyä. OpenXR saattoi nähdä tukea ensimmäisessä virtuaalitodellisuuslaitteessaan joskus ennen vuotta 2018.

Paketoida

Joistakin ongelmista huolimatta tekniikkaa on kehitteillä ja jossain määrin jo täällä, mikä tekee mobiilista virtuaalitodellisuudesta toimivan useissa sovelluksissa. Mobiili-VR: llä on myös useita etuja, jotka eivät yksinkertaisesti koske työpöytävastaavia, mikä tekee siitä edelleen sijoituskohteen ja intrigaation arvoisen alustan. Siirrettävyyskerroin tekee mobiili-VR: stä vakuuttavan alustan multimediakokemuksille ja jopa kevyelle pelaamiselle ilman, että tarvitaan johtoja, jotka on kytketty tehokkaampaan tietokoneeseen.

Lisäksi markkinoilla olevien sellaisten mobiililaitteiden suuri määrä, jotka on yhä enemmän varustettu virtuaalitodellisuusominaisuuksilla, tekee siitä valitun alustan suurimman kohdeyleisön saavuttamiseksi. Jos virtuaalitodellisuudesta tulee yleistä alustaa, se tarvitsee käyttäjiä, ja mobiili on suurin käyttäjäkunta, jota napauttaa.