Sisältö
Live-kuvateksti on vielä yksi hienoimmista Android-ominaisuuksista, ja se käyttää laitteiden koneoppimista otsikoiden luomiseen paikallisille videoille ja web-leikkeille.
Google on julkaissut blogiviestin, jossa kuvataan tarkalleen, kuinka tämä hieno ominaisuus toimii, ja se koostuu oikeastaan kolmesta laitteen koneoppimismallista aloittelijoille.
Itse puheentunnistukseen on olemassa toistuva neuroverkkosekvenssimuunnos (RNN-T), mutta Google käyttää myös toistuvaa neuroverkkoa välimerkien ennustamiseen.
Kolmas laitteessa käytettävä koneoppimismalli on konvoluutiohermoverkko (CNN) äänitapahtumille, kuten lintujen sävytys, ihmisten taputus ja musiikki. Google sanoo, että tämä kolmas koneoppimismalli on johdettu sen työstä Live Transcribe -sovellussovelluksella, joka pystyy transkriboimaan puhe- ja äänitapahtumat.
Live-kuvatekstin vaikutuksen vähentäminen
Yrityksen mukaan se on toteuttanut useita toimenpiteitä vähentääksesi Live Captionin akun kulutusta ja suorituskykyvaatimuksia.Yhden osalta täydellinen automaattinen puheentunnistusmoottori (ASR) toimii vain, kun puhe todella tunnistetaan, toisin kuin jatkuvasti taustalla.
”Esimerkiksi kun musiikki havaitaan ja puhetta ei ole äänivirrassa, tarra näkyy näytöllä ja ASR-malli puretaan. ASR-malli ladataan takaisin muistiin vasta, kun puhetta on taas äänivirrassa ”, Google selittää blogiviestissään.
Google on myös käyttänyt tekniikoita, kuten hermoyhteyden karsimista (pienentänyt puumallin kokoa), vähentäen virrankulutusta 50% ja sallinut Live Caption -sovelluksen jatkuvan toiminnan.
Google selittää, että puheentunnistustulokset päivitetään muutaman kerran sekunnissa, kun tekstitys muodostuu, mutta välimerkit ovat erilaisia. Haku jättiläinen sanoo, että se välittää välimerkit "viimeisimmin tunnistetun lauseen tekstin päähän" resurssitarpeiden vähentämiseksi.
Live-kuvateksti on nyt saatavana Google Pixel 4 -sarjassa, ja Google sanoo, että se on saatavana ”pian” Pixel 3 -sarjassa ja muissa laitteissa. Yrityksen mukaan se pyrkii tukemaan myös muita kieliä ja parempaa tukea monikieliselle sisällölle.
