Sisältö

• Kuinka hermoverkot toimivat
• Neuroverkot älypuhelimesi sisällä
• AI voisi muokata valokuvauksen tulevaisuutta

Laskennallisen valokuvauksen, korkealaatuisten kameralaitteiden ja kuvasignaaliprosessorien lisäksi huippuluokan mobiilivalokuvausta käytetään yhä enemmän koneoppimisalgoritmeilla, joita kutsutaan myös tekoälyksi (AI). Tämä valokuvaustekniikka lupaa parantaa laatua pyrkiessään kohti DSLR-tyyppistä laatua tarjoamalla samalla luovia uusia tapoja kuvata ja muokata kuvia ja videoita.

Avain koneoppimiseen on hermoverkkojen käyttö. Tämä on eräänlainen algoritmi, joka verrataan usein ihmisen aivoihin. Tämä vertailu perustuu neuroverkon kykyyn kouluttaa tietämysten avulla tunnistamaan kuvioita, jolloin se voi tehdä erittäin tarkat luokitukset monimutkaisille tietotyypeille, kuten ääni ja kuvat.

Valokuvilla on kyky tarkkailla, oppia, tuottaa ja luokitella monenlaisia ​​sovelluksia. Nämä sovellukset voivat sisältää ominaisuuksia, kuten rakentamisen laskennallisiin valokuvaustekniikoihin jälkikäsittelyalgoritmien parantamiseksi, reaaliaikaisen ohjelmistokehityksen 4K-videolla tai jopa täydellisen vaihdon käyttämiesi vaatteiden väreistä.

Kuinka hermoverkot toimivat

Neuraaliverkot ovat erittäin monimutkainen aihe, joten käsittelemme tässä vain perusasioita. Tarkempi lukeminen on täällä ja täällä.

Neuraaliverkot koostuvat solmuista, jotka ovat merkki siitä, missä laskenta tehdään. Jokainen solmu yhdistää tulon painolla, joka vahvistaa tai heikentää kyseisen solmun merkitystä. Useat solmut toimivat usein samanaikaisesti, muodostaen solmukerroksen, joka suorittaa suuremman tehtävän. Tämä voi olla esimerkiksi piirteiden havaitseminen kuvassa. Useita solmuja ja kerroksia voidaan summata yhteen ja siirtää muille solmuille ja tasoille muodostaen syvemmän verkon, jolla on tehokkaammat ominaisuudet.

Kunkin solmun ja kerroksen lähtö skaalataan todennäköisyysfunktioksi. Tarkastelemalla paljon erilaisia ​​ominaisuuksia ja määritteitä hermoverkko voi arvioida syötteen todennäköisyysosumana kaikkia odotettuja potentiaalisia ulostuloja vastaan. Näin kuvan tunnistusalgoritmit päättävät, näyttääkö kuva kissa tai oranssi, mutta sinun on kerrottava sille, mitä on ensin etsittävä.

Neuraaliverkkoja ei ole ohjelmoitu aivan kuten perinteiset tietokonealgoritmit. Sen sijaan heitä koulutetaan tietojoukkoihin, kuten kuviin, äänitiedostoihin jne. Kunkin solmun painoa säädetään asteittain ajan kuluessa palautussilmukan avulla sen perusteella, kuinka hyvin verkko meni sovittamalla tulot oikeisiin lähtöihin. Tämä sääntöjen asteittainen “oppiminen” vie huomattavasti valmistelua, aikaa ja laskentatehoa, mutta tuottaa ilmiömäisen tarkkoja tuloksia.

Neuroverkot älypuhelimesi sisällä

Neuraaliverkot voivat toimia monilla laitteistokomponenteilla, mukaan lukien CPU- ja GPU-osat, jotka ovat yleisiä useiden tietokonelaitteiden sisällä, mukaan lukien älypuhelin. Jotkut hermoverkot voivat kuitenkin vaatia enemmän prosessointitehoa kuin nämä laitteistokomponentit voivat antaa, ja omistettu laitteisto voi tarjota tarvittavan optimaalisen prosessoinnin.

Esimerkiksi Qualcomm® Snapdragon ™ 855 -käyttöympäristön sisällä on viimeisin Qualcomm® Hexagon ™ 690 -signaaliprosessori (DSP), joka tarjoaa parannettuja Vector-prosessointiyksiköitä ja uuden Tensor-kiihdyttimen, joka on tarkoitettu erityisesti koneoppimistehtäviin. Muissa Snapdragon-mobiiliympäristöissä on myös Hexagon DSP-komponentti, jolla on erilaisia ​​ominaisuuksia. Tällöin hermoverkot eivät rajoitu vain DSP: n käyttämiseen Snapdragonissa ja muilla mobiiliympäristöillä. Käytetyn suorittimen tyyppi riippuu työkuormasta.

Qualcomm Snapdragon 855 -konetyön parannukset edelliseen sukupolveen verrattuna

Qualcomm Technologies avaa DSP- ja koneoppimisominaisuutensa ulkopuolisille kehittäjille Qualcomm® Neural Processing SDK: n avulla. Tämän avulla sovellukset voivat ajaa hermoverkkoja minkä tahansa laitteiston ytimen kautta Snapdragon Mobile -ympäristössä. Esimerkiksi Google Pixel -älypuhelimet hyödyntävät Hexagon DSP: tä ja omaa Visual Corea nopeuttaakseen sen vaikuttavaa HDR + -ominaisuutta. Qualcomm Technologies työskentelee ohjelmistotoimittajien, kuten Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho ja muiden, kanssa ja tukee ominaisuuksia video bokehista avatarien luomiseen DSP: llä käynnissä olevan koneoppimisen avulla.

AI voisi muokata valokuvauksen tulevaisuutta

Nyt tiedämme kuinka hermoverkot toimivat, tärkeä kysymys on, mitä se voisi tehdä meille ja valokuvillemme?

Neuraaliverkkoja käytetään parantamaan erilaisia ​​yleisiä valokuvausalgoritmeja. Esimerkiksi melunpoistoa voidaan parantaa koulutuksella tarjoamalla erinomainen kuvanpuhdistus räätälöitynä tietylle kameralle tai kuvaustyypille. Samoin heikossa valossa hermoverkko voisi havaita kuvan kirkkaat ja tummat osat, mikä mahdollistaa valon ja värin parannukset kohtauksen tietyissä osissa.

Edistyneemmät käyttötapaukset ovat yhä yleisempiä älypuhelinvalokuvauksessa. Superresoluutioiset zoomaukset käyttävät hermoverkkoja yhdistämään useita kuvia yhdeksi korkearesoluutioiseksi kuvaksi, jotta saadaan ylivoimaisen näköinen digitaalinen zoom. Neuraaliverkot voitaisiin myös kouluttaa kiinnittämään useita valokuvavalotuksia tarkasti yhdessä parannetun HDR- ja yökuvien saamiseksi.

AI-valokuvaukseen voisi sisältyä superresoluutioinen zoom, reaaliaikainen bokeh ja parempi kuvanlaatu.

Videoille voisi myös olla hyötyä tämän tekniikan omaksumisesta. Reaaliaikainen kohteiden havaitseminen on suunniteltu antamaan sovelluksille mahdollisuuden tuoda ohjelmistobokeh-tehosteita suoraan videoon nauhoitettaessa. Samankaltaiset tekniikat tukevat myös reaaliaikaista objektien vaihtoa ja poistoa. Tähän sisältyy videon taustan vaihtaminen, värien muuttaminen tai poistaminen ja jopa vaatekappaleiden vaihtaminen tai digitaalisten avatareiden päällekkäin saattaminen suoraan videoosi.

Neuraaliverkkojen ja AI-valokuvien teho vaihtelee DSLR: n aukon poistamiseen tarkoitettujen laadunparannuksista tehokkaisiin luovuustyökaluihin, joiden avulla ainutlaatuisen sisällön tuottaminen on helppoa. Joka tapauksessa se on tehokas tekniikka, joka on olennaisen tärkeä tulevaisuuden parannuksissa, jotka suuntaavat mobiilivalokuvausta.

Seuraava: Google Pixel 3 XL: n kansainvälinen lahja!

Sisältöä sponsoroi Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine ja Qualcomm Kryo ovat Qualcomm Technologies, Inc: n ja / tai sen tytäryhtiöiden tuotteita.