2/2018

Kokeessa kone kuulee tarkemmin kuin sinä

– Koneet alkavat tulla tietoiseksi ympäristöstään. Ne pystyvät tunnistamaan samoja ääniä, joita ihminen havainnoi ympäristöstään koko ajan, sanoo audiosignaalinkäsittelyn professori Tuomas Virtanen.

Tuomas Virtanen

 

Professori Tuomas Virtanen tutkii menetelmistä, joilla kone opetetaan tunnistamaan ja tulkitsemaan ääntä.

 

Tuomas Virtanen kertoi juhlaluennossaan menetelmistä, joilla kone opetetaan tunnistamaan ja tulkitsemaan ääntä. Yksi tutkimusvälineistä on mikrofoni, joka sisältää itse asiassa 32 mikrofonia pallon pinnalla. Sillä tehdystä nauhoituksesta pystyy tunnistamaan, mistä suunnasta ääni tulee sekä erottelemaan ääniä niiden sijainnin perusteella.

Virtanen kehittää laskennallisia menetelmiä, joilla koneet tunnistavat ja prosessoivat ääntä, niin yksittäisiä äänitapahtumia kuin kokonaisia ääniympäristöjä. Koneoppimisen kehittymisen ansiosta alan tutkimus on viime vuosina ottanut aimo harppauksen eteenpäin.

– Koneoppimista on tehty vuosikymmeniä, mutta syväoppiminen on tuonut äänten analysointiin tarkkuuden, joka on lähellä ihmisaisteja.

Parhaillaan Virtanen kehittää Euroopan tutkimusneuvoston (ERC) rahoittamassa viisivuotisessa projektissa äänten tunnistusta jokapäiväisissä ympäristöissä, kuten kotona, kadulla, junassa, kaupassa tai toimistossa.

– Olemme verranneet, miten automaattiset menetelmät ja ihmiskuulijat tunnistavat erilaisia ympäristöjä, ja todenneet, että riittävän rajatussa ongelmassa kone pystyy tuottamaan paljon tarkempaa tietoa kuin ihminen.
Kuulolaite on lisättyä todellisuutta

Virtasen mukaan myös perinteisestä koneoppimismenetelmästä, hahmontunnistuksesta, on tullut yleiskäyttöinen työkalu, jonka yksi käyttökohde on yksittäisten äänilähteiden erottelu. Juuri sitä on tehty projektissa, jossa yhteistyökumppanina on maailman toiseksi suurin kuulolaitevalmistaja Oticon.

– Yli viisi prosenttia maailman väestöstä kärsii sosiaalisesti rajoittavista kuulovaurioista, ja heille erityisesti meluisat ympäristöt ovat hyvin haastavia. Olemme kehittäneet menetelmiä, jotka kuuntelutestien perusteella parantavat puheen ymmärrettävyyttä 30 prosenttia.

Pohjimmiltaan kuulolaitekin on lisättyä todellisuutta: se erottelee esimerkiksi kahden puhujan äänen, ja kuulija voi valita, kumpaa kuuntelee, tai kuunnella toista vasemmalla ja toista oikealla korvalla.

Ääni vastaan kuva

Äänen ja kuvan käyttökelpoisuutta todellisuuden analysoinnissa Virtanen on tutkinut yhdessä konenäköön, kuvaan ja videoon erikoistuneen professori Joni Kämäräisen tutkimusryhmän kanssa.

– Videoista kaikkein tarkimman analyysin saa kuvan ja äänen yhdistelmästä, mutta joskus äänestä saa tarkemman analyysin kuin kuvasta.

Äänen etuja on se, että se kulkeutuu nurkan taakse ja jopa esineiden läpi ja yhtä hyvin sekä valoisassa että pimeässä.

– Sen takia esimerkiksi Itävallan tunneleissa käytetään onnettomuuksien tunnistuksessa mikrofoneja. Ääni kulkeutuu pitkässäkin tunnelissa helposti. Siinä missä valvontaan tarvittaisiin paljon kameroita, mikrofoneja riittää muutama.

Reaalimaailmaan ja lisättyyn todellisuuteen

Ääntä käytetään jo monissa kaupallisissa valvontasovelluksissa murto- ja itkuhälyttimistä liikenteen akustiseen valvontaan.

– Toinen tärkeä sovellusalue ovat kontekstitietoiset laitteet eli laitteet, jotka pystyvät muuttamaan toimintaansa havaitsemiensa äänten perusteella. Kuulokoje on yksi esimerkki, mutta myös autonominen auto voisi hiljentää vauhtiaan tunnistaessaan lasten ääniä läheltään.

Ääni voi olla tarpeen myös multimediatiedonhaussa. Sen avulla voi etsiä omasta videokirjastosta tiettyjä ääniä sisältäviä videoita, vaikkapa kissavideoita.

– Lisäksi se, että pystymme erottelemaan ääniä ympäristöstä, merkitsee, että pystymme myös tuottamaan kokonaan uusia ääniympäristöjä esimerkiksi lisätyn todellisuuden sovelluksiin.

Koeasetelmista sovelluksiin vielä matkaa

Virtanen sanoo, että syväoppimisella saadaan tarkkoja tuloksia kontrolloiduissa ympäristöissä ja hyvillä laitteistoilla, mutta kun siirrytään aitoihin ympäristöihin ja käytetään heikompia laitteita, tekemistä vielä riittää.

– Toinen iso tutkimuskysymys liittyy siihen, että koneiden opettaminen tunnistamaan ääniä vaatii esimerkkimateriaalia. Äänitysten tekeminen on helppoa, mutta niistä tehtävä annotointi eli äänten sisällönkuvailu on nykymenetelmillä työlästä ja hidasta. Siihen kehitämme parempia menetelmiä.

Tuomas Virtanen oli yksi seitsemästä TTY:n uudesta professorista, jotka pitivät juhlaluentonsa 21. maaliskuuta. Juhlaluentonsa pitivät Virtasen lisäksi laskennallisen fysiikan professori Jaakko Akola, tietojohtamisen professori Nina Helander, elektroniikan ja tietoliikennetekniikan professori Evgeny Kucheryavy, materiaalitekniikan professori Pasi Peura, laskennallisen systeemibiologian professori Andre S. Ribeiro, TUT Industry Professor Matti Sommarberg.

Teksti: Kati Vastamäki
Kuva: Mika Kanerva

 
Kerro kaverille
Sydän sykkii kuoppalevyllä
Sydän sykkii kuoppalevyllä
2/2018
Sydän sykkii kuoppalevyllä
Jos vaalit uniaikaasi, et ota
Jos vaalit uniaikaasi, et ota
2/2018
Jos vaalit uniaikaasi, et ota
Leikkaussalihenkilökunta altistuu haitallisille määrille pienhiukkasia
Leikkaussalihenkilökunta altistuu haitallisille määrille pienhiukkasia
2/2018
Leikkaussalihenkilökunta altistuu haitallisille määrille pienhiukkasia
TTY sijoittaa vastuullisesti
TTY sijoittaa vastuullisesti
2/2018
TTY sijoittaa vastuullisesti
Ihminen ratkaisee uudessa Tampereen yliopistossa
Ihminen ratkaisee uudessa Tampereen yliopistossa
2/2018
Ihminen ratkaisee uudessa Tampereen yliopistossa
Tietokone bakteerien sisälle
Tietokone bakteerien sisälle
2/2018
Tietokone bakteerien sisälle
Laitelahjoitus tukee lääketieteen tekniikan opetusta
Laitelahjoitus tukee lääketieteen tekniikan opetusta
2/2018
Laitelahjoitus tukee lääketieteen tekniikan opetusta
ALD-teknologialla tehdään huipputehokkaita aurinkokennoja
ALD-teknologialla tehdään huipputehokkaita aurinkokennoja
2/2018
ALD-teknologialla tehdään huipputehokkaita aurinkokennoja
Lisää laitteita, lisää dataa – ja kriittisiä tutkimusongelmia
Lisää laitteita, lisää dataa – ja kriittisiä tutkimusongelmia
2/2018
Lisää laitteita, lisää dataa – ja kriittisiä tutkimusongelmia
Aamun ensi ajatus: Let’s do it!
Aamun ensi ajatus: Let’s do it!
2/2018
Aamun ensi ajatus: Let’s do it!
Keitä professorimme ovat?
Keitä professorimme ovat?
2/2018
Keitä professorimme ovat?

Tampereen teknillinen yliopisto on teknologisen kehityksen tiennäyttäjä sekä tutkimusmaailman ja elinkeinoelämän yhteistyökumppani. Yliopistosta valmistuu haluttuja osaajia yhteiskunnan eri aloille.

Käyntiosoite:
Korkeakoulunkatu 10,
33720 Tampere

Postiosoite:
PL 527, 33101 Tampere

Puhelinvaihde:
03 311 511
ma–pe kello 8–16.15
kesällä ma–pe 8–15.45

Virallinen sähköpostiosoite:
tty.asiointi@tut.fi