Razgovori petkom: Sveti gral mašinskog učenja

30. 03. 2019.

Pedro Domingos je profesor računarstva i inženjeringa na Univerzitetu Vašington. On je dobitnik nagrade za inovaciju SIGKDD, a koja, za vašu informaciju, predstavlja najveću počast u nauci o podacima. Kažu da je otprilike sedam godina vremenski period potreban da postanete stručnjak iz oblasti nauke o podacima. Ovaj čovek je 2001. godine održao jedno od svojih prvih predavanja o veštačkoj inteligenciji. Iza sebe ima decenije istraživanja, napornog rada i angažmana. Autor je knjige Master algoritam. Pošto mi se ova knjiga mnogo dopada, želeo bih da podelim glavne utiske u ovom blog-postu. Znam da svi obožavamo Andreja, ali što se mene tiče, našao sam još jedno božanstvo ovde na Zemlji. Pedro Domingos je ime koje sam propustio da spomenem u svom prethodnom postu. A tu je i gomila važnih imena na koja sam potpuno zaboravio. Ali, na sreću, imam priliku da to ispravim. 🙂 Ako vam se dopala priča o ježu i lisici, ostanite sa nama, jer će biti još zanimljivije! 😉

Pet plemena mašinskog učenja

U svojoj knjizi, Pedro govori o nečemu što on naziva – plemenima mašinskog učenja. O čemu se radi? Kladim se da to možete predvideti. Kao i u svakom drugom polju, postoje različiti tokovi koje možete pratiti. A to zavisi od vaših uverenja i preferencija. Ovo je tačka gde cela ova diskusija o generalistima i specijalistima eskalira. Dakle, ne radi se samo o jednostavnoj podeli na generaliste i specijaliste, već i o paradigmama kojima sledite, što stvari čini još komplikovanijim. 😀 Ili možemo to zvati zanimljivim. Kao da sam oduvek znao da postoje različiti načini razmišljanja i pristupi, ali nisam mogao da povučem tačnu liniju između njih. Pedro navodi sledeće osnovne pravce: konekcionisti, evolucionisti, bajesovci, analogizatori i simbolisti. Pre nego što uđemo dublje u ove termine, hajde da kažemo nešto uopšteno. Svaki pristup nalazi svoje poreklo u različitim oblastima nauke i istraživanja. Svaki od njih ima svoj glavni algoritam, učenika opšte namene koji može (ili barem – veruje se da može) da se koristi za učenje svega. Ako mu date dovoljno podataka. I moć računara. I još neke podatke. I iako možda težite jednom od ovih pristupa, ne možete sa sigurnošću reći koji je najbolji ili najmoćniji. Svaki od njih ima svoje prednosti u specifičnim domenima problema. Sa druge strane, svaki od njih ima svoje nedostatke.  Hajde da prošetamo kroz ove „škole misli“ u mašinskom učenju.

Konekcionisti

Ovo je možda najpopularniji pristup danas, jer uključuje neuronske mreže, a samim tim i duboko učenje. Konekcionisti veruju da probleme treba rešavati na način na koji to ljudi rade. Dakle, svoju osnovu pronalaze u neuronauci, pokušavajući da oponašaju ljudski mozak. Da budemo precizni, konekcionisti polude kada neko kaže da neuronske mreže oponašaju ljudski mozak. Zato što to ne rade. Ljudski mozak je mnogo složeniji i ne može se lako oponašati, jer ima mnogo stvari koje tek treba otkriti. Neuronske mreže koriste samo ljudski mozak kao inspiraciju, a ne model koji se slepo sledi. Sastoje se od računarskih jedinica – neurona, koji uzimaju ulaze, izračunavaju njihovu ponderisanu sumu, prosleđuju rezultat kroz neku funkciju aktivacije i prosleđuju taj izlaz neuronima u sledećem sloju. Opšta ideja je jednostavna – uzmite ovaj ulaz, pustite neuronima da izvode magiju i vratite neku izlaznu vrednost. Ali kako neuronske mreže uče, kako generišu izlaznu vrednost koju bi trebalo? Korišćenjem povratnog širenja, što se smatra njihovom najvećom prednošću. Greška se prenosi nazad sa izlazne vrednosti na prethodne slojeve mreže da bi se izvršilo podešavanje težina, kako bi greška bila najmanja moguća. I zaista su moćni i široko korišćeni. Prepoznavanje slika, istraživanje raka, obrada prirodnog jezika, svejedno. Ali i dalje postoje neki nedostaci, kao što je količina potrebnih podataka. Ili nedostatak interpretabilnosti. Dug je put do toga, ali konekcionisti veruju da bi jednom mogli postati svemoćni algoritam.

Evolucionisti

Evolucionisti idu korak dalje od konekcionista. Oni tvrde da je evolutivni proces daleko moćniji od procesa ljudskog rasuđivanja, pošto je, na kraju, evolucija pokrenula rasuđivanje kakvo je danas. Oni imaju korene u evolucionoj biologiji. Postoji nekoliko najpoznatijih evolucionista: Džon Holand je razvio genetske algoritme, Džon Koza je razvio genetsko programiranje, dok je Hod Lipson nastavio ovaj razvoj kroz evoluciono učenje. Kako funkcioniše genetski algoritam? Na početku procesa imamo populaciju pojedinaca. U centru pažnje je genom, koji opisuje svaku individuu (u računanju predstavljenom u bitovima). Dakle, svaki pojedinac se procenjuje za konkretan zadatak koji treba da reši, kako bi pojedinci koji se najbolje uklapaju imali veće šanse da prežive i budu roditelji sledeće generacije. U ovom procesu genomi dve osobe se kombinuju da bi se stvorio dečji genom, koji sadrži po jedan deo genoma od svakog roditelja. Kao i u evoluciji, može se desiti nasumična mutacija genoma, tako je i u evolucionom učenju, tako da praktično dobijamo novu populaciju u svakoj generaciji. Ovaj proces se ponavlja sve dok ne dobijemo generaciju sa najboljim pojedincima koji mogu optimalno da reše problem. Dok konekcionistički pristup samo prilagođava težine kako bi se uklopio u fiksnu strukturu, evolucionistički pristup je u stanju da nauči strukturu, da smisli samu strukturu.

Bajesovci

Sada, Bajesovci pronalaze svoje poreklo u statistici. Pošto je sve neizvesno, oni kvantifikuju neizvesnost izračunavanjem verovatnoće. Oni se klanjaju Bajesovoj teoremi. Ali kako se odvija njihov proces učenja? U početku definišu neke hipoteze. Nakon toga izračunavaju prethodnu verovatnoću za svaku hipotezu, što znači koliko veruju da je hipoteza istinita pre nego što saznaju bilo šta o njoj. Pedro primećuje da je to najkontroverznija činjenica u njihovom procesu učenja. Kako možete pretpostaviti nešto bez podataka? Ali kako dokazi dolaze, oni ažuriraju verovatnoću svake hipoteze. Oni takođe mere verovatnoću, koja govori koliko je verovatan dokaz, s obzirom da je hipoteza tačna. Nakon toga, oni mogu izračunati posteriornu verovatnoću koja govori koliko je hipoteza verovatna s obzirom na uočeni dokaz. Dakle, hipoteza koja je u skladu sa podacima imaće sve veću verovatnoću i obrnuto. Najveća prednost ovog pristupa je njegova sposobnost merenja neizvesnosti. I to je često problem. Uopšteno govoreći, novo znanje koje generišemo je u početku neizvesno i dobro je tu neizvesnost kvantifikovati. Možda niste baš svesni toga, ali samovozeći automobili imaju Bajesove mreže implementirane unutra i koriste ih za proces učenja. Neki od najpoznatijih bajesovaca su Džudea Perl, koji je razvio moćne bajesovske mreže, Davin Hekerman i Majkl Džordan. Kažu da su bajesovci najfanatičniji od svih plemena, tako da se ne bih petljao sa njima, da budem iskren.😉

Analogizatori

Osnovna ideja koju donose analogizatori je rasuđivanje po analogiji. Prebaciti rešenje poznate situacije u novu situaciju sa kojom se suočava. Kao što možete reći, oni pronalaze svoje poreklo u nekoliko oblasti nauke, ali uglavnom u psihologiji. Piter Hart je jedan od najpoznatijih analogizatora, pošto se dosta bavio algoritmom najbližeg suseda. Vladimir Vapnik je pronalazač mašina za vektor podrške, poznatih kao kernel mašine. Kao još jedan analogizator, Daglas Hofštater je radio na sofisticiranijim temama koje je predstavio u svojoj knjizi. Pedro kaže da je u jednoj od svojih knjiga Daglas čak potrošio pet stotina stranica samo tvrdeći da je sva inteligencija čista analogija. Sada, možda treba da preispitamo fanatike ovde. 😀 Dakle, u osnovi, ono što oni tvrde je da možemo proširiti naše znanje istražujući nove fenomene kroz vođenje analogije sa drugim poznatim fenomenima. Najpoznatija primena učenja zasnovanog na analogiji su sistemi preporuke. I to zaista ima smisla! Ako želite da odredite šta da predložite kupcu kao sledeće, onda proverite šta se dopalo sličnim kupcima i analogno plasirajte slične ponude datom kupcu. Najbolja kompetencija analogizatora je sposobnost generalizacije iz samo nekoliko primera. Često se susrećemo sa nepoznatim problemima, a njihov pristup učenjem korišćenjem sličnosti je dobro rešenje problema u tim slučajevima. Tako jednostavno, zar ne?

Simbolisti

Simbolisti svoje poreklo nalaze u logici i filozofiji. Njihova glavna svrha je popunjavanje praznina u postojećem znanju. Učenje je indukcija znanja. Indukcija je u osnovi obrnuta dedukcija. Opšta pravila se sastoje od konkretnih činjenica, pa proces indukcije uključuje prelazak od konkretnih činjenica ka opštim pravilima. Ali ne samo to.  Na osnovu nekih poznatih pravila indukuju nova pravila, kombinuju ih sa poznatim činjenicama i postavljaju pitanja koja se nikada ranije nisu postavljala, što dovodi do novih pravila i odgovora koji sve više obogaćuju znanje. Praktično, oni započinju proces sa nekim osnovnim znanjem, zatim formulišu hipotezu, osmišljavaju eksperimente, sprovode ih i na osnovu rezultata se dorađuju hipoteze ili se generišu nove hipoteze. Ovo je nešto najbliže načinu na koji naučnici generalno pristupaju istraživanju. Stoga se ovaj pristup uglavnom koristi u stvaranju robota naučnika. Jedan od najpoznatijih Pedrovih primera inverzne dedukcije je robot molekularne biologije, Eva. Eva je pronašla novi lek protiv malarije, koristeći inverznu dedukciju. Neki od najistaknutijih simbolista koje broji Pedro su Stiv Maglton, Tom Mičel i Ros Kvinlan. Najveća prednost ovog pristupa je što je u stanju da komponuju znanje na mnogo različitih načina, koristeći logiku i inverznu dedukciju.

Da sumiramo.

Jedan algoritam koji će upravljati svima…

Ono što Pedro navodi je da se na kraju – ne radi o samoj particiji. Radi se o pronalaženju jedinstvenog rešenja. Univerzalni učenik. Svemoćni model. Glavni algoritam. Dakle, svaka od ovih pet škola ima svoje prednosti. Možemo li uzeti ono što je najveća prednost svakog od njih, kombinovati ih i dobiti glavni algoritam koji može da reši svaki problem mašinskog učenja koji mu damo? Pedro kaže da je to cilj. Da li je previše komplikovano? Ne mora nužno biti. On sve ove pristupe deli u tri glavna modula: predstavljanje, evaluacija i optimizacija. Predstavljanje nam govori kako učenik predstavlja proces učenja. I u većini slučajeva, ovo će se odraziti u logici zdravog razuma (ali može biti u diferencijalnim jednačinama, polinomskoj funkciji ili bilo čemu drugom). U knjizi, objedinjavanje ovog procesa dolazi kombinovanjem simbolističkog i bajesovskog pristupa. Pošto simbolisti koriste logiku, dok bajesovci koriste grafičke modele – njihova kombinacija može predstavljati bilo koju vrstu problema sa kojim se može susresti. Evaluacija se koristi za merenje performansi modela (u smislu prepoznavanja obrazaca, podobnosti podataka, generalizacije, itd.). Glavni algoritam treba da bude u stanju da preuzme bilo koju od funkcija evaluacije koje su dostupne u ovih pet pristupa, i da pruži mogućnost korisniku da odluči koja će od njih biti korišćena. Optimizacija je zadatak pronalaženja modela koji najbolje odgovara za dati problem. Ovo uključuje otkrivanje formula koje će matematički opisati dati problem, korišćenjem pristupa evolucionarnog genetskog programiranja, i optimizaciju težina u ovim formulama, što se može rešiti algoritmom za propagaciju unazad koji koriste konekcionisti. Pedro veruje da će glavni algoritam moći da reši svaki dati problem. Većina praktičnih primera uključuje kućne robote, lek(ove) za rak, sisteme za preporuke od 360 prikaza, itd. Lista se nastavlja i nastavlja.

Želeo bih da zatvorim ovaj post njegovim inspirativnim rečima:

„Naučnici prave teorije, a inženjeri prave uređaje. Informatičari prave i teorije i uređaje”.

Zar ne? Knjiga je prilično sažeto napisana, i čita se u dahu! Prihvatite ovu knjigu kao moju najtopliju preporuku za dobro čitanje i prosto uživajte u njoj. Nadam se da će i vama biti inspirativno kao i meni. Podelite svoje utiske, jedva čekam da ih čujem! :3