U svijetu u kojem odluke umjetne inteligencije mogu utjecati na živote, sigurnost i gospodarstvo, razumijevanje razloga zašto je model donio određenu prognozu postalo ključno. Nedavna studija iz MIT‑ovog Laboratorija za računalne znanosti i umjetnu inteligenciju (CSAIL) otkriva kako duboko učenje može koristiti vlastite, već naučene konceptne jedinice kako bi pružilo jasna i sažeta objašnjenja.
Zašto je objašnjenje ključno u kritičnim sistemima umjetne inteligencije
U područjima poput medicinske dijagnostike, autonomnog upravljanja vozilima ili financijskog rizika, greška u odluci može imati katastrofalne posljedice. Stoga je neophodno da korisnici, bilo da su liječnici, inženjeri ili regulatori, mogu vidjeti na što je model oslonio svoju odluku. Objašnjenja pomažu u:
- Procjeni pouzdanosti modela
- Otkrivanju i uklanjanju pristranosti
- Usklađivanju s regulatornim zahtjevima
- Unaprjeđenju samog modela kroz povratne informacije
Kako tradicionalni modeli djeluju kao crne kutije
Duboko učenje je poznato po izvanrednim performansama, ali i po nevidljivosti unutarnjih procesa. Modeli se treniraju na velikim skupovima podataka, a zatim generiraju odluke bez jasnog pokazatelja na koje karakteristike su se oslonili. To otežava interpretaciju i sprječava korisnike da povjeruju rezultat bez razumijevanja procesa.
Jedan od pristupa koji je pokušao smanjiti ovu nevidljivost bio je model s ograničenjem koncepta (CBM). U CBM‑u mreža prvo predviđa skup interpretabilnih koncepta – poput „nepravilni rubovi“ ili „heterogena tekstura“ – a zatim koristi te koncepti za konačnu odluku. Međutim, CBM‑i ovise o unaprijed definiranom popisu koncepta koji stručnjaci odabiru. Ako su koncepti preširoki ili irelevantni, to može smanjiti točnost modela.
Nova MIT metoda: samostalno otkrivanje koncepta
Antonio De Santis i njegov tim iz Politehnike u Milanu, radeći na MIT‑u, razvili su pristup koji dopušta modelu da samostalno odabere konceptne jedinice koje je već interno naučio tijekom obuke. Ključna inovacija je dvostupan proces:
- Identifikacija latentnih koncepta – model analizira svoje interne reprezentacije i identificira skup značajki koje najviše utječu na konačnu odluku.
- Interpretacija i vizualizacija – odabrani koncepti se pretvaraju u lako razumljive vizualne prikaze, poput boja ili oblika, koji korisnicima omogućuju da vide na što je model oslonio svoju odluku.
Ovaj pristup ne samo da poboljšava transparentnost, već i povećava točnost modela jer se koncepti odabiru na temelju stvarne važnosti