Veliki jezični modeli postali su ključni alati u mnogim područjima, od automatizacije pisanja do podrške u medicinskim dijagnozama. Ipak, njihova sposobnost da generiraju uvjerljive, ali netočne odgovore predstavlja ozbiljan rizik, osobito u sektorima gdje je točnost od presudne važnosti. Nedavno je MIT razvio inovativni pristup koji preciznije otkriva kada je model previše samopouzdan i ipak netočan.
Zašto prevelika samopouzdanje u velikim jezičnim modelima predstavlja problem
Klasični načini provjere nesigurnosti oslanjaju se na samokonzistentnost modela: isti upit se postavlja više puta i analizira se koliko se odgovori razlikuju. Ako su odgovori jednaki, model se smatra samopouzdan. Međutim, model može biti konzistentan, a ipak proizvesti netočan odgovor. U medicinskoj praksi, na primjer, to bi moglo dovesti do pogrešne dijagnoze i štetnih posljedica za pacijenta. U financijskom sektoru, netočna prognoza može uzrokovati značajne gubitke.
MITova metoda razlike među modelima
Umjesto da se oslanjaju na unutarnju samopouzdanost, istraživači uspoređuju odgovor ciljanog modela s odgovorima skupine sličnih modela. Ako se odgovor ciljanog modela razlikuje od većine, to se smatra signalom da model možda daje preveliku samopouzdanost. U praksi, tim je prikupio izlaze više vrhunskih modela na isti upit i izračunao razliku u odgovorima. Otkrili su da je razlika među modelima snažniji pokazatelj nesigurnosti od klasične samokonzistentnosti.
Kombiniranje samokonzistentnosti i međumodelne nesigurnosti
Kako bi stvorili pouzdaniji mjerni pokazatelj, istraživači su spojili dvije signalne linije: samokonzistentnost modela i razliku u odgovorima s drugim modelima. Taj kombinirani pokazatelj nazvali su Ukupni mjerni pokazatelj nesigurnosti. Tim je testirao ovaj pristup na deset realističnih zadataka, uključujući:
- Odgovaranje na pitanja
- Matematičko razmišljanje
- Generiranje koda
- Analiza teksta
- Prevođenje jezika
- Prepoznavanje slika (kroz opis)
- Predviđanje vremenskih obrazaca
Rezultati pokazali su da kombinacija daje veću točnost u otkrivanju netočnih, ali samopouzdanih odgovora, što je ključno za primjene u kojima greška može imati ozbiljne posljedice.
Ključni nalazi istraživanja
1. Razlika među modelima je snažniji indikator nesigurnosti od samokonzistentnosti. 2. Ukupni mjerni pokazatelj nesigurnosti nadmašuje postojeće metode u većini testova. 3. Metoda je primjenjiva na različite vrste zadataka, što ukazuje na široku upotrebljivost. 4. Istraživači naglašavaju važnost kombiniranja više izvora informacija za pouzdane procjene nesigurnosti.