23. svibnja 2025.
Autori: Arun Ganesh i Zachary Charles, istraživači Google Research-a
U svijetu umjetne inteligencije, veliki jezični modeli (LLM) postaju sve moćniji alati. No, kako bi se njihova performansa maksimalno iskoristila, često je potrebno prilagoditi ih specifičnim podacima. To može biti izazovno, osobito kad se radi o privatnim podacima. Differential privacy (DP) nudi rješenje, ali se njegova implementacija razlikuje ovisno o stupnju zaštite privatnosti.
Zašto je User-Level Differential Privacy bitan?
Većina istraživanja DP-a fokusira se na privatnost primjeraka, što znači da pojedinačni podaci ostaju anonimni. No, ovaj pristup ima svoje ograničenja. Ako korisnik doprinese velikim brojem primjera u skupu podataka za treniranje, napadači mogu zaključiti osjetljive podatke o tom korisniku, čak i bez pristupa njihovim pojedinačnim podacima. User-level DP, jača forma privatnosti, rješava ovaj problem, osiguravajući da napadač ne može naučiti ništa o korisniku, uključujući i to je li njihov podaci uključeni u skup za treniranje.
User-level DP je posebno relevantan u federiranom učenju, gdje uređaji često imaju mnogo primjera jednog korisnika. Za zaštitu privatnosti, ključno je spriječiti napadače da odrede je li svi podaci korisnika uključeni u skup za treniranje. User-level DP to čini nemogućim, pružajući jače garancije privatnosti.
Izazovi User-Level Differential Privacy-a
Implementacija user-level DP-a je složenija od example-level DP-a, jer zahtijeva dodavanje više šuma u proces treniranja. Ovaj izazov postaje još izraženiji s povećanjem veličine modela. U radu “Learning with User-Level Differential Privacy Under Fixed Compute Budgets” istražujemo kako skalirati user-level DP na velike jezične modele trenirane u data centru.
Skaliranje User-Level Differential Privacy-a za Velike Jezične Modele
Treniranje u data centru nudi veću fleksibilnost nego federirano učenje, omogućujući upite na pojedinačnim primjerima i cijelim korisnicima. Ova fleksibilnost može se iskoristiti za optimizaciju user-level DP-a za velike jezične modele, rezultirajući boljim rezultatima treniranja.
LLM DP Fine-Tuning
Umjesto treniranja cijelog LLM-a s DP-om, fokusiramo se na fine-tuning modela s DP-om. Ovaj pristup je izvodljiviji zbog računskih zahtijeva DP-a i vjerojatnosti potrebe za privatnim specifičnim podacima za fine-tuning.
Treniranje Modela s User-Level Differential Privacy-om
Stohastički gradijentni spust (SGD) je česta algoritma za treniranje modela koja nasumično dijele podatke u male grupe i primjenjuju gradijente na model. Za treniranje s DP-om, mijenjamo SGD tako što dodajemo nasumičnu šumu gradijentima, rezultirajući DP-SGD-om. Ovaj pristup osigurava da model dobiva neispravne informacije o primjerima tijekom treniranja, što je korisno za privatnost.
Postizanje User-Level Differential Privacy-a s DP-SGD-om
Za prilagodbu DP-SGD-a za user-level DP, potrebno je ograničiti utjecaj svakog korisnika na model. To se može postići na dva načina:
- Dodavanjem više šuma: Povećavanjem šuma dodane gradijentima, možemo pretvoriti našu example-level DP garanciju u user-level DP garanciju (izazovni dio!).
- Uzorak nasumičnih korisnika: Umjesto nasumičnog odabira primjera za grupe u DP-SGD-u, uzorkujemo nasumične korisnike i koristimo sve primjere odabranih korisnika za formiranje grupe.
Glavna razlika između ova dva metoda leži u podacima koje uzorkujemo. Prvi metod uzorkuje nasumične primjere (Example-Level Sampling, ili ELS), dok drugi metod uzorkuje nasumične korisnike. Ova razlika značajno utječe na proces treniranja i rezultirajući model.
Zaključak
User-level differential privacy je ključni napredak u području strojnog učenja, posebno za fine-tuning velikih jezičnih modela. Osiguravajući da napadač ne može naučiti ništa o korisniku, čak i ako su njihovi podaci uključeni u skup za treniranje, user-level DP pruža jače garancije privatnosti. U našem istraživanju, istražujemo kako skalirati user-level DP na velike jezične modele, demonstrirajući potencijal za poboljšane rezultate treniranja i jaču zaštitu privatnosti.
Česta pitanja
Što je user-level differential privacy? User-level differential privacy je jača forma privatnosti koja osigurava da napadač ne može naučiti ništa o korisniku, čak i ako su njihovi podaci uključeni u skup za treniranje.
Zašto je user-level differential privacy bitan? User-level differential privacy je bitan jer pruža jače garancije privatnosti od example-level differential privacy-a.
Kako se implementira user-level differential privacy? User-level differential privacy se može implementirati dodavanjem više šuma gradijentima ili uzorkovanjem nasumičnih korisnika.
Koji su izazovi user-level differential privacy-a? Izazovi user-level differential privacy-a uključuju dodavanje više šuma u proces treniranja i skaliranje na velike modele.
Kako user-level differential privacy poboljšava privatnost? User-level differential privacy poboljšava privatnost osiguravajući da napadač ne može naučiti ništa o korisniku, čak i ako su njihovi podaci uključeni u skup za treniranje.