Tvrtka Anthropic, poznata po razvoju naprednog jezičnog modela Claude, najavila je privremenu promjenu u pravilima korištenja svog API‑ja. Tijekom sljedeća dva tjedna, korisnici će moći koristiti Claude s dvostrukim ograničenjem izvan vršnih radnih sati. Ovaj potez namijenjen je smanjenju opterećenja poslužitelja, pružanju većeg fleksibilnog pristupa programerima i prikupljanju vrijednih podataka o ponašanju korisnika u uvjetima povećane kapaciteta.
Zašto je proširenje izvan vršnih sati važno?
Brza usvajanja umjetne inteligencije, osobito velikih jezičnih modela poput Clauda, dovela su do neviđenog potražnje. Claude je poznat po sofisticiranim sposobnostima razgovora i izvrsnim rezultatima u različitim zadacima obrade prirodnog jezika, te je postao omiljena opcija za startupe, velike tvrtke i pojedinačne programere. Iako je to dokaz njegove učinkovitosti, izazov u oblaku je upravljanje promjenjivim opterećenjem.
Uobičajeno, tijekom radnog vremena, osobito između 9. i 18. sati po pacifičkoj vremenskoj zoni, poslužitelji Anthropica doživljavaju značajan porast prometa. Ta koncentracija zahtjeva može uzrokovati povećanje latencije odgovora i strože ograničavanje brzine, što potencijalno ometa razvojne tokove i utječe na korisničko iskustvo aplikacija koje se oslanjaju na Claude. Kako bi se izbjeglo nepotrebno, skupo nadopunjavanje infrastrukture, Anthropic je implementirao strategiju oblikovanja potražnje.
Incentiviranjem korištenja tijekom perioda nižeg opterećenja, tvrtka može ravnomjernije rasporediti računalnu opterećenost tijekom dana. To ne samo da pomaže održavanju optimalnih performansi tijekom vršnih sati, već omogućuje tvrtki da bolje razumije realne obrasce korištenja. Dvotjedni period inicijative ključan je za prikupljanje reprezentativnih podataka.
Kako funkcionira dvostruko ograničenje izvan vršnih sati?
Za korisnike koji su već registrirani na Claude API, promjena je jednostavna: tijekom perioda izvan vršnih sati, koji obuhvaćaju noćne i vikend sate, ograničenje broja zahtjeva po minuti će se podići na dvostruko razinu. To znači da programeri mogu slati više upita bez brige o prekoračenju kvota. U suprotnom, tijekom radnog vremena, ograničenje ostaje na standardnoj razini kako bi se osigurala stabilnost sustava.
Na primjer, ako je standardno ograničenje 60 zahtjeva po minuti, tijekom noći i vikenda korisnici mogu poslati do 120 zahtjeva u istoj minuti. Ova promjena omogućuje programerima da testiraju i razvijaju aplikacije u uvjetima s manje opterećenja, a istovremeno pruža Anthropicu vrijedne uvide u obrasce korištenja tijekom cijelog dana.
Što znači za programere i korisnike?
Programeri će moći iskoristiti dodatni kapacitet za izvođenje složenih zadataka, kao što su generiranje velikih količina teksta ili izvođenje dubokih analitičkih operacija, bez straha od prekoračenja kvota. Također,