Brzina kojom se razvija umjetna inteligencija danas je gotovo nemoguća za pratiti. Svaki tjedan donosi nove modele, alate i mogućnosti, ali i nove probleme. Iza bleštavih najava kriju se stvarne brojke: cijene se i dalje spuštaju po token-u, a ukupni troškovi kompleksnih sustava rastu; hardver postaje sve moćniji, a sve teže mu je pratiti zahtjeve softvera; tvrtke umjesto jednostavnih chatbotova sve više uvođeju samostalne agencije koje same donose odluke. Što se točno događa i kako će to utjecati na korisnike, razvojne timove i cijelu industriju?
Zašto jeftiniji modeli ne znači i jeftiniji poslovni sustavi
Još prije godinu dana tvrtke poput OpenAI-a, Anthropica i Googlea započele su pravu utrku u snižavanju cijena upita. Danas je milijun tokena često deset puta jeftiniji nego prije, pa se čini kako je AI postao dostupan svakome. Međutim, cijena samog poziva modelu samo je dio priče.
Moderni poslovni zadaci zahtijevaju lanac razmišljanja: sustav mora pretražiti internu bazu, izvršiti nekoliko poziva modelu, provjeriti povijest korisnika, a zatim generirati konačan odgovor. Svaki od tih koraka troši tokene, pa se ukupni broj uvećava desetak puta u odnosu na jednostavni chat. Dodajte tomu troškove pripreme podataka, izrade vektorskih baza, fine-tuninga i održavanja, i brzo shvatite da se „ukupni trošak vlasništva“ povećava uprkos jeftinijem ulaznom proizvodu.
Poslovna pouka: prilikom planiranja projekta računajte na cijelu traku, a ne samo na cijenu poziva modelu. Često je pametnije uložiti u optimizaciju arhitekture nego u još jači hardver.
Hardver dostizao fizičke granice
Proizvođači grafičkih kartica još uvijek ne mogu dostaviti dovoljno najnovijih čipova. Veliki centri za podatke prijavljuju da svoje GPU-klasterove tjeraju do samih termalnih granica: temperature se penju, rashladni sustavi rade na maksimumu, a kvarovi postaju učestaliji. Uz to, potrošnja energije u nekim je lokacijama porasla toliko da se moraju dogovarati posebni ugovori s distributerima električne energije.
Posljedice toga su viestruke:
- Veća cijena izgradnje: Novi centri zahtijevaju napredne sustave hlađenja, često temeljene na tekućem dušiku ili vodenom rashladnom tijelu.
- Dulje isporuke: Vrijeme čekanja na A100 ili H100 kartice proteže se u mjesecima, što usporava planove za treniranje novih modela.
- Regionalna ograničenja: Neki davatelji usluga počeli su nuditi „zelene termine“ – sate kad je u mreži viak obnovljive energije – kako bi smanjili operativne troškove.
Dok se proizvođači trude isporučiti čipove nove generacije, tvrtke sve više razmišljaju o efikasnosti: manjim modelima, kvantizaciji te distribuiranoj arhitekturi gdje se zadaci raspoređuju na više manjih jedinica.
Agenciji preuzimaju posao: budućnost su autonomni sustavi
Još prije šest mjeseci većina poslovnih rješenja temeljila se na „jednostavnom“ chatbotu: korisnik postavi pitanje, model odgov