Neuronske mreže danas proždiru nezamislive količine tekstova — vesti, arhive, javne rasprave, sve što postoji na internetu. Taj rezervoar deluje beskonačno, ali u stvarnosti ima svoje granice. Šta će se dogoditi kada ga AI (veštačka inteligencija) potpuno isprazni?
Koliko podataka AI zapravo troši?
Najmoćnije jezičke mreže uče na desetinama biliona reči. Svaka nova verzija modela zahteva još veće skupove podataka. Prema proceni kompanije Epoch AI, ceo internet sadrži oko 500 biliona $tokena$, ali kada se odbaci „otpad“, ostaje tek 100 biliona kvalitetnih.
Drugim rečima — AI troši neverovatno mnogo, a „špajz“ nije neograničen.
Kada stiže trenutak istine?
Stručnjaci iz Epoch AI upozoravaju da bi tehnološke kompanije mogle da iscrpe skoro sve javno dostupne tekstualne izvore između 2026. i 2032. godine. Razlog? Prebrz razvoj i navika industrije da modele trenira na količinama mnogo većim od neophodnih.
Ako se tempo ne promeni, AI će ubrzo doći do zida. Neće imati više na čemu da se uči.
Hoće li AI stati?
Neće, ali će napredovati sporije. Dalji razvoj zavisiće od toga koliko brzo nastaju novi tekstovi. Ogromni javni korpusi najviše znače u prvoj fazi učenja, dok kasnija obuka na primerima od AI-trenera zahteva znatno manje informacija.
Na čemu još može da uči?
- Video-sadržaj i podkasti. Tokom obuke modela GPT-4, kompanija OpenAI transkribovala je više od milion sati YouTube snimaka. Ipak, pravna ograničenja i autorska prava predstavljaju ozbiljan problem.
- „Duboki“ internet (engl. deep web) — neindeksirane stranice i objave na društvenim mrežama. Tamo ima čak deset puta više sadržaja nego na otvorenom delu interneta. Ipak, pristup otežavaju pravila privatnosti i zatvorenost platformi.
Ipak, „Velika nestašica podataka“ nije samo tehnički, već i pravni problem. Uskoro će se pojaviti nove zakonske i etičke barijere za AI industriju.
Stvaraoci, autori, umetnici i izdavači, sve snažnije zahtevaju da se zaštite njihovi izumi i dela. U ovom trenutku, AI modeli gutaju autorski zaštićen sadržaj bez dozvole i adekvatne naknade.