Veliki jezički modeli veštačke inteligencije, poput onih koje razvijaju Google (Gemini) ili OpenAI (ChatGPT), postali su deo naše svakodnevice. Iako su dostupni svima, ne možemo ih koristiti neograničeno, a pretplata se naplaćuje. Ipak, ono što najviše brine korisnike jeste privatnost, odnosno činjenica da se modeli „hrane“ našim upitima kako bi se dodatno obučavali.
Ukoliko želite da zadržite potpunu kontrolu nad svojim podacima i izbegnete mesečne pretplate, rešenje leži u modelima otvorenog koda (open source), koji su potpuno besplatni.
Mnoge kompanije nude svoje modele za slobodnu upotrebu. Naročito kineske kompanije u tome prednjače. Drugim rečima, kvalitetne modele možete preuzeti i pokrenuti direktno na sopstvenom računaru.
Za ovakav poduhvat neophodna je solidna konfiguracija ili, narodski rečeno, jaka mašina. Pošto modeli zauzimaju više gigabajta i zahtevaju značajne resurse za rad u realnom vremenu, preporučuje se da računar ima najmanje 16 GB radne memorije (RAM), iako je poželjno i više, kao i dovoljno slobodnog prostora na disku.
Put do sopstvene veštačke inteligencije: LM Studio i Ollama
Prvi korak ka privatnom AI asistentu jeste instalacija specijalizovanih programa koji služe kao „domaćini“ za modele. Najpopularnija rešenja su LM Studio i Ollama. Oba programa su kvalitetna, ali je za početnike LM Studio možda pogodniji zbog preglednijeg i jednostavnijeg korisničkog interfejsa, barem po našem mišljenju.
Postupak je jednostavan:
Preuzmite i instalirajte program. Zatim u jezičku Model Search odaberite model koji želite da preuzmete. Ponuda je raznolika – od modela specijalizovanih za pisanje koda ili analizu dokumenata, do onih koji obrađuju slike.
Pažljiv odabir: Važno je detaljno proučiti specifikacije svakog modela pre preuzimanja. Neki su izuzetno moćni, ali i „teški“, sa veličinom od više desetina gigabajta, dok su drugi lakši i brži, ali možda manje precizni u složenim zadacima.
Ukoliko primetite da model radi sporo ili sporo odgovara, pokušajte da povećate dostupne resurse. Ako problem i dalje postoji, verovatno vam je potrebna snažnija konfiguracija. Drugo rešenje je da potražite neki stariji model, jer ovi noviji, nažalost, postaju sve zahtevniji u pogledu resursa računara.
Kada započnete pretragu, obratite pažnju na trenutno najbolje ocenjene modele:
• Gemma: Google-ovi modeli zasnovan na arhitekturi sistema Gemini.
• Qwen: popularan i sveobuhvatan model iz laboratorija kineske kompanije Alibaba.
• DeepSeek: rešenje koje u poslednje vreme privlači veliku pažnju zbog svoje efikasnosti.
Nakon što odaberete i preuzmete željeni model, pređite na karticu za upotrebu. Tamo će vas dočekati poznato polje za razgovor, slično onome na koje ste navikli na komercijalnim platformama.
Dovoljno je da postavite pitanje, a vaš lični, lokalni AI model generisaće odgovor bezbedno i bez dodatnih troškova.