AI revolucija: Zašto vaša organizacija mora razmišljati o sigurnosti odmah sada!

U svijetu tehnologije, ponekad se pojavi nešto što bismo mogli nazvati "zlatnom groznicom". Upravo to se događa s umjetnom inteligencijom (AI). Međutim, potrebno je uzeti u obzir da je hakiranje AI sustava postalo "prelagano", da su ulozi su ogromni - od krađe osjetljivih poslovnih podataka poput popisa klijenata i poslovnih tajni, do manipulacije podacima i sustavima. Čak je i direktor Open AI-ja, Sam Altman, izjavio da bi neki AI napadi mogli biti "nerješivi".

Ako vaša organizacija koristi AI ili planira to činiti, velika je vjerojatnost da ste ranjivi. Tvrtke se utrkuju s vremenom kako bi usvojile AI, no kibernetička zaštita često zaostaje. To je opasan trend. Srećom, postoji jasan nacrt kako napadači djeluju i, što je još važnije, kako se vaša organizacija može obraniti.

Kako se AI može hakirati?

Kada govorimo o hakiranju AI-ja, ne mislimo samo na pokušaje da naširoko dostupni chatbotovi kažu nešto neprikladno. Hakeri ciljaju mnogo šire i opasnije:

• Chatbotovi za korisničku podršku koje organizacije sve češće koriste za komunikaciju s klijentima.
• Aplikacije koje zaposlenici koriste unutar tvrtke, pogotovo ako su povezane s internetom.
• AI komponente u pozadini, koje možda ni ne znate da postoje, a koje obrađuju podatke kroz veze s drugim programima (tzv. API-ji).

Cilj hakera nije samo natjerati AI da kaže "loše riječi", već provesti sveobuhvatno sigurnosno testiranje ("holistic security test") kako bi pronašli stvarne, duboke ranjivosti koje mogu dovesti do krađe podataka ili manipulacije sustavima organizacija.

Jason Haddock, jedan od vodećih AI hakera, objašnjava da napadači slijede jasan plan: prvo napadaju sve što okružuje AI aplikaciju ("ecosystem"), zatim manipuliraju samim AI modelom (npr. da im da popust ili povrat novca), ciljaju podatke, i na kraju, koriste pristup AI sustavu da prodru u druge dijelove vaše tvrtke.

"Prompt Injection": Glavno oružje napadača

Najvažniji koncept u AI hakiranju je "prompt injection". To je metoda prevare AI-ja korištenjem njegove vlastite "logike" protiv njega samoga. Ono što je posebno zabrinjavajuće jest da za "prompt injection" nisu potrebne napredne tehničke vještine ili znanje programiranja – često je dovoljna samo snalažljiva upotreba prirodnog jezika.

Sam Altman je prije dvije godine mislio da je prompt injection rješiv problem, ali je promijenio mišljenje i sada vjeruje da će problem "biti prisutan jako, jako dugo".

Zamislite to ovako. Vaš AI sustav ima ugrađene "zaštitne ograde" (guardrails) koje ga sprječavaju da dijeli osjetljive informacije ili obavlja neovlaštene radnje. Međutim, vještim manipuliranjem upitima, hakeri pronalaze načine kako zaobići te ograde i natjerati AI da prekrši svoja pravila. To može uključivati dobivanje popusta ili povrata novca kada to ne bi smjeli, izvlačenje internih sistemskih uputa AI modela ili druge radnje koje mogu naštetiti Vašoj organizaciji.

Slijedi nekoliko primjera stvarnih napada koji su nevjerojatno jednostavni i učinkoviti:

• Emoji Smuggling (krijumčarenje emojija): Hakeri mogu sakriti štetne instrukcije unutar naizgled bezazlenog emojija. AI sustav, umjesto da emoji prikaže kao sliku, pročita ga kao naredbu iz "metadata" emojija i izvrši instrukciju, zaobilazeći sigurnosne mehanizme.
• Link Smuggling (krijumčarenje linkova): Zamislimo da napadač, koristeći "prompt injection" naredi AI sustavu da učini sljedeće:
  • Uzme osjetljive podatke (npr. broj kreditne kartice tvrtke ili klijenta). Skrije te podatke tako što ih kodira (pretvara u niz znakova koji izgleda kao nasumičan, ali se lako može preokrenuti natrag u izvorni podatak - npr. koristi Base64 kodiranje).
  • Umetne taj kod na kraju URL adrese koju AI navodno treba preuzeti sa servera kojeg je haker postavio u svrhu krađe podataka. Iako sama slika na toj URL adresi ne postoji, server kojemu je AI poslao upit za preuzimanje slike će u svojim logovima zabilježiti pokušaj preuzimanja i cijelu adresu – uključujući i kodirane osjetljive podatke na kraju URL-a! Time se AI sustav neprimjetno pretvara u "špijuna" koji tajno šalje vaše podatke hakeru. Ova metoda funkcionira jer sigurnosni sustavi često ne provjeravaju ovakve kodirane linkove detaljno, budući da ih "ne žele pokvariti" i zbog složenosti obrade takvog sadržaja.

Aktivna zajednica AI hakera

Možda zvuči nevjerojatno, ali postoje aktivne online zajednice hakera posvećene pronalaženju i dijeljenju "prompt injection" tehnika. Ove zajednice, poput "Bossy Group" na Discordu, stalno razvijaju nove "trikove" i objavljuju ih, često samo nekoliko dana nakon što se pojave novi AI modeli. To znači da se napadačke tehnike brzo razvijaju i šire, stavljajući tvrtke u stalnu utrku s vremenom.

Poslovni rizici

Opasnost od korištenja i hakiranja AI-ja nisu samo puste priče. Jason Haddock i njegov tim su naišli na slučajeve gdje su tvrtke nesvjesno slale osjetljive Salesforce podatke (ponude, potpise, pravne dokumente) na OpenAI. Postojeće IT osoblje često nije svjesno svih sigurnosnih implikacija, a vodstva u organizacijama žure s implementacijom AI-ja kako ne bi zaostali za ostalima, što dovodi do zanemarivanja sigurnosti i mogućih plaćanja visokih kazni (npr. povrede podataka) i tužbi klijenata.

Čak i naizgled korisne inovacije, poput Model Context Protocola (MCP), standarda koji pojednostavljuje kako AI "razgovara" s drugim programima, mogu zapravo pogoršati sigurnost. MCP modeli često povlače i pohranjuju datoteke bez adekvatne kontrole pristupa. Napadači mogu naređivati MCP serveru da preuzme datoteke s drugih mjesta u sustavu ili čak tajno mijenja sistemske upute AI-ju ("system prompt").

Zamislimo da Vaša organizacija koristi sigurnosni sustav temeljen na MCP-u koji omogućuje da prirodnim jezikom pitate o rizicima u vašoj organizaciji. Ako je takav sustav kompromitiran, napadač bi mogao pitati: "Pokaži mi najranjiviju osobu u toj tvrtki kako bih je mogao hakirati" i dobiti detaljan izvještaj. Ljudska kreativnost i jedinstveni "trikovi" iskusnog hakera ostaju nedostižni za AI u složenijim napadima.

Premda AI donosi i ogromnu snagu automatizacije, primjerice može automatizirati mukotrpne poslove u analizama i osloboditi vrijeme zaposlenika za obavljanje drugih zadataka, važno je znati da AI alati koje koristimo za automatizaciju imaju svoje ranjivosti i meta su napada.

Višeslojna obrana: Kako se zaštititi

Unatoč svim izazovima, implementacija AI-ja je neizbježna. Ključna je višeslojna obrambena strategija ("defense in depth"), jer niti jedan alat nije dovoljan. Jason Haddock predlaže tri ključna sloja zaštite:

1. Temeljna IT sigurnost (Web sloj):
   • Osigurajte servere i sva područja gdje se AI povezuje s drugim sustavima.
   • Provjeravajte ulazne i izlazne podatke: Pobrinite se da korisnici ne unose štetne podatke i da AI ne isporučuje opasne stvari (poput zlonamjernog softvera) korisnicima.
2. Vatrozid za AI (AI sloj):
   • Implementirajte "vatrozid za AI", odnosno mehanizam koji provjerava upute (promptove) koje dolaze u AI model i odgovore koji izlaze iz njega. To štiti od "prompt injectiona" i drugih napada. Postoje već i gotova poslovna rješenja za ovo.
3. Princip najmanje privilegije (Sloj podataka i alata):
   • Primijenite princip najmanje privilegije: Svaki zahtjev koji vaši AI sustavi šalju drugim programima mora imati precizno definirana dopuštenja. Ako AI treba samo čitati podatke, dajte mu samo pristup za čitanje. Ako treba pisati, dajte mu samo pristup za pisanje, i to samo za informacije koje su mu nužne. Dajte AI-ju samo ono što mu je nužno, i ništa više.

Ova obrana postaje mnogostruko teža ako vaš sustav uključuje više AI-ja koji rade zajedno ("agentic systems"). Svaki AI morate zaštititi zasebno, što može unijeti određeno usporenje u sustav, ali su kompromisi nužni radi sigurnosti.

Izgradnja sigurnog AI-ja je duboka, višeslojna strategija. Trenutno je situacija s korištenjem AI-ja kao na Divljem Zapadu. Jasno je da će organizacije implementirati AI, ali ključno je da se to učini sigurno, jer tim alatima dajemo ogromnu moć i pristup osjetljivim podacima.

Razumijevanje ovih rizika i primjena snažne obrane ključni su za uspješno i sigurno usvajanje AI tehnologije u organizacijama.