Od pjenilice za mlijeko do kibernetičkog incidenta: Zašto AI (još uvijek) ne smije samostalno voditi vašu sigurnost

Svi pričaju o tome kako će umjetna inteligencija zamijeniti analitičare u sigurnosnim operativnim centrima (SOC). AI je brži, ne treba pauzu za kavu i može pročešljati terabajte logova u sekundi. No, dok se divimo brzini, često zaboravljamo na ključni nedostatak: AI ne razumije kontekst, on samo predviđa tekst.

Prije nego što AI-ju predamo ključeve naše digitalne obrane, moramo pogledati istini u oči. A istina je ponekad – bizarna.

Galerija AI "halucinacija": Kad algoritam izgubi kompas

Da bismo shvatili rizik, ne moramo gledati u daleku budućnost. Dovoljno je pogledati nekoliko viralnih incidenata iz bliske prošlosti koji pokazuju što se događa kada AI dobije autonomiju bez nadzora:

1. Recept za bojni otrov: Novozelandski supermarket Pak'nSave lansirao je AI aplikaciju za generiranje recepata od ostataka hrane. Rezultat? AI je veselo predložio recept za "Aromatičnu mješavinu vode" – što je zapravo bio recept za stvaranje smrtonosnog klornog plina. Predložio je i sendviče s otrovom za mrave, sve uz vesele opise kako su to "osvježavajući obroci".
2. Psovke i haiku poezija: Chatbot dostavne službe DPD, isprovociran od strane korisnika, počeo je psovati vlastitog klijenta, a zatim je napisao pjesmicu (haiku) u kojoj objašnjava koliko je DPD zapravo beskorisna i užasna tvrtka.
3. Auto za 1 dolar: Jedan salon Chevroleta u SAD-u uveo je ChatGPT bota za prodaju. Mudri korisnik ga je uvjerio da pristane na svaku ponudu. Rezultat? AI je prodao novi Chevrolet Tahoe za 1 dolar, potvrdivši da je to "pravno obvezujuća ponuda".

Slučaj "Claudius": Menadžer u plavom sakou

Ovi primjeri možda zvuče smiješno, ali eksperiment tvrtke Anthropic iz 2025. pokazuje mračniju stranu. Njihov AI model "Claudius", postavljen da vodi mali uredski dućan, pod pritiskom je počeo slati prijeteće mailove dobavljačima.

Kada su ga suočili s greškama, umjesto ispravka, on je "halucinirao" autoritet. Tvrdio je da će osobno doći dostaviti robu odjeven u "plavi sako i crvenu kravatu", potpuno nesvjestan da je on samo linija koda bez fizičkog tijela. Claudius nije "poludio" – on je samo statistički izračunao da strogi menadžeri koriste oštar jezik, ali nije imao zdrav razum da se zaustavi.

Lekcija iz prve ruke: "Sindrom pjenilice"

Ovaj problem "haluciniranja stvarnosti" osjetio sam nedavno na vlastitoj koži testirajući naprednog AI asistenta. Zadatak je bio jednostavan: Provjeri je li dno određene pjenilice za mlijeko stakleno ili metalno s premazom.

AI je "pročitao" stotine recenzija, analizirao tekstove i samouvjereno zaključio: "To je metal s premazom, izbjegavaj to!"

Bio je u krivu. Zašto? Zato što je AI analizirao tekst (gdje su se miješali opisi različitih modela), a ne stvarnost (sliku uređaja). Čovjeku je bio potreban jedan pogled na fotografiju da vidi sjajni inox. AI je, u nedostatku vizualne potvrde, jednostavno "popunio praznine" najvjerojatnijim (i pogrešnim) podatkom.

Zašto je ovo opasno za kibernetičku sigurnost?

Prenesite sada "sindrom pjenilice" ili recept za klorni plin u kontekst kibernetičke sigurnosti. Zamislite da AI sustav (SOAR) autonomno nadzire vašu mrežu:

1. Lažno Pozitivni "Autoimuni" Napad: AI primijeti da se vaš glavni sistemski administrator spaja s nove IP adrese. Baš kao što je za pjenilicu zaključio krivo temeljem nepotpunih podataka, AI može zaključiti da je ovo "napadač". Posljedica: AI automatski blokira administratorski pristup i gasi kritične servise. Stvarna hakerska prijetnja nije ni postojala, a vi imate poslovnu katastrofu.
2. Haluciniranje Sigurnosti: Napadači sve češće koriste tehnike "trovanja podataka". Mogu zapakirati zlonamjerni kod u omot koji AI prepoznaje kao "siguran", baš kao što je AI supermarketa mislio da je otrov "osvježavajuće piće". Ako AI slijepo vjeruje svojim uzorcima, propustit će napad koji bi iskusni analitičar odmah uočio.
3. Sugestije Ranjivog Koda: Programeri koriste AI za pisanje sigurnosnih zakrpa. No, AI treniran na milijunima linija koda može predložiti rješenje koje funkcionalno radi, ali otvara novu sigurnosnu rupu (npr. SQL injection). Vi ste "zakrpali" jednu rupu, a AI vam je, u najboljoj namjeri, otvorio vrata na stražnjoj strani.

Rješenje: Čovjek u petlji (Human-in-the-loop)

Znači li to da trebamo izbaciti AI iz sigurnosti? Apsolutno ne. AI je nezamjenjiv u detekciji. Nitko ne može brže od njega uočiti anomaliju u moru podataka.

Ali, odluka o reakciji mora ostati pod ljudskim nadzorom.

• AI je detektiv: On prikuplja dokaze i viče: "Ovo izgleda sumnjivo!"
• Čovjek je sudac: Analitičar mora pogledati te dokaze, primijeniti kontekst i donijeti presudu.

Sve dok AI može prodavati aute za jedan dolar i halucinirati plave sakoe, ne smijemo mu dati ključeve naše digitalne obrane bez nadzora. Koristite ga kao moćan alat, ali nikada ne zaboravite: AI predviđa vjerojatnost, čovjek razumije posljedice.

AI u sigurnosti je trenutno kao vrlo brz, ali ponekad pijan asistent. Odličan je za nositi teške kutije (analizirati podatke), ali mu ne daješ da donosi odluke dok se ne otrijezni. A "otrježnjenje" (potpuno uklanjanje halucinacija) je tehnološki problem koji još nije riješen.