Dok tvrtke ubrzano uvode AI agente kako bi povećale produktivnost, stručnjaci upozoravaju da ti alati otvaraju i potpuno novu kategoriju sigurnosnih rizika. Na panelu “AI agenti u biznisu – produktivnost ili novi rizik?’ u sklopu konferencije Cyber Security u organizaciji Poslovnog dnevnika odgovorilo se na sve aktualnija pitanja uloge autonomnih AI sustava u poslovnim okruženjima te osjetljive ravnoteže njihove produktivnosti i sigurnosnih rizika.
Poseban naglasak stavljen je na sigurnosne prijetnje, uključujući AI-potpomognute phishing napade i deepfake prijevare u kojima se lažno predstavlja predsjednik Uprave ili druga visoka razina upravljanja te na mehanizme zaštite. Panelisti su analizirali sigurnosne slabosti open-source modela, uključujući napade koji manipuliraju uputama modela te rizik od curenja podataka u lokalno pokrenutim LLM sustavima. Raspravljali su i o izazovima automatizacije prodaje i korisničke podrške, posebno o pitanju odgovornosti kada AI agent donese pogrešnu odluku.
Čovjek ima zadnju
U panelu su sudjelovali Dražen Pranić, zadužen za IT sigurnost u Aircashu, Tomislav Bronzin, savjetnik za digitalnu transformaciju i sigurnost u CITUS-u te Davor Aničić, predsjednik Uprave Velebit AI-ja, koji su iz različitih perspektiva industrije i sigurnosti raspravljali o budućnosti upravljanja AI agentima u kompanijama.
“Kada pogledamo povijest, uvijek se poslovno mora pratiti inovacija pa to moraju i financijske institucije. Danas aktivno razmišljamo kako sigurno koristiti AI agente. Umjetna inteligencija je nova tehnologija, zato je princip da AI ima ograničen pristup te da je na ključnim stvarima obavezno čovjek taj koji ima zadnju riječ”, rekao je Pranić. To se često definira kroz različite industrijske i sigurnosne paradigme, odnosno kroz ljudsku nadzornu kontrolu u procesu, takozvani ‘human in the loop’ pristup u AI sustavima. Zadnja riječ čovjeka u tom procesu je danas gotovo standardna praksa kada se radi o kritičnim sustavima svi ga priznaju kao nužan sigurnosni sloj u AI implementacijama”.
Pranić je naveo primjer što se dogodi kad se AI agentu daju preširoke ovlasti, odnosno nitko nije dobro postavio granice što smije, a što ne. Rezultat je – kaos. Primjerice, AI agent obriše cijeli sustav. U takvim situacijama može doći i do loše zaštite pristupa pa AI “dođe” do lozinki ili dozvola koje ne bi smio imati, proširi si prava pa krene raditi ozbiljnu štetu – obriše ili mijenja dijelove infrastrukture, često a da itko odmah shvati što se dogodilo ili bez dobrih sigurnosnih mehanizama koji bi ga zaustavili.
Upitan povrat investicije
Bronzin je naglasio kako su greške u kibernetičkoj sigurnosti manje rezultat tehnologije, uglavnom se događaju zbog loše definiranih procesa.
“Tehnologija se mapira na poslovne procese. Kompanije nekad ne razumiju da nemaju dovoljno dobru infrastrukturu za umjetnu inteligenciju. Ako pitate zaposlenike, oni često samostalno koriste te alate. Menadžment je, s druge strane, suočen s izazovom što nema podataka kakav je povrat investicije za AI alate”, rekao je Bronzin.
Ključni savjet koji je Aničić dao kompanijama oko korištenja AI agenata u biznisu glasi: “Za ozbiljne procese, bolje je da agentske sustave razdijelite na što manje dijelove, jako ga ograničite i provjerite sve što je napravljeno. Posao koji je razdijeljen u manje dijelove može koristiti AI sigurno i efikasno. Imajte na umu, gdje god je riječ o ozbiljnom poslovnom zadatku, treba zaista paziti.”
Stručnjacima na panelu posebno je bila zanimljiva tema identiteta i autentikacije. S jedne strane, svi u poslu imamo sustave u kojima koristimo strane identitetske providere poput Microsofta, Googlea, Oraclea i drugih, a s druge postoje nacionalni identifikacijski sustavi, primjerice, sustav e-Građani u Hrvatskoj.
U Europi se sve više govori o digitalnoj suverenosti, ideji da država mora imati kontrolu nad identitetom i podacima svojih građana, posebno u kontekstu autentikacije i autorizacije pristupa uslugama.To se smatra ključnim pitanjem, ali nije nešto što pojedinačne tvrtke mogu same riješiti. Tvrtke mogu na to ukazivati i sudjelovati u raspravama, no konačna odluka nije na njima, implementacija ovisi o državnim institucijama.
