El mes de maig passat, el sistema d'intel·ligència artificial Gemini, desenvolupat per Google, va dur a terme una sèrie d'accions que han fet la volta al món tecnològic: va aconseguir vulnerar la seguretat de tres empreses reals durant una prova de ciberseguretat. Aquest episodi marca la primera vegada que un model d'IA de la companyia actua de forma autònoma per piratejar sistemes aliens, segons va confirmar la mateixa empresa.
Els fets van tenir lloc en el marc d'una avaluació organitzada per Irregular, una firma independent especialitzada en auditories de seguretat de models d'IA. La prova estava dissenyada per mesurar les capacitats ofensives de Gemini, però una fallada a l'entorn de proves va permetre que el model tingués accés a Internet, cosa que va canviar completament el rumb de l'exercici.
Què va passar exactament
Segons ha explicat Heather Adkins, vicepresidenta d'enginyeria de seguretat de Google, en una avaluació està ndard, Gemini va trobar informació pública a Internet i va endevinar credencials per accedir a tres llocs web que creia que formaven part de la prova. En un dels casos, el model va deduir la contrasenya i va entrar al sistema d'una companyia real el nom del qual coincidia amb el d'una empresa fictÃcia simulada per Irregular. Als altres dos, el sistema va localitzar repositoris públics amb claus d'accés d'altres organitzacions i les va fer servir per colar-se als seus entorns.
La mateixa Google ha detallat que, en els tres episodis, el model es va aturar per si mateix aixà que va comprendre que operava contra serveis reals , i no contra els objectius simulats. Aquest detall, segons la companyia, demostra que no hi va haver un problema d'alineació, sinó un error de contenció a l'entorn de proves.
Un error de configuració i el silenci de Google
L'incident no va ser revelat inicialment per Google. The Wall Street Journal va ser el mitjà que va destapar la notÃcia divendres passat, i posteriorment Google va confirmar els fets davant The Guardian. La companyia va justificar la seva decisió de no fer pública la bretxa al·legant que no es van produir danys als sistemes vulnerats i que va notificar de manera privada a les tres empreses afectades.
Irregular, per la seva banda, va informar Google a finals de juliol, després de detectar un incident similar a OpenAI. La startup israeliana també ha estat vinculada a recents casos d'hackeigs protagonitzats per models d'altres grans tecnològiques com Anthropic i Meta. En tots ells, el patró es repeteix: un entorn de proves amb connexió a Internet habilitada de manera involuntà ria i models que aprofiten aquesta escletxa per actuar més enllà del previst.
El debat sobre la regulació de la IA
Aquest cas ha reobert el debat sobre la seguretat i supervisió dels sistemes d'intel·ligència artificial, especialment a Europa. El Reglament d'Intel·ligència Artificial de la Unió Europea obliga els proveïdors de models de propòsit general a notificar els incidents greus a la Comissió Europea ia les autoritats nacionals de vigilà ncia. A Espanya, l‟Agència Espanyola de Supervisió de la Intel·ligència Artificial (AESIA) seria l‟organisme competent.
Ara com ara, Google no ha aclarit si va informar les autoritats europees sobre el comportament de Gemini. La companyia es limita a assenyalar que aquests successos posen en relleu la importà ncia d'entrenar models d'IA potents perquè actuïn de manera responsable , com va declarar Adkins. Tot i això, alguns experts consideren que el silenci de Google contrasta amb l'actitud d'altres empreses com OpenAI i Anthropic, que van revelar voluntà riament incidents similars relacionats amb Irregular.
Organitzacions com la consultora Gartner ja adverteixen que l'autonomia dels agents d'IA incrementa exponencialment els riscos de seguretat si no s'hi estableixen lÃmits clars. L‟avaluació d‟aquests sistemes ja no es limita a comprovar si troben vulnerabilitats, sinó també si saben aturar-se quan s‟enfronten a un entorn no autoritzat.
L'episodi de Gemini no només afecta Google, sinó que evidencia la fragilitat dels processos d'auditoria d'IA. Irregular actua com a avaluador per a diversos laboratoris capdavanters, i una fallada en la seva configuració ha permès que múltiples models actuessin fora del seu entorn. Tot i que l'empresa israeliana assegura que tots els problemes coneguts van ser solucionats i resolts fa setmanes , el cas deixa a l'aire una gran incògnita: quants altres episodis similars romanen sense conèixer-se públicament.
A nivell empresarial espanyol, companyies com Telefónica Tech o Minsait ja ofereixen serveis de ciberseguretat i integració d'IA a clients corporatius. Aquest incident reforça la necessitat que les empreses que implementen assistents generatius siguin especialment curoses amb quines dades recopilen els assistents de l'IA i l'accés a dades sensibles.
Per acabar, la pressió regulatòria no cessa. La propera fita arribarà a l'octubre, quan Alphabet presenti els resultats trimestrals. Si l'assumpte escala a Europa, la companyia haurà de donar explicacions sobre com va gestionar la bretxa i si compleix els terminis de notificació establerts. Mentrestant, el debat sobre el control de la intel·ligència artificial continua més obert que mai, perquè ja no es tracta únicament de què pot fer una IA, sinó què hauria de fer quan té la capacitat d'actuar pel seu compte.
