La irrupció de la intel·ligència artificial generativa ha posat de cap per avall la productivitat a les oficines, però no tot és color de rosa. A mesura que les empreses integren models de llenguatge extensos en els seus processos, s'obren bretxes de seguretat inesperades que poden deixar exposades dades crítiques o facilitar atacs que fins fa res eren ciència ficció.
No es tracta només d'instal·lar un programari i deixar que la IA faci la màgia. Perquè això no es converteixi en un caos, és fonamental establir un sistema de control robust que combini la tècnica, l'ètica i la normativa legal, assegurant que la innovació no vagi de la mà d'un desastre de ciberseguretat.
Riscos Intrínsecs dels LLM i el Codi Generat
Un dels mals de cap més grans sorgeix quan la IA comença a escriure codi. El problema és que els models s'entrenen amb gairebé tot el que hi ha a la xarxa, cosa que implica que aprenen patrons obsolets o insegurs . Com que la IA no raona realment, sinó que prediu la paraula següent basant-se en estadístiques, pot deixar anar un fragment de codi que sembla perfecte però que introdueix una vulnerabilitat crítica al sistema.
De fet, diversos estudis han revelat que una quantitat alarmant de programes generats per eines populars contenen possibles exploits i errors greus . Aquí és on el desenvolupador humà ha d'entrar en joc perquè confiar cegament en l'automatització és jugar a la ruleta russa amb la infraestructura de l'empresa.
Estratègies de mitigació: API Tancades vs. Models locals
Per evitar que els secrets de l'empresa acabin a l'entrenament d'un model públic, hi ha dos camins principals. D'una banda, les API tancades amb subscripcions empresarials prometen que les dades d'entrada no es faran servir per millorar la IA. Tot i això, això requereix confiar cegament en la paraula del proveïdor, cosa que sovint no encaixa amb els requisits dels departaments legals més estrictes.
Una solució intermèdia és crear una «façana» o servei intern. En comptes que l'empleat accedeixi directament a l'API, passa per un filtre que neteja dades personals i audita l'ús. L'inconvenient és que el model no aprèn de les interaccions de l'usuari i perd capacitat d'adaptació.
D'altra banda, el desplegament de models allotjats localment, com els que permet LM Studio o solucions basades a LLaMa, elimina gairebé totalment el risc de fugida externa ja que cap dada surt de l'entorn protegit . Encara que aquests models poden ser lleugerament menys potents que els gegants comercials, permeten un ajustament fi amb el coneixement intern de l'organització, creant una eina molt més precisa i segura, similar a com es pot fer servir IA local amb ONNX Runtime a Windows 11.
El Camí cap a la Maduresa a la Governança d'IA
No totes les empreses estan al mateix punt. Algunes pateixen de «IA a l'ombra» , on els empleats usen eines no autoritzades sense cap control. Aquest és el nivell més bàsic i perillós on no hi ha estàndards ni supervisió, i qualsevol agent d'IA opera sense avaluació de riscos.
A mesura que l'organització madura, es passa per fases on els processos esdevenen repetibles i després definits. En nivells avançats, la governança esdevé un habilitador de la innovació i no un fre. Aquí, els agents es classifiquen segons la seva criticitat: no és el mateix un bot que resumeix correus que un que pren decisions financeres autònomes.
Per arribar a l'excel·lència, és vital implementar un Consell d'IA multidisciplinar . Aquest grup, format per experts legals, tècnics i de negoci, ha de supervisar els casos d'alt impacte i assegurar que la IA responsable no sigui una llista simple de verificació, sinó una cultura integrada en el disseny de cada producte.
Marcs Regulatoris i Estàndards Globals
En el panorama actual, ignorar la llei és un risc inassumible. L' AI Act de la Unió Europea és la norma més estricta i obliga les empreses a demostrar que tenen control total sobre els seus sistemes, especialment en sectors d'alt risc com ara la sanitat o les finances. Això implica garantir la traçabilitat i la supervisió humana constant.
A més, hi ha altres referents com el NIST AI RMF , que estructura la gestió de riscos en quatre funcions: governar, mapejar, mesurar i gestionar. Sumat a això, el RGPD continua sent la pedra angular per a qualsevol procés que involucri dades personals, exigint que la IA sigui transparent i explicable.
Amenaces avançades i la superfície d'atac
Els atacants han evolucionat i ara usen tècniques com la injecció de prompts indirecta . Imaginem un agent que llegeix un correu electrònic maliciós; aquest correu pot contenir instruccions ocultes que obliguin l'agent a exfiltrar dades confidencials o enganyar altres agents amb més privilegis dins de la xarxa.
Un altre perill és l' escalada de privilegis en arquitectures multiagent . Quan diversos agents col·laboren entre si mitjançant protocols com MCP o A2A, un error en un agent feble pot provocar un efecte cascada que acabi en l'eliminació de bases de dades o accions autònomes destructives sense que un humà se n'hagi adonat.
Tècniques de Seguretat i Observabilitat Tècnica
Per blindar els sistemes, és fonamental aplicar el principi de mínims privilegis . Això vol dir que ni el personal ni els agents d'IA han de tenir més accés de l'estrictament necessari. Així mateix, l'ús d' emmascarament dinàmic de dades permet que la IA processi la informació sense arribar a veure mai les dades sensibles reals.
L'observabilitat és la peça que tanca el cercle. No n'hi ha prou que la IA funcioni; cal saber exactament per què ha pres una decisió . Eines com SHAP o LIME ajuden a desgranar la lògica del model, mentre que els AI Gateways permeten monitoritzar el consum de tokens i detectar anomalies a les sol·licituds en temps real.
La Bretxa de l'Última Milla i el Control del Navegador
Sovint, la seguretat falla a la interfície del navegador, on l'empleat enganxa dades del client en un xat. Les defenses tradicionals de xarxa no poden veure aquest trànsit xifrat. La tendència per als propers anys és l'ús d' extensions de seguretat natives que actuïn com un tallafocs al punt d'entrada, bloquejant la pujada d'arxius confidencials abans que arribin al núvol.
A més, és crucial combatre la fatiga per alertes mitjançant capacitació en temps real . En lloc de bloquejar-ho tot i frustrar l'usuari, el sistema pot llançar avisos explicatius que ensenyin a l'empleat per què certa acció és arriscada, fomentant una cultura de seguretat orgànica.
Avaluació de Models per a Seguretat Ofensiva
Per als que treballen a Red Team o pentesting, no qualsevol LLM serveix. Molts models comercials estan tan censurats que es neguen a generar codi d'exploits, resultant inútils per a simulacions reals. Per això, es recomana utilitzar benchmarks específics que avaluïn la precisió tècnica i l'absència de restriccions en temes com ara el bypass d'AMSI o l'evasió d'EDR.
En provar models locals a LM Studio, cal buscar aquells que mantinguin un equilibri entre capacitat de generació de codi i funcionalitat, validant sempre els resultats en entorns aïllats per evitar que qualsevol al·lucinació del model causi un dany accidental a la xarxa de proves.
La seguretat de la intel·ligència artificial és un procés viu que exigeix una vigilància constant i una arquitectura flexible. Aconseguir l'equilibri entre la potència dels LLM i la protecció dels actius corporatius passa per abandonar la improvisació i adoptar un model de governança tècnica que integri la supervisió humana, l'observabilitat total i el compliment normatiu rigorós a cada etapa del cicle de vida del model.