Si et mola el món de la intel·ligència artificial, hauràs notat que estem en un moment brutal on les eines sobren, però la privadesa escasseja. Fins ara, la majoria ens hem acostumat a enviar les nostres dades a servidors remots, però la realitat és que executar models de llenguatge localment ha passat de ser una curiositat de friquis a una necessitat estratègica per a qualsevol empresa que es preï de ser segura.
Aquí és on entra en joc Ollama, una plataforma que simplifica la vida en permetre'ns aixecar LLMs a la nostra pròpia màquina sense complicacions. No es tracta només d'instal·lar un programa i ja està, sinó de configurar un entorn robust que no deixi la porta oberta a intrusos i que espremi fins a l'últim MHz de la nostra targeta gràfica, ja sigui en un portàtil personal o en una infraestructura de núvol privat.
Què és exactament Ollama i com funciona la seva arquitectura?
Per als que vénen de zero, Ollama és bàsicament un embolcall molt optimitzat sobre la llibreria truca.cpp. En lloc de barallar-te amb configuracions complexes de baix nivell, Ollama us ofereix una capa d'abstracció senzilla per descarregar i executar models com Flama 3.2, Mistral o DeepSeek. El sistema funciona mitjançant un servidor que gestiona la inferència i una CLI per interactuar-hi.
Un concepte fonamental aquí és la quantització dels models . Bàsicament, és un procés on es redueix la precisió dels pesos del model (passant, per exemple, de 16 bits a 4 bits). Això és un autèntic salvavides perquè permet que models enormes càpiguen a la RAM d'un ordinador normal, millorant la velocitat de resposta encara que es perdi una mica de precisió, cosa que a la pràctica sol ser imperceptible.
Requisits de maquinari: no et quedis curt
No cal tenir un superordinador de la NASA, però sí cert sentit comú amb el maquinari. La memòria RAM és el factor determinant : si vols moure models petits de 7B, amb 8GB vas just, però 16GB és el punt dolç. Si aspires a models de 30B o 70B, prepara't per invertir en 32GB o més. Pel que fa a la CPU, els processadors moderns amb suport AVX512 (com els Intel de 11a gen o Zen4 d'AMD) volen gràcies a la seva capacitat de càlcul matricial.
La GPU és on passa la màgia. Si teniu una targeta NVIDIA o AMD compatible, l' acceleració per maquinari desplaça el treball de la CPU a la VRAM, reduint els temps de resposta de segons a mil·lisegons. Per a models quantitzats de 4 bits, una GPU amb 8GB de VRAM és ideal per a models de 13B, mentre que els de 65B requereixen maquinari molt més potent o xips optimitzats com els d'Apple Silicon.
Instal·lació i desplegament en diversos entorns
Instal·lar Ollama és bufar i fer ampolles. A Windows i macOS només cal baixar l'executable de la web oficial. A Linux, un simple comanda curl a la terminal deixa tot llest en un moment. Un cop instal·lat, l'ordre ollama run s'encarrega de descarregar el model i obrir el prompt interactiu.
Per als desenvolupadors que utilitzen Windows, la combinació amb WSL2 (Windows Subsystem for Linux) és l'opció guanyadora. Permet tenir el servidor d'Ollama corrent nadivament a Windows (aprofitant millor la GPU NVIDIA) mentre es desenvolupa el codi en un entorn Linux. Per aconseguir això, és vital establir la variable d'entorn OLLAMA_HOST a 0.0.0.0:11434 perquè el servidor escolti totes les interfícies i no només en localhost.
En entorns corporatius més seriosos, el desplegament sol fer-se mitjançant contenidors Docker . Això permet aïllar els recursos i escalar la infraestructura. Eines com SoaxNG porten això al següent nivell, integrant Ollama amb volums persistents en emmagatzematge Flash Scale per manejar models GGUF que superen els 100GB, assegurant que el rendiment no caigui.
L'elefant a l'habitació: Ciberseguretat i risc
Aquí és on cal obrir els ulls. Per defecte, Ollama és una API REST oberta sense autenticació. Si configureu el host perquè sigui accessible des de la xarxa i no protegiu el port 11434, esteu exposant el vostre poder de còmput a qualsevol. Hi ha un risc real anomenat LLMjacking , on atacants escanegen la web buscant servidors Ollama per utilitzar el teu maquinari en campanyes de correu brossa o mineria de criptes.
Pitjor encara és el DNS Rebinding (CVE-2024-28224). Aquest atac permet que un lloc web maliciós, visitat des del teu navegador, interactuï amb la teva instància local d'Ollama encara que estigui vinculada a localhost. Això podria portar a la exfiltració d'arxius del sistema o fins i tot a l'execució remota de codi (RCE), com es va veure a la vulnerabilitat Probllama. La regla d'or és: no exposis Ollama a internet i executa-ho només sota demanda.
Potenciant l'experiència amb Open WebUI i n8n
Interactuar només amb la terminal pot cansar. Per això, Open WebUI és la parella ideal per a Ollama. És una interfície gràfica que imita l'experiència de ChatGPT, que permet gestionar usuaris, crear plantilles de prompts i pujar documents per fer RAG (Generació Augmentada per Recuperació) de forma visual. Es pot desplegar fàcilment via Docker, creant un entorn professional i col·laboratiu.
Si voleu automatitzar processos, la integració amb n8n és senzillament brillant. Pots crear fluxos on n8n capturi correus electrònics, els passi per un model d'Ollama per classificar el sentiment o resumir el contingut , i després guardi el resultat en una base de dades, tot això sense que un sol byte d'informació surti de la teva infraestructura local, garantint la privadesa total de les dades.
Optimització avançada i personalització de models
Ollama no només serveix per executar models tal com vénen. Podeu crear el vostre propi Modelfile per personalitzar el comportament de la IA. En ajustar la temperatura , pots decidir si vols que el model sigui estrictament coherent (valors baixos) o més creatiu i aventurat (valors propers a 1). També podeu definir un SYSTEM prompt perquè la IA actuï com un expert en ciberseguretat o un assistent tècnic específic de la vostra empresa.
Per mantenir el sistema fluid, és recomanable fer servir l'ordre ollama ps per monitoritzar quins models estan carregats en memòria i ollama stop per alliberar la VRAM quan ja no els necessitis. En entorns de producció, implementar un proxy invers amb Nginx i terminació TLS és fonamental per assegurar que el trànsit entre la interfície web i el servidor d'IA estigui xifrat.
Tenir la capacitat de processar llenguatge natural en local, controlant des del maquinari fins al flux de dades, permet a les organitzacions assolir una sobirania digital real. Combinant la potència dels models oberts amb una configuració de xarxa blindada i eines d'orquestració com Docker, s'aconsegueix un equilibri entre eficiència operativa i seguretat informàtica, evitant la dependència de núvols externs i eliminant els costos recurrents per tokens. Comparteix la informació perquè més usuaris coneguin del tema.