Ollama

Ollama ha rivoluzionato l'accesso ai modelli linguistici locali rendendoli semplici come un comando nel terminale. Creato nel 2023, questo strumento open source consente di scaricare, eseguire e gestire LLM direttamente sul tuo hardware, che sia un Mac con Apple Silicon, un PC con GPU NVIDIA o un server Linux.

L'approccio di Ollama è radicalmente semplice: digita ollama run llama3.3 e il modello si scarica, si configura e si avvia automaticamente. Oltre 40.000 integrazioni della community si connettono a Ollama, dalle interfacce web come Open WebUI agli IDE di sviluppo.

Nel 2025, Ollama ha lanciato piani cloud (Pro a 20$/mese, Max a 100$/mese) che offrono accesso a modelli più potenti ospitati su server dedicati, mantenendo l'esecuzione locale gratuita e illimitata. I tuoi dati restano sempre privati: nessun prompt o risposta viene registrato o utilizzato per l'addestramento.

Lo strumento supporta la quantizzazione GGUF, l'accelerazione GPU (CUDA, ROCm, Metal), l'esecuzione di più modelli contemporaneamente e espone un'API REST locale compatibile con OpenAI. È la scelta preferita degli sviluppatori che vogliono integrare l'IA locale nei propri progetti, pipeline di automazione o flussi di lavoro RAG.