Come usare Ollama su Linux: eseguire un modello di IA locale - Orvieto Linux User Group

Come eseguire un modello di IA locale su Linux con Ollama

Nel precedente articolo abbiamo visto che cosa significa utilizzare l’IA locale su Linux, quali sono i vantaggi di eseguire un modello direttamente sul nostro computer e quali caratteristiche hardware possono influenzare l’esperienza.

Adesso facciamo il passo successivo: installiamo davvero un ambiente per eseguire un modello di IA locale.

Per farlo utilizzeremo Ollama, uno strumento che permette di scaricare, avviare e gestire modelli linguistici direttamente dal nostro sistema Linux. Ollama mette a disposizione un’interfaccia da terminale molto semplice e, oltre all’utilizzo interattivo, espone anche un’API locale che permette alle applicazioni di comunicare con i modelli.

L’obiettivo non è trasformare subito il nostro computer in un laboratorio di machine learning. Vogliamo invece capire il percorso completo:

installazione → modello → esecuzione → utilizzo → gestione

Una volta compreso questo meccanismo, potremo approfondire applicazioni più interessanti.

Che cos’è Ollama

Ollama può essere visto come un livello intermedio tra il nostro sistema Linux e il modello di IA.

Il modello è il “cervello” che genera le risposte, mentre Ollama si occupa di renderne più semplice l’esecuzione e la gestione.

Possiamo immaginare qualcosa del genere:

Linux
  │
  ▼
Ollama
  │
  ├── Modello IA
  │
  ├── Modello IA
  │
  └── Modello IA

Questo approccio è particolarmente interessante perché non dobbiamo installare manualmente tutti i componenti necessari per eseguire un LLM.

Ollama fornisce inoltre una libreria di modelli già predisposti per essere utilizzati attraverso il suo ambiente. Tra quelli disponibili troviamo famiglie come Qwen, Gemma e gpt-oss, con dimensioni molto diverse tra loro.

La dimensione è importante: un modello più grande non significa semplicemente “un modello migliore”, ma anche maggiori esigenze di memoria e risorse.

Per questo, quando iniziamo, è preferibile scegliere un modello compatibile con il computer che abbiamo a disposizione.

Installare Ollama su Linux

L’installazione su Linux è piuttosto semplice.

La documentazione ufficiale mette a disposizione uno script di installazione che possiamo eseguire dal terminale:

curl -fsSL https://ollama.com/install.sh | sh

Questo è il metodo indicato dalla pagina ufficiale di download di Ollama per Linux.

Come sempre quando utilizziamo uno script scaricato da Internet, è buona pratica sapere da quale progetto proviene e verificare che il comando venga eseguito dalla fonte ufficiale.

Al termine possiamo verificare che Ollama sia disponibile con:

ollama --version

Se il comando restituisce la versione installata, il programma è correttamente disponibile nel sistema.

A questo punto non abbiamo ancora eseguito nessun modello: abbiamo semplicemente installato l’ambiente necessario per farlo.

Scegliere il primo modello

Questa è probabilmente la parte che può creare più confusione.

Ollama non è un singolo modello di IA. È possibile scegliere tra numerose famiglie e diverse varianti.

Per esempio, la libreria ufficiale di Qwen 3.5 mette a disposizione modelli da 0,8 miliardi fino a 122 miliardi di parametri, con versioni intermedie da 2B, 4B, 9B, 27B e 35B.

Per il nostro primo esperimento possiamo utilizzare:

qwen3.5:4b

La variante 4B disponibile nella libreria ufficiale ha una dimensione indicata di circa 3,4 GB e supporta anche input visivi.

Non significa che 4 GB di RAM siano sufficienti per eseguire il modello: la dimensione del file del modello e la memoria necessaria durante l’inferenza sono due cose differenti. Il sistema deve infatti avere memoria disponibile anche per il modello in esecuzione e per le altre attività.

Per questo, su un computer con poca RAM, conviene partire da modelli più piccoli.

Scaricare e avviare il modello

Una volta scelto il modello possiamo scaricarlo con:

ollama pull qwen3.5:4b

Il comando pull scarica il modello sul nostro computer.

Possiamo poi verificare quali modelli abbiamo installato con:

ollama list

A questo punto possiamo finalmente eseguire il modello:

ollama run qwen3.5:4b

Ollama avvierà il modello e ci presenterà un’interfaccia interattiva nel terminale.

Possiamo quindi scrivere, per esempio “Spiegami in modo semplice che cos’è Linux.” e attendere la risposta.

È importante capire cosa sta succedendo in questo momento: il modello viene eseguito sul nostro computer, utilizzando le risorse disponibili.

Non stiamo semplicemente aprendo una pagina web che inoltra la domanda a un servizio remoto.

Ollama supporta anche l’esecuzione tramite ollama run direttamente quando il modello non è ancora presente localmente, effettuando il download necessario. Il comando ollama pull rimane comunque utile quando vogliamo separare chiaramente la fase di download da quella di esecuzione.

Come capire quali modelli abbiamo installato

Dopo aver fatto qualche esperimento potremmo avere più modelli sul nostro computer.

Il comando:

ollama list

mostra quelli disponibili localmente.

Per esempio potremmo trovarci davanti a una situazione simile:

NAME             ID              SIZE
qwen3.5:4b       xxxxxxxxxxxx    3.4 GB
gemma3:4b        xxxxxxxxxxxx    3.3 GB

Possiamo quindi decidere quale utilizzare in base all’attività.

Se vogliamo eliminare un modello che non ci serve più, possiamo utilizzare:

ollama rm qwen3.5:4b

Questo può essere utile soprattutto su computer con poco spazio su disco: i modelli possono occupare diversi gigabyte e, aumentando le dimensioni, lo spazio necessario cresce rapidamente.

CPU o GPU: cosa succede durante l’esecuzione?

Una delle domande più comuni riguarda la scheda video.

Serve necessariamente una GPU?

No, un modello può essere eseguito anche utilizzando la CPU. Tuttavia, quando disponiamo di una GPU compatibile e di sufficiente memoria video, l’esecuzione può essere accelerata.

La situazione concreta dipende dall’hardware, dai driver, dal modello e dalla configurazione utilizzata.

Per questo non è corretto stabilire una regola del tipo “questo modello richiede necessariamente una GPU”.

È più utile ragionare in termini di risorse disponibili.

Un modello più piccolo può essere una scelta sensata per iniziare su un normale PC Linux. Modelli più grandi richiedono progressivamente più memoria e possono diventare poco pratici su hardware comune.

Per esempio, la libreria ufficiale di Qwen 3.5 mostra una gamma molto ampia di dimensioni: la variante 4B è indicata intorno ai 3,4 GB, mentre la 27B è intorno ai 17 GB e la 122B supera gli 80 GB come dimensione del modello.

Questo rende evidente perché scegliere il modello in base all’hardware sia uno dei primi aspetti da considerare.

Possiamo usare Ollama anche senza interfaccia grafica

Uno degli aspetti che si sposano bene con la filosofia Linux è che Ollama può essere utilizzato direttamente dal terminale.

Il comando:

ollama run qwen3.5:4b

è sufficiente per iniziare una conversazione.

Ma il terminale non è l’unica possibilità.

Ollama espone infatti un’API locale, normalmente raggiungibile tramite l’indirizzo:

http://localhost:11434

Questo significa che un altro programma installato sul nostro computer può comunicare con Ollama senza dover implementare direttamente tutta la parte necessaria per eseguire il modello.

Per esempio, possiamo effettuare una richiesta all’API con curl:

curl http://localhost:11434/api/chat \
  -d '{
    "model": "qwen3.5:4b",
    "messages": [
      {
        "role": "user",
        "content": "Spiegami cos’è systemd in Linux."
      }
    ],
    "stream": false
  }'

L’API restituisce la risposta del modello in formato strutturato.

Questo passaggio è molto interessante perché cambia la prospettiva.

Ollama non è più soltanto un programma con cui parlare dal terminale: può diventare un servizio locale al quale possiamo collegare altre applicazioni.

Ed è proprio questa caratteristica che apre la strada a interfacce web, script Python, strumenti di automazione e applicazioni personalizzate.

Perché l’API locale è interessante su Linux

Immaginiamo di avere un piccolo script che raccoglie informazioni dal nostro sistema.

Potremmo, in futuro, fare qualcosa del genere:

Linux
 │
 ├── log
 ├── informazioni sistema
 └── dati applicazione
          │
          ▼
       Script
          │
          ▼
       Ollama
          │
          ▼
      Modello IA

Lo script potrebbe raccogliere un determinato insieme di informazioni e passarle al modello per ottenere una sintesi o un’analisi.

Questo è un esempio molto più interessante, dal punto di vista di OrvietoLinux, rispetto al semplice “chat con l’IA”.

Stiamo infatti collegando IA locale, Linux e automazione.

Più avanti, quando affronteremo Python e Bash nell’ambito dell’automazione sistemistica, potremo riprendere proprio questo concetto.

E la privacy?

Uno dei motivi per cui l’IA locale può essere interessante è la possibilità di mantenere l’elaborazione sul proprio computer.

Quando utilizziamo un modello locale con Ollama, il prompt viene elaborato localmente dal modello installato sul computer. Ollama documenta inoltre la possibilità di utilizzare il software in modalità locale senza inviare i dati a servizi cloud.

Bisogna però distinguere bene questo scenario dalle funzionalità cloud che Ollama offre oggi.

Ollama supporta infatti anche modelli cloud, che utilizzano infrastruttura remota. In quel caso non stiamo più parlando della stessa situazione dell’inferenza completamente locale.

Per il nostro esperimento, quindi, la cosa importante è utilizzare un normale modello locale come:

ollama run qwen3.5:4b

enza scegliere una variante :cloud.

La differenza è fondamentale: “usare Ollama” non significa automaticamente “usare sempre un modello locale”.

Aggiornare un modello

I modelli non sono statici.

Quando è disponibile una nuova versione o una nuova variante, possiamo aggiornare il modello scaricandolo nuovamente con:

ollama pull qwen3.5:4b

Possiamo poi controllare le informazioni disponibili sul modello con:

ollama show qwen3.5:4b

È una buona abitudine controllare periodicamente la pagina del modello nella libreria ufficiale, soprattutto quando vogliamo capire dimensioni, capacità e varianti disponibili.

Non dobbiamo però inseguire ogni nuovo modello.

Per imparare, è molto più utile avere un modello compatibile con il nostro hardware e conoscerne bene il funzionamento.

Cosa possiamo fare con un’IA locale?

Una volta installato Ollama, le possibilità sono numerose.

Possiamo utilizzarlo per attività relativamente semplici:

riassumere un testo;
spiegare un comando Linux;
generare una bozza;
trasformare un testo;
analizzare codice;
aiutare nella scrittura di script;
interrogare documentazione fornita al modello.

Con modelli che supportano anche immagini possiamo inoltre lavorare con input visivi. La famiglia Gemma 3, per esempio, comprende varianti multimodali capaci di elaborare testo e immagini.

Ma dobbiamo mantenere una certa prudenza.

Un modello locale non diventa automaticamente affidabile solo perché gira sul nostro computer.

Può produrre informazioni errate, inventare dettagli o suggerire comandi non adatti al nostro sistema.

Nel caso di Linux questo è particolarmente importante: prima di eseguire un comando suggerito da un modello, soprattutto se utilizza sudo, modifica file di configurazione o cancella dati, dobbiamo sempre capire cosa fa.

L’IA è uno strumento di supporto, non una sostituzione della nostra capacità di verificare.

Da Ollama a un vero laboratorio di IA locale

A questo punto abbiamo fatto un percorso completo.

Abbiamo installato Ollama:

curl -fsSL https://ollama.com/install.sh | sh

abbiamo scaricato un modello:

ollama pull qwen3.5:4b

e lo abbiamo eseguito:

ollama run qwen3.5:4b

Abbiamo inoltre visto che possiamo gestire e cancellare i modelli con:

#gestire
ollama list

#rimuovere
ollama rm nome-modello

e che possiamo interagire con Ollama anche attraverso un’API locale.

Il risultato è un piccolo ambiente di IA che vive direttamente sul nostro computer Linux.

Ed è proprio questo il punto interessante.

Non abbiamo semplicemente installato un chatbot: abbiamo aggiunto al nostro sistema un servizio locale capace di eseguire modelli di IA e fornire le loro capacità ad altri programmi.

Da qui possiamo iniziare a costruire qualcosa di molto più interessante: un’interfaccia web, un assistente locale, uno script Python che interroga il modello, oppure un sistema che analizza automaticamente determinati dati.

Per un laboratorio domestico Linux, Ollama può quindi diventare un altro componente da affiancare a Docker, networking e automazione.

Conclusioni

Ollama rende relativamente semplice avvicinarsi all’esecuzione locale dei modelli di IA su Linux.

Il percorso fondamentale è breve:

Installare Ollama
       ↓
Scegliere un modello
       ↓
Scaricarlo
       ↓
Eseguirlo
       ↓
Utilizzarlo dal terminale
       ↓
Collegarlo eventualmente ad altre applicazioni

La parte più importante, però, non è imparare a memoria tre comandi.

È capire che cosa abbiamo realmente installato: un ambiente capace di eseguire modelli di IA sul nostro hardware e di esporne le funzionalità anche ad altri programmi attraverso un’API locale.

Da qui si apre una strada molto interessante per Linux: IA locale + Python + Bash + Docker + automazione.

Ed è proprio su questa combinazione che potremo tornare nei prossimi articoli.