Ho usato un modello da datacenter sul mio pc

OpenAI ha rilasciato due modelli interessanti: gpt-oss:20b e gpt-oss:120b. Sono open weight, licenza Apache 2.0, scaricabili liberamente anche per uso commerciale. Qui però non voglio fare un tutorial, voglio raccontare quello che sono riuscito a fare con il modello da 120 miliardi di parametri sul mio sistema desktop. Un modello progettato per datacenter che gira, sia pure lentamente, su una configurazione consumer.

Il gpt-oss-20b conta 21 miliardi di parametri totali con 3,6 miliardi attivi per token, il fratello maggiore arriva a 117 miliardi con 5,1 miliardi attivi. Entrambi utilizzano architettura Mixture-of-Experts che attiva solo una frazione dei parametri durante l’elaborazione, un approccio che ottimizza prestazioni rispetto alle risorse richieste.

OpenAI dice che il modello 20b vuole almeno 16 GB di VRAM ed è pensato per desktop con schede grafiche consumer di fascia alta ma tutto sommato normali. Il 120b richiede almeno 80 GB di VRAM, tipicamente una H100 o configurazioni multi-GPU professionali. Insomma è progettato per datacenter o per sistemi professionali di fascia molto alta.
L’aspetto tecnico interessante è l’utilizzo della quantizzazione MXFP4 nativa sui pesi MoE, che permette prestazioni elevate mantenendo requisiti hardware relativamente accessibili rispetto alla potenza computazionale offerta.

Il mio sistema monta una RTX 4090 da 24 GB, RAM 128 GB, CPU Intel i5-10500. Sulla carta, inadatto per il modello 120b. Eppure Ollama è riuscito a caricarlo sfruttando la RAM quando la VRAM non basta.
Il risultato? Il modello si carica e risponde. Richieste complesse, quelle che faresti a un sistema esperto per analizzare dati aziendali o generare report articolati, hanno inizialmente richiesto 15-20 minuti, tempi che diventano problematici per uso professionale, ma il fatto che funzioni è già significativo.
La situazione peggiora all’aumentare della complessità della richiesta, rendendo il sistema praticamente inutilizzabile per applicazioni che richiedono tempi di risposta ragionevoli.

Nonostante i limiti del mio setup, la qualità delle risposte del modello 120b è notevole. OpenAI dichiara che raggiunge prestazioni quasi equivalenti al loro o4-mini su benchmark di ragionamento, mentre il 20b si avvicina a o3-mini. Durante i test, il modello ha effettivamente fornito risposte esaurienti e ben strutturate, confermando le aspettative di qualità. Il modello o4-mini è stato rilasciato ad aprile 2025, qualche mese fa quindi, consigliato in particolare in attività matematiche, di codifica e visive.

Un dettaglio interessante: ho chiesto allo stesso modello 120b come ottimizzare il mio sistema per migliorare le prestazioni. Ha fornito indicazioni specifiche sia per l’hardware che per il software.
Seguendo i suoi consigli ho applicato alcune ottimizzazioni software. Il risultato è stato una riduzione dei tempi medi a circa 10 minuti per richiesta complessa. Ancora troppo per uso intensivo, ma abbastanza per renderlo utilizzabile per task specifici che non richiedono interattività immediata.
Le ottimizzazioni hanno riguardato principalmente la gestione della memoria e i parametri di configurazione di Ollama. Niente di rivoluzionario, ma sufficiente per dimostrare che margini di miglioramento esistono anche senza investimenti hardware significativi.

Il punto centrale non sono i tempi di risposta, ma le implicazioni dell’avere modelli di questa qualità disponibili per uso locale.
Il vantaggio principale è lavorare su dati riservati senza che escano dalla propria infrastruttura. Con Ollama tutti i dati rimangono locali, permettendo di applicare capacità di ragionamento avanzato a informazioni sensibili senza preoccupazioni sulla privacy.
Altro aspetto rilevante: non ci sono limiti sui token come nei servizi cloud, anche se rimane il vincolo della finestra di contesto. Per organizzazioni che elaborano grandi volumi di dati riservati o operano in settori con requisiti di compliance stringenti, questa caratteristica rappresenta un valore concreto.

L’ecosistema hardware sta evolvendo per supportare meglio queste applicazioni. I processori di ultima generazione includono unità dedicate all’AI che potrebbero migliorare significativamente le prestazioni anche su configurazioni come la mia.
Ollama dimostra capacità interessanti nel gestire modelli che superano la VRAM disponibile, utilizzando meccanismi di carico dinamico tra RAM e VRAM. Questo approccio, seppur con limiti prestazionali evidenti, apre possibilità per l’utilizzo di modelli potenti anche su hardware non specificamente progettato per datacenter.

Il rilascio di gpt-oss rappresenta un ritorno alle origini open di OpenAI. La licenza Apache 2.0 permette uso commerciale, modifiche e redistribuzione, rendendo questi modelli attraenti per sviluppi aziendali.
Entrambi i modelli supportano finestre di contesto fino a 128.000 token e includono capacità native di tool use e ragionamento chain-of-thought completo. La possibilità di regolare lo sforzo di ragionamento (basso, medio, alto) permette di bilanciare qualità e latenza secondo le specifiche esigenze.

Il mio test per ora rimane un esperimento interessante più che lo sviluppo di uno strumento di produzione. L’ostacolo principale è il tempo necessario per ottimizzazioni più approfondite, ma si è guadagnato un posto nella mia lista di cose da approfondire.
Il messaggio importante è che la barriera tra AI da datacenter e AI desktop si sta assottigliando. Non siamo ancora al punto in cui un desktop può sostituire un server dedicato, ma per professionisti e aziende che lavorano con dati sensibili, questa evoluzione apre scenari interessanti per l’adozione di AI avanzata mantenendo controllo completo sui propri dati.

L’esperimento dimostra che con budget limitati e un po’ di pazienza è possibile accedere a capacità computazionali che fino a poco tempo fa richiedevano investimenti significativi. Non è ancora maturo per la produzione, ma è un assaggio di quello che ci aspetta.