Un MCP per parlare con Ollama

Da un po’ di tempo mi sono appassionato ai server MCP. Si tratta di un protocollo di Anthropic che permette di comunicare con strumenti diversi, rilasciato in Open Source sta diventando uno degli standard del mondo AI. Come capita spesso in questi casi, l’entusiasmo teorico mi ha portato a voler sporcarmi le mani.

Uso Ollama da tempo sulla mia macchina. Mi piace come progetto, mi piace l’idea di avere modelli locali a disposizione specializzati, e devo dire che sono soddisfatto di come funziona. Un problema è sempre stato nella gestione quotidiana. Da riga di comando funziona, certo, ma io non sono un sysadmin e vorrei evitare di dover memorizzare sintassi di comandi. Certo esistono già interfacce grafiche come LM Studio o Anything LLM, con gradi diversi di complessità. Fanno un sacco di cose, ma io volevo qualcosa di più diretto e semplice.

È stato naturale pensare a questa applicazione per il mio primo MCP, creare un server per gestire Ollama tramite linguaggio naturale, sfruttando Claude Desktop come interfaccia. Non più comandi da ricordare, non più interfacce complesse da navigare. Solo una conversazione naturale con Claude che, sotto il cofano, parla con i miei modelli locali.
L’idea mi piaceva perché risolveva il mio problema concreto, ma anche perché mi permetteva di entrare nel meccanismo MCP per capire davvero come funziona. Teoria e pratica insieme, insomma.
Quello che è venuto fuori è Ollama-MCP, un MCP server che ho condiviso in Open Source su Github, il link è questo.

Per facilitare il lavoro ho scelto di utilizzare un MCP client già esistente, nel mio caso Claude Desktop (ma funziona con qualsiasi MCP client).
Il flusso di lavoro che si crea è particolare perché Claude gestisce la comunicazione con Ollama, quello che succede è che io chiedo qualcosa a Claude, Claude gira la richiesta al mio server MCP locale, che a sua volta comunica con Ollama. Ollama risponde, il server MCP riporta la risposta a Claude, e Claude può anche rielaborare quello che ha ricevuto prima di mostrarmelo.
Sostanzialmente ho creato una catena:
io parlo con Claude → Claude parla con il mio server → il server parla con Ollama → tutto torna indietro

Sembra complicato spiegato così, ma in pratica è trasparente: chiedo a Claude di fare qualcosa con i miei modelli locali e lui lo fa.

I vantaggi (e l’elefante nella stanza)

I vantaggi di questa struttura, ad esempio posso chiedere a Ollama di analizzare documenti locali o fare elaborazioni specifiche sui miei dati, e poi Claude può prendere quei risultati e fare ulteriori analisi, riassunti, o presentazioni più strutturate. È l’unione di due mondi.

Lo svantaggio, anche se i modelli girano in locale, è Claude a orchestrare le comunicazioni con Ollama e Claude vive nel cloud di Anthropic. Questo significa che le mie richieste e le risposte passano comunque attraverso i server di Anthropic. Per chi ha requisiti di privacy assoluta, questa non è una soluzione completamente locale.
È una struttura accettabile per molti casi, ma è corretto segnalarlo a chi ha necessità molto stringenti di privacy dei dati.

Il processo di sviluppo

Ho usato Claude e Jules per scrivere il codice: io gestivo il progetto, definivo gli obiettivi, testavo, suggerivo modifiche, ma la parte di programmazione vera e propria l’ho delegata. È stato interessante vedere come funziona questo nuovo modo di lavorare, lo sviluppo di questo MCP è servito anche per testare questo approccio.

Il progetto è in fase beta, l’ho testato solo sulla mia macchina Windows 11 con GPU NVIDIA. Dovrebbe funzionare anche su Linux, macOS e con altre configurazioni hardware, ma appunto, dovrebbe. Per questo ho deciso di rilasciarlo open source su GitHub: ho bisogno dell’aiuto della community per testarlo su sistemi diversi.

Nel frattempo, Ollama ha annunciato la sua GUI ufficiale che permette interazioni in linguaggio naturale. A prima vista potrebbe sembrare che faccia la stessa cosa del mio progetto, ma in realtà gli approcci sono diversi. La loro GUI è completamente locale e diretta. La mia soluzione sfrutta l’ecosistema MCP per integrazioni più articolate, con il compromesso privacy di cui ho parlato prima, ma con la possibilità di creare workflow più complessi che coinvolgono diversi strumenti. Infatti usando Claude Desktop è possibile integrare Ollama-MCP con altri MCP server, il che aumenta le possibili applicazioni.

Il valore dell’open source nell’ecosistema MCP

La decisione di rilasciare il progetto come open source su GitHub risponde a logiche concrete. Il Model Context Protocol è ancora in evoluzione rapida, e progetti sperimentali come questo fungono da banco di prova per testare possibilità e limiti della specifica.

Inoltre, la natura beta del progetto richiede testing su diverse configurazioni hardware e software, obiettivo difficilmente raggiungibile da un singolo sviluppatore, certo non da me, soprattutto per mancanza di tempo.

Implicazioni per l’ecosistema AI locale

Questo progetto rappresenta un esempio pratico di come MCP possa facilitare l’integrazione tra diversi strumenti AI, creando workflow ibridi che combinano i vantaggi di soluzioni locali e cloud.

Per professionisti che lavorano con intelligenza artificiale, la possibilità di orchestrare modelli locali attraverso interfacce naturali e di integrarli con strumenti cloud apre scenari operativi interessanti. La gestione di grandi collezioni di modelli specializzati diventa più accessibile, mentre rimane la possibilità di processare dati sensibili localmente quando necessario.

Nella pagina di Github del progetto ci sono tutte le istruzioni per installarlo in locale e configurarlo, con esempi di uso.