Le 2 memorie di Claude
Anthropic ha abilitato anche per gli account Pro la memoria, sia per progetto che generica. Come funziona e come si gestisce questa feature.
La memoria di un modello linguistico non è come la nostra. Non “ricorda” nel senso umano del termine: non ha un flusso continuo di coscienza, non consolida esperienze durante il sonno, non ha quel senso di familiarità che accompagna i nostri ricordi. Quello che ha sono meccanismi di gestione dell’informazione che, pur funzionando in modo completamente diverso dalla memoria umana, producono risultati pratici simili: permettono al modello di recuperare informazioni rilevanti e usarle nel momento giusto. Semplicemente, lo fanno in modi diversi.
Claude, il modello AI di Anthropic, ha essenzialmente due modi per accedere alle informazioni: la finestra di contesto, che funziona un po’ come la nostra memoria di lavoro, e i file di progetto, che ricordano la nostra memoria a lungo termine. Ognuno di questi meccanismi ha caratteristiche, limiti e usi ottimali diversi. Capire come funzionano non è solo un esercizio teorico: è la chiave per ottenere risposte migliori e lavorare in modo più efficace.
La finestra di contesto è lo spazio di lavoro immediato di Claude. È qui che convergono la vostra domanda, le istruzioni di sistema e la storia della conversazione corrente. Pensatela come la scrivania su cui Claude sta lavorando: tutto ciò che è sulla scrivania è immediatamente accessibile e utilizzabile. Claude può fare riferimento a qualsiasi cosa nella finestra di contesto, collegare informazioni diverse che sono presenti in questo spazio, e costruire risposte che tengono conto di tutto il contesto disponibile. Questo spazio, però, ha un limite fisso. Per Claude 3.5 Sonnet, la versione attuale più potente, la finestra di contesto è di 200.000 token, approssimativamente 150.000 parole, l’equivalente di circa 500 pagine. È molto, ma non infinito, ed è essenzialmente come la RAM di un computer: veloce, immediatamente accessibile, ma volatile. Quando la conversazione finisce, tutto il contenuto della finestra di contesto viene cancellato.
E qui entra in gioco la seconda forma di memoria: i file di progetto.
I file di progetto funzionano come il disco rigido del computer: lo spazio dove le informazioni vengono archiviate in modo permanente. In un progetto di Claude, potete caricare documenti, manuali, codice sorgente, dataset, linee guida, qualsiasi tipo di testo che volete che Claude abbia a disposizione. Questi file rimangono accessibili tra una conversazione e l’altra, non vengono cancellati quando chiudete la chat.
Il punto cruciale è capire come questi file vengono effettivamente utilizzati. Quando avviate una conversazione all’interno di un progetto, Claude non carica automaticamente tutto il contenuto dei file nella sua finestra di contesto. Sarebbe impossibile se i file superano i limiti della finestra. Quello che fa è più sofisticato: utilizza tecniche di RAG (Retrieval Augmented Generation) per cercare e recuperare le sezioni più rilevanti dei file in base alla vostra domanda.
In pratica, quando fate una domanda, Claude prima la analizza, poi cerca nei file del progetto le parti che potrebbero contenere informazioni utili, recupera quelle sezioni specifiche e le porta nella finestra di contesto per usarle nella risposta. È un processo simile a quello che fate voi quando cercate un’informazione in un archivio: non leggete tutto l’archivio, ma andate a cercare nella sezione pertinente.
Questo meccanismo ha implicazioni pratiche importanti. La qualità delle risposte di Claude dipende non solo dalla potenza del modello, ma anche da quanto bene sono organizzati i file del progetto. File ben strutturati, con titoli chiari e organizzazione logica, permettono a Claude di trovare le informazioni rilevanti più facilmente. File disordinati, con informazioni sparse e senza una struttura chiara, rendono il recupero delle informazioni meno affidabile.
Un aspetto spesso sottovalutato è la relazione tra le dimensioni dei file e l’efficacia del RAG. Con file piccoli e ben focalizzati, il sistema di recupero deve fare meno lavoro per trovare l’informazione giusta. Con file enormi che coprono molti argomenti diversi, il rischio di recuperare sezioni irrilevanti aumenta. La strategia ottimale è generalmente quella di avere molti file focalizzati piuttosto che pochi file enormi.
La finestra di contesto e i file di progetto non sono alternative: sono complementari. La strategia ottimale le usa entrambe in modo coordinato. Nella finestra di contesto mettete ciò che è specifico della conversazione corrente: il vostro input, le istruzioni specifiche per quel momento, i risultati intermedi su cui state iterando. Nei file di progetto mettete la conoscenza di base: documenti di riferimento, linee guida stabili, dataset, qualsiasi informazione che volete sia disponibile ma che non cambia da una conversazione all’altra. Questa separazione non è solo un principio organizzativo: influenza direttamente la qualità delle risposte.
Pensatela così: la finestra di contesto è la riunione in corso, dove si discutono questioni specifiche e si prendono decisioni immediate. I file di progetto sono l’archivio dell’ufficio, dove si trovano i manuali, le procedure, i documenti di riferimento che potrebbero servire durante la riunione. Una riunione efficace richiede sia la capacità di discutere il problema specifico sia l’accesso ai documenti di riferimento quando servono. La comprensione dei due tipi di memoria è la base. Nei prossimi articoli vedremo come sfruttarla in pratica: come strutturare i file per massimizzare l’efficacia del RAG, come gestire la finestra di contesto nelle conversazioni lunghe, come progettare prompt che sfruttino entrambi i sistemi in modo ottimale.
