RAG o fine-tuning: di che cosa ha davvero bisogno il vostro prodotto?

Spesso i team chiedono se debbano fare il «fine-tuning di un modello» quando in realtà hanno bisogno che il modello risponda a domande sui loro dati. Sono problemi diversi con soluzioni diverse, e confonderli è uno degli errori più comuni, e più costosi, nell'IA applicata.

Usate la retrieval-augmented generation (RAG) per fornire a un modello conoscenze che non possiede. Usate il fine-tuning per cambiare il modo in cui un modello si comporta: il formato, il tono o un compito ristretto e ripetitivo. La maggior parte dei prodotti ha bisogno della prima molto più del secondo.

La RAG collega il modello ai vostri dati al momento della richiesta: recupera i documenti pertinenti e li fornisce al modello come contesto. In questo modo le risposte restano aggiornate quando i dati cambiano, potete mostrare agli utenti le fonti citate ed evitate che il modello inventi fatti. Per assistenti, copiloti per il supporto e qualsiasi sistema basato sulle vostre conoscenze, la RAG è quasi sempre il punto di partenza giusto.

Il fine-tuning modifica il comportamento predefinito del modello. Dà il meglio quando servono un formato di output coerente, uno stile specifico o prestazioni elevate su un compito ristretto e ad alto volume per il quale disponete di buoni esempi di addestramento. Non insegna in modo affidabile nuovi fatti al modello e va ripetuto ogni volta che i dati o i requisiti cambiano.

Ponetevi queste domande:

• Il modello ha bisogno di conoscenze che non possiede? → RAG.
• La risposta deve restare aggiornata quando i dati cambiano? → RAG.
• Vi servono citazioni delle fonti o tracciabilità? → RAG.
• Vi servono un formato o uno stile coerenti per un compito ripetitivo? → Fine-tuning.
• Disponete di un ampio insieme di esempi di input/output di alta qualità? → Il fine-tuning è praticabile.

Partite da prompt ben costruiti e dalla RAG. Aggiungete la valutazione per poter misurare la qualità. Ricorrete al fine-tuning solo quando avete un problema di comportamento specifico che né i prompt né il retrieval riescono a risolvere, e i dati per affrontarlo. A costare caro non è la tecnica, ma scegliere quella sbagliata e accorgersene dopo tre mesi.