RAG ou fine-tuning : de quoi votre produit a-t-il vraiment besoin ?

Les équipes demandent souvent si elles devraient « faire du fine-tuning » sur un modèle, alors que ce dont elles ont réellement besoin, c’est que le modèle réponde à des questions sur leurs propres données. Ce sont deux problèmes différents, avec des solutions différentes, et les confondre est l’une des erreurs les plus fréquentes – et les plus coûteuses – de l’IA appliquée.

Utilisez la génération augmentée par récupération (RAG) pour donner à un modèle des connaissances qu’il ne possède pas. Utilisez le fine-tuning (ajustement fin du modèle) pour modifier son comportement – son format, son ton ou une tâche étroite et répétitive. La plupart des produits ont bien plus besoin du premier que du second.

Le RAG relie le modèle à vos données au moment de la requête : il récupère les documents pertinents et les fournit au modèle comme contexte. Les réponses restent ainsi à jour lorsque vos données évoluent, vous obtenez des sources que vous pouvez montrer aux utilisateurs et vous évitez que le modèle invente des faits. Pour les assistants, les copilotes de support et tout ce qui repose sur vos propres connaissances, le RAG est presque toujours le bon point de départ.

Le fine-tuning modifie le comportement par défaut du modèle. Il excelle lorsque vous avez besoin d’un format de sortie constant, d’un style précis ou de solides performances sur une tâche étroite à fort volume, pour laquelle vous disposez de bons exemples d’entraînement. Il n’enseigne pas de manière fiable de nouveaux faits au modèle, et il doit être refait à mesure que vos données ou vos exigences évoluent.

Posez-vous ces questions :

• Le modèle a-t-il besoin de connaissances qu’il ne possède pas ? → RAG.
• La réponse doit-elle rester à jour quand les données changent ? → RAG.
• Avez-vous besoin de sources citées ou de traçabilité ? → RAG.
• Avez-vous besoin d’un format ou d’un style constant pour une tâche répétitive ? → Fine-tuning.
• Disposez-vous d’un large ensemble d’exemples d’entrée/sortie de haute qualité ? → Le fine-tuning est envisageable.

Commencez par des prompts soignés et le RAG. Ajoutez des évaluations pour mesurer la qualité. Ne recourez au fine-tuning que lorsque vous faites face à un problème de comportement précis que ni les prompts ni la récupération ne peuvent résoudre – et que vous disposez des données nécessaires. Ce qui coûte cher, ce n’est pas la technique : c’est de choisir la mauvaise et de s’en apercevoir au bout de trois mois.