--- title: "Apprentissage en contexte" source: "https://systems-analysis.info/int/Apprentissage_en_contexte" wiki: "systems-analysis.info/int" article: "Apprentissage_en_contexte" language: "fr" categories: - "Category:French" - "Category:Large language models" - "Category:Machine learning" revision_id: 419 wiki_created_at: 2026-09-06T22:33:27Z wiki_modified_at: 2026-09-06T22:33:27Z downloaded_at: 2026-09-07T22:39:54Z --- # Apprentissage en contexte L' **apprentissage en contexte** (en anglais **In-Context Learning**, **ICL**) est la capacité fondamentale des grands modèles de langage (LLM) d'apprendre de nouvelles tâches « à la volée », en utilisant uniquement des exemples (démonstrations) fournis dans le contexte (prompt) de la requête. La caractéristique clé est que ce processus d'adaptation se produit sans mise à jour des poids (paramètres) du modèle, c'est-à-dire sans l'entraînement supplémentaire traditionnel (fine-tuning)[\[1\]](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_note-lakera-1)[\[2\]](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_note-hopsworks-2). Ce mécanisme permet aux modèles de faire preuve d'une flexibilité remarquable, en résolvant des tâches pour lesquelles ils n'ont pas été spécifiquement entraînés. L'ICL est devenu l'une des avancées majeures qui ont rendu les grands modèles de langage si puissants et polyvalents[\[3\]](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_note-gradient_pub-3). ## Mécanismes de fonctionnement La compréhension exacte du fonctionnement de l'ICL reste un domaine de recherche actif, mais plusieurs théories principales expliquent ce phénomène. ### Le Transformer en tant que méta-optimiseur Une théorie populaire suggère que l'architecture Transformer, lors du pré-entraînement, apprend à implémenter des algorithmes d'apprentissage dans ses passes directes (forward passes). Lorsque le modèle reçoit un prompt avec des exemples, il effectue implicitement une sorte d'optimisation pour résoudre la tâche présentée, en ajustant ses états internes (activations) plutôt que ses poids[\[4\]](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_note-arxiv_grad-4). ### Inférence bayésienne Une autre théorie considère l'ICL comme une forme d'inférence bayésienne. Le modèle, pré-entraîné sur d'immenses corpus de données, possède une connaissance a priori d'un grand nombre de concepts. Les exemples fournis dans le contexte servent de preuves qui permettent au modèle d'affiner sa distribution de probabilité a posteriori sur les concepts latents. En d'autres termes, les exemples aident le modèle à « comprendre » laquelle des milliers de tâches qu'il connaît doit être résolue à ce moment précis[\[5\]](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_note-stanford-5). ## Types d'apprentissage en contexte Selon le nombre d'exemples fournis, l'ICL est divisé en trois types principaux. - **Apprentissage few-shot (apprentissage à partir de quelques exemples)**: C'est l'approche la plus courante et la plus équilibrée. Le modèle reçoit quelques exemples de démonstration (généralement de 2 à 10). *Exemple (classification de sentiment) :* Texte : "Quelle magnifique journée !" Sentiment : Positif Texte : "Je déteste être coincé dans les embouteillages." Sentiment : Négatif Texte : "Ce film était plutôt moyen." Sentiment : **Réponse attendue :** Neutre - **Apprentissage one-shot (apprentissage à partir d'un seul exemple)**: Le modèle ne reçoit qu'un seul exemple. Cela suffit souvent à définir le format de la réponse et à améliorer considérablement les performances par rapport à l'approche zero-shot. - **Apprentissage zero-shot (apprentissage sans exemple)**: Le modèle ne reçoit aucun exemple, seulement une instruction ou une description de la tâche. Dans ce cas, le modèle s'appuie entièrement sur les connaissances acquises lors de son pré-entraînement. ## Application pratique Une application correcte de l'ICL permet de résoudre un large éventail de tâches sans nécessiter un développement et un fine-tuning coûteux. - **Pour les tâches créatives et stylistiques** (génération de code dans un style spécifique, rédaction de texte à la manière d'un auteur particulier) : - L' **apprentissage few-shot** est recommandé. - Les exemples aident le modèle à saisir le style, le format et la structure de sortie souhaités. - **Pour les tâches simples avec des instructions claires** (traduction, résumé, réponse à des questions simples) : - L' **apprentissage zero-shot** est souvent suffisant. - Les modèles modernes gèrent assez bien ces tâches si elles faisaient partie de leur pré-entraînement. - **Pour les tâches où le format de sortie est important** (génération de JSON, extraction d'entités) : - L' **apprentissage one-shot** ou **few-shot** est recommandé. - Même un seul exemple peut définir clairement la structure de réponse requise, évitant ainsi les erreurs de formatage. ## Avantages et inconvénients
Comparaison des avantages et des inconvénients de l'ICL
Avantages Inconvénients
  • Flexibilité et rapidité : Adaptation instantanée à de nouvelles tâches sans nécessité de réentraînement.
  • Économie de ressources : Ne nécessite pas de collecte de données, d'annotation ou de puissance de calcul pour le fine-tuning.
  • Accessibilité : Permet aux utilisateurs sans expertise en ML de configurer les modèles à l'aide de simples exemples textuels.
  • Limites de la fenêtre de contexte : Le nombre d'exemples est limité par la longueur maximale du contexte du modèle.
  • Sensibilité aux exemples : Le résultat dépend fortement de la qualité, de l'ordre et du format des démonstrations fournies.
  • Coûts élevés lors de l'inférence : Les prompts longs avec de nombreux exemples augmentent le coût et le temps de génération.
  • Risques de sécurité : La transmission d'informations confidentielles en tant qu'exemples peut ne pas être sécurisée.
Comparaison des avantages et des inconvénients de l'ICL ## Comparaison avec d'autres paradigmes ### ICL vs. Fine-tuning Le fine-tuning (ajustement fin) modifie les poids du modèle, y « gravant » de nouvelles connaissances. Cela rend le modèle expert dans un domaine étroit, mais réduit sa flexibilité générale. L'ICL, au contraire, ne modifie pas les poids et est plus flexible, mais peut être moins performant sur des tâches très spécialisées nécessitant une connaissance approfondie du domaine. ### ICL vs. RAG (Retrieval-Augmented Generation) Les deux méthodes étendent le contexte du modèle, mais à des fins différentes : - **ICL** utilise des exemples pour **apprendre** au modèle *comment* effectuer une tâche (démonstration de compétence). - **RAG** utilise des informations récupérées pour **informer** le modèle des faits nécessaires à la réponse (fourniture de connaissances). En pratique, l'ICL et le RAG sont souvent combinés pour obtenir les meilleurs résultats. ## Bibliographie - Brown, T. B. et al. (2020). *Language Models are Few-Shot Learners*. arXiv:2005.14165. - Dai, D. et al. (2022). *Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers*. arXiv:2212.10559. - Panwar, M.; Ahuja, K.; Goyal, N. (2024). *In-Context Learning through the Bayesian Prism*. arXiv:2306.04891. - Müller, S. et al. (2021). *Transformers Can Do Bayesian Inference*. arXiv:2112.10510. - Garg, S. et al. (2022). *What Can Transformers Learn In-Context? A Case Study of Simple Function Classes*. arXiv:2208.01066. - Min, S. et al. (2022). *Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?*. arXiv:2202.12837. - Wang, X. et al. (2023). *Explaining and Finding Good Demonstrations for In-Context Learning*. arXiv:2302.13971. - Xie, S. et al. (2024). *A Survey on In-Context Learning*. arXiv:2301.00234. - Yu, Z.; Ananiadou, S. (2024). *How Do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads Are Two Towers for Metric Learning*. arXiv:2402.02872. - Wibisono, K. C.; Wang, Y. (2024). *From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When*. arXiv:2406.00131. - Chan, J. K. et al. (2022). *Data Distributional Properties Drive Emergent In-Context Learning in Transformers*. arXiv:2205.05055. - Hahn, M.; Goyal, N. (2023). *A Theory of Emergent In-Context Learning as Implicit Structure Induction*. arXiv:2303.07971. ## Références 1. [↑](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_ref-lakera_1-0) What is In-Context Learning (ICL)? // Lakera.ai 2. [↑](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_ref-hopsworks_2-0) In-Context Learning (ICL) // Hopsworks.ai 3. [↑](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_ref-gradient_pub_3-0) In-Context Learning, In Context // The Gradient 4. [↑](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_ref-arxiv_grad_4-0) Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers // arXiv, 2022. 5. [↑](https://systems-analysis.info/int/Apprentissage_en_contexte#cite_ref-stanford_5-0) Understanding In-Context Learning // Stanford Human-Centered AI, 2023.