Prompt (modèle de langage)

Un prompt (de l'anglais prompt — « suggestion » ou « requête textuelle ») dans le contexte des grands modèles de langage (LLM) est un texte ou une instruction d'entrée que l'utilisateur fournit au modèle pour générer la réponse souhaitée. Le prompt formule la tâche pour le modèle, en incluant les conditions nécessaires, le contexte et des exemples. L'efficacité du modèle dépend en grande partie de la qualité du prompt formulé.

La discipline qui étudie les méthodes de développement et d'optimisation des requêtes textuelles est appelée ingénierie des prompts (prompt engineering). Son objectif est d'obtenir des modèles d'IA des réponses aussi pertinentes, précises et sûres que possible. Un prompt bien conçu définit un « itinéraire » pour l'exécution de la tâche par le modèle, aidant à préciser le contexte requis et le résultat souhaité.

Histoire du développement de l'approche

L'idée de contrôler le comportement des LLM à l'aide de prompts textuels s'est développée au fur et à mesure que les capacités des modèles eux-mêmes augmentaient.

Premières étapes (GPT-2)

Dès 2019, les chercheurs d'OpenAI ont démontré que les grands modèles de langage pré-entraînés, tels que GPT-2, étaient capables de résoudre de nouvelles tâches sans formation supplémentaire, à condition de les formuler sous forme de texte. L'article «Language Models are Unsupervised Multitask Learners» a marqué un changement fondamental : au lieu de ré-entraîner le modèle pour chaque tâche, il suffisait de lui formuler une instruction claire en entrée.

La percée avec GPT-3 et l'apprentissage en contexte

La véritable percée a eu lieu avec la sortie du modèle GPT-3 en 2020. Doté de 175 milliards de paramètres, GPT-3 a démontré sa capacité à l' apprentissage en contexte (in-context learning) — l'assimilation d'une nouvelle tâche « à la volée » à partir de quelques exemples fournis directement dans le texte du prompt. Ce mode de fonctionnement a été baptisé apprentissage à quelques exemples (few-shot learning) et a montré que l'augmentation de la taille du modèle permettait d'atteindre une haute qualité d'exécution pour les tâches de NLP sans aucun ajustement des poids.

Apparition de la chaîne de pensée (Chain-of-Thought, CoT)

Le développement ultérieur en 2022 a été lié à l'amélioration de la capacité des modèles à effectuer des raisonnements logiques complexes. Des prompts spécifiques sous forme de chaîne de pensée (chain-of-thought prompting) ont été proposés. Dans de tels prompts, le modèle reçoit non seulement une question, mais aussi un exemple de raisonnement séquentiel et étape par étape avant la réponse. Cela a considérablement amélioré la précision des solutions dans les tâches arithmétiques et logiques. Une étude de Kojima et ses collègues a montré qu'il est possible de stimuler le raisonnement du modèle même sans exemples (zero-shot), en ajoutant simplement la phrase « Réfléchissons étape par étape » à la fin du prompt.

Prompts multimodaux

Le concept de prompt a dépassé le cadre du texte. En 2022, avec l'avènement des modèles DALL-E 2 et Stable Diffusion, les requêtes des utilisateurs en langage naturel sont devenues une interface universelle pour la génération d'images, puis de musique et de vidéos.

Types et techniques d'utilisation des prompts

Il existe plusieurs types et techniques de prompts principaux, qui sont souvent combinés.

Prompting zero-shot (Requête directe)

Le modèle ne reçoit qu'une instruction ou une question, sans aucun exemple. Dans ce mode, le LLM s'appuie sur ses connaissances générales acquises lors du pré-entraînement. Cette approche convient aux tâches simples, comme la traduction ou le résumé de texte.

Prompting few-shot (Apprentissage par l'exemple)

En plus de l'instruction, le prompt inclut un ou plusieurs exemples avec des entrées et les sorties attendues. Le modèle « apprend à la volée » à partir de ces échantillons et applique la logique assimilée à la nouvelle requête. Cette méthode, qui met en œuvre l' in-context learning, améliore considérablement la précision pour les tâches où un format ou un style de réponse spécifique est important.

Chaîne de pensée (Chain-of-Thought, CoT)

Un type de prompt spécifique pour les tâches nécessitant des raisonnements complexes (mathématiques, logique). Le prompt inclut une décomposition étape par étape ou un plan de résolution avant la réponse finale. Cela oblige le modèle à structurer explicitement son processus de raisonnement, ce qui améliore considérablement la qualité du résultat.

Ajustement de prompt (Prompt Tuning)

Une technique où, au lieu de rédiger manuellement un prompt, on utilise un prompt optimisé automatiquement. Le prompt est représenté sous la forme d'un ensemble de tokens spéciaux entraînables (un vecteur continu) qui est ajouté à la requête de l'utilisateur. En n'entraînant que ce petit vecteur-prompt, il est possible d'adapter un grand modèle « gelé » à une nouvelle tâche avec un coût de calcul minimal.

L'ingénierie des prompts en tant que discipline

Apparition de la profession

L'essor des capacités des LLM a conduit à l'émergence d'une nouvelle spécialisation : l' ingénieur de prompts (prompt engineer). Ces spécialistes développent et affinent des prompts textuels pour obtenir le comportement souhaité de l'IA. Les ingénieurs de prompts utilisent leurs connaissances en linguistique, en logique et en psychologie pour structurer les données d'entrée de la manière la plus efficace possible. En 2022-2023, les premières offres d'emploi pour ce poste sont apparues, reflétant une forte demande pour les compétences en interaction efficace avec les systèmes d'IA.

Avenir de la profession et automatisation

Le domaine évolue rapidement, et son avenir fait l'objet de débats. Des recherches menées en 2024, par exemple par VMware, ont montré que l'IA elle-même est capable de trouver des formulations de prompts efficaces par itération et optimisation, surpassant souvent celles des humains. Cela a donné naissance à l'idée que l'ingénierie manuelle des prompts pourrait être un phénomène temporaire et que les outils de sélection automatique de prompts deviendront la norme. Néanmoins, en 2025, l'expertise en ingénierie des prompts reste très demandée.

Domaines d'application

• Traitement du langage naturel : Tâches classiques de NLP telles que le résumé automatique de documents, la traduction automatique, la réponse aux questions et l'extraction d'informations.
• Chatbots et assistants virtuels : Les prompts aident à définir le rôle, le style de communication et le format des réponses, rendant les systèmes de dialogue plus cohérents et utiles.
• Génération de code : Des modèles comme OpenAI Codex peuvent écrire du code de programmation à partir d'une description en langage naturel, ce qui accélère le développement.
• Analyse de données : À l'aide de prompts, il est possible de configurer un modèle pour extraire des informations clés de rapports textuels non structurés ou pour générer des hypothèses.
• Éducation : Création de tuteurs intelligents qui génèrent des exercices, expliquent des concepts complexes et vérifient les réponses en tenant compte du niveau de l'étudiant.
• Industries créatives : Génération de textes, d'images artistiques, de musique et de scénarios à partir de descriptions détaillées.

Utilisation malveillante et vulnérabilités (Injection de prompt)

La nature ouverte de l'interface des LLM a conduit à l'émergence d'une nouvelle classe d'attaques : l' injection de prompt (prompt injection). Un attaquant formule une requête malveillante spécifique qui pousse le modèle à enfreindre ses instructions initiales ou à divulguer des informations cachées. Les experts considèrent cela comme une variante de l'attaque par injection de code, où des instructions textuelles malicieuses sont « injectées » dans le système à la place du code.

Types d'attaques

• Jailbreak : Une attaque permettant au modèle de « s'échapper » des contraintes imposées (par exemple, les politiques de modération) et de générer du contenu interdit. Un exemple célèbre est le prompt DAN (Do Anything Now), qui forçait ChatGPT à répondre sans censure.
• Prompt Leaking : Une requête spéciale force le modèle à révéler des fragments de son prompt système caché.
• Token Smuggling : Une instruction malveillante est déguisée en une partie inoffensive de la requête (par exemple, un extrait de code) pour contourner les filtres et provoquer un comportement indésirable.

Ces attaques représentent un problème sérieux, car les méthodes traditionnelles de cybersécurité sont mal adaptées aux menaces liées à l'interprétation du langage naturel.

Bibliographie

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.