Jailbreak d'une IA : de quoi parle-t-on ?

Un jailbreak (littéralement « évasion de prison ») est une demande rédigée pour qu'un modèle d'IA générative sorte de ses règles : produire un contenu qu'il refuserait, ignorer les consignes de l'entreprise qui l'a déployé, adopter un rôle sans limites. L'OWASP le classe comme un cas particulier d'injection de prompt, celui où l'utilisateur lui-même est l'attaquant et vise les protections du modèle.

Jailbreak ou injection de prompt ?

La documentation d'Anthropic distingue deux modèles de menace :

• jailbreak et injection directe : l'utilisateur de votre application est l'adversaire ; il fabrique ses messages pour contourner vos garde-fous ;
• injection indirecte : l'utilisateur est de bonne foi, mais le modèle lit un contenu tiers (page web, mail, document, résultat d'outil) qui contient des instructions hostiles.

La différence compte, car les parades ne sont pas les mêmes. Contre le jailbreak, on surveille et on filtre ce que tape l'utilisateur ; contre l'injection indirecte, on sépare et on étiquette les contenus extérieurs (voir injection de prompt).

Les techniques les plus courantes

La documentation de Microsoft sur Prompt Shields, son service de détection d'attaques par prompt, classe les tentatives des utilisateurs en quatre familles :

L'OWASP ajoute que les langues peu présentes dans les données d'entraînement, les mélanges de langues et les codages comme Base64 ou ROT13 font monter le taux de réussite et passent à travers des filtres qui n'ont pas été entraînés sur ces formes.

Ce que risque une entreprise

Pour un chatbot public, le premier risque est l'image : une capture d'écran où l'assistant de votre marque tient des propos inacceptables. L'ANSSI (Agence nationale de la sécurité des systèmes d'information) cite le ternissement de la réputation des services exposés au grand public parmi les impacts à prévoir. Pour un assistant interne, le jailbreak sert souvent de première marche : obtenir le prompt système, découvrir les outils disponibles, puis tenter une action.

Comment s'en protéger

La documentation d'Anthropic propose, contre le jailbreak et l'injection directe :

1. Un filtre préalable : un petit modèle classe chaque message avant qu'il n'atteigne le modèle principal, avec une réponse contrainte (par exemple un simple vrai ou faux).
2. Une validation des entrées à partir de formulations de jailbreak connues.
3. Un prompt système qui pose les limites et dit explicitement comment refuser.
4. Une réponse aux récidivistes : ralentir ou bloquer un utilisateur qui déclenche plusieurs fois le même refus.
5. Une surveillance continue des réponses pour repérer les contournements réussis et ajuster les filtres.

L'ANSSI, pour un service d'IA ouvert au grand public, recommande de durcir les mesures (R33) : authentifier les utilisateurs au préalable, analyser systématiquement leurs requêtes, contrôler et valider les réponses avant envoi, et protéger l'historique des échanges.

Les limites à connaître

L'OWASP le rappelle : les protections ajoutées par l'application contiennent le jailbreak, mais une prévention efficace demande aussi des mises à jour continues de l'entraînement et des mécanismes de sécurité du modèle, qui relèvent de son éditeur. Microsoft précise de son côté que ses détecteurs sont surtout entraînés et évalués sur l'anglais, et que les résultats peuvent varier dans d'autres langues : testez en français avec vos propres exemples.

La seule protection qui ne dépend pas du modèle reste la même que pour toute la sécurité de l'IA : un modèle « jailbreaké » ne doit avoir accès à rien de sensible et ne doit pouvoir rien faire d'important sans contrôle. Pour vérifier la tenue de vos garde-fous avant la mise en service, voyez le red teaming d'une IA.