Sécuriser un chatbot d'entreprise : la liste de contrôle

Sécuriser un chatbot d'entreprise, c'est vérifier sept points : qui peut lui parler, quels documents il peut lire, par où passent ses échanges réseau, ce que filtrent ses entrées et ses sorties, ce qu'il peut faire, ce qu'il garde en mémoire et en journaux, et comment il a été testé. La liste ci-dessous suit le guide de l'ANSSI (Agence nationale de la sécurité des systèmes d'information) du 29/04/2024 et le Top 10 2026 de l'OWASP, fondation qui publie des référentiels de sécurité applicative.

Avant tout : interne ou public ?

Pour un chatbot public, l'ANSSI recommande notamment de n'entraîner le modèle qu'à partir de données publiques, d'authentifier les utilisateurs au préalable, d'analyser systématiquement leurs requêtes, de contrôler et valider les réponses avant envoi, de protéger l'historique des échanges, de prévoir des mesures contre les dénis de service distribués et de sécuriser le service web en frontal. Une règle simple en découle : un chatbot public ne lit que ce qui est déjà public.

La liste de contrôle

1. L'accès

• Les utilisateurs s'authentifient par le fournisseur d'identité de l'entreprise, pas par des comptes créés à part.
• Les comptes d'administration du chatbot sont séparés, et leur accès est sécurisé (R10).
• Un départ de salarié coupe son accès le jour même.

2. Les documents

• Chaque passage indexé porte ses droits d'accès, et la recherche est filtrée selon l'identité de la personne avant que le modèle ne lise quoi que ce soit (voir fuite de données).
• Les droits sont revus à l'activation puis régulièrement, pour vérifier que les mises à jour du produit ne les ont pas élargis (R35).
• Personne ne peut ajouter un document dans la base sans contrôle : c'est la porte de l'empoisonnement.

3. Le réseau et l'hébergement

• Le système est cloisonné dans une ou plusieurs zones dédiées, pour limiter la propagation d'une attaque (R28).
• Tous les flux avec les autres applications sont documentés, filtrés, chiffrés et authentifiés, avec un contrôle des autorisations en plus de l'authentification (R26).
• Un chatbot exposé sur Internet passe par une passerelle Internet sécurisée (R13).
• L'hébergement correspond à la sensibilité des données (R11), et, dans un cloud public, l'ANSSI recommande de privilégier un hébergement SecNumCloud (R14).

4. Les filtres d'entrée et de sortie

L'ANSSI recommande (R25) un filtre des requêtes malveillantes, un filtre des requêtes non légitimes du point de vue métier, un filtre des informations internes du modèle et des informations sensibles dans les réponses, et une limite de taille des réponses. Voir garde-fous d'entrée et de sortie.

5. Les actions

• Le chatbot ne déclenche aucune action critique sur le système d'information sans validation humaine (R9).
• Les actions automatiques à partir d'entrées non maîtrisées, comme un mail reçu ou une page web, sont limitées voire proscrites (R27).
• Les identifiants des outils restent dans le code, jamais dans le prompt système (voir fuite du prompt système).
• L'affichage n'exécute pas ce que produit le modèle : pas d'images externes ni de code interprété sans validation.

6. La mémoire et les journaux

• Chaque traitement est journalisé : requête, prétraitement, appels d'extensions et de données, filtres de sortie, réponse (R29). Voir journalisation.
• Les journaux sont protégés comme les données qu'ils contiennent, avec une durée de conservation fixée.
• Des plafonds de requêtes par utilisateur limitent l'énumération et les abus de consommation, le sixième risque du Top 10 OWASP 2026.

7. Les tests et la continuité

• Un audit de sécurité spécifique à l'IA a lieu avant la mise en production (R23). Voir red teaming.
• Des tests fonctionnels vérifient la qualité des réponses, avant le déploiement et en continu (R24).
• Un mode dégradé permet de travailler sans le chatbot s'il tombe ou s'il doit être coupé (R15).

Le côté organisation

La CNIL (Commission nationale de l'informatique et des libertés) recommande d'encadrer l'usage par une charte qui distingue usages autorisés et interdits, de former les utilisateurs au fonctionnement et aux limites du système, et d'associer le délégué à la protection des données et le RSSI (responsable de la sécurité des systèmes d'information). Pour les obligations d'information des visiteurs d'un chatbot, voyez la page transparence d'un chatbot et AI Act, le règlement européen sur l'IA ; elle explique le texte, sans tenir lieu d'avis juridique.