Une équipe branche un assistant génératif sur ses documents internes. En trois semaines, il résume, rédige, répond aux clients. Personne, dans cette équipe, ne sait dire quelles données il a indexées, quelles réponses il a renvoyées, ni à qui.
Le réflexe de sécurité, devant cette scène, consiste à verrouiller l'accès : qui peut ouvrir l'outil, avec quelle authentification. Une IA générative n'a pourtant pas de périmètre à verrouiller. Elle ingère des données, transforme un modèle, produit du texte, appelle des outils, puis apprend de ce qu'on lui renvoie. Le risque circule dans ce flux. Il sort par le maillon que personne n'a gouverné.
Voici la thèse de cet article : la sécurité d'une IA générative se distribue sur les six étapes de son flux de travail, de l'acquisition des données au retour d'usage, et le système entier ne vaut que son maillon le moins gouverné.
En bref : la sécurité d'une IA générative se gouverne sur six étapes le long de son flux de travail (acquisition des données, modèle, génération, déploiement, surveillance, boucle de retour). À chaque étape, une seule question tient lieu de contrôle : qu'est-ce qui pourrait sortir d'ici sans qu'on le sache, et saurait-on le prouver ? L'inventaire qui répond à cette question est celui qu'exigent déjà ISO/IEC 42001, le NIST AI RMF, l'AI Act et la Loi 25.
Où circule le risque dans une IA générative ?
La donnée traverse le système de bout en bout. Elle entre par le corpus d'entraînement ou d'indexation, passe par un modèle souvent tiers, ressort en texte, transite par des outils que des agents appellent, puis revient, parfois, dans le modèle pour l'améliorer. Chaque passage est un endroit où une donnée sensible peut s'échapper ou un résultat devenir impossible à reconstituer. Sécuriser cet ensemble suppose de le suivre maillon par maillon, là où la donnée passe vraiment, plutôt qu'à la porte d'entrée du réseau.
Quelles sont les six étapes à gouverner ?
| Étape | Le risque propre à l'étape | Le contrôle minimal |
|---|---|---|
| 1. Acquisition des données | Données sensibles, personnelles ou sous licence aspirées sans tri dans le corpus d'entraînement ou d'indexation. | Classification et minimisation avant ingestion ; registre des sources. |
| 2. Modèle | Modèle tiers opaque, version non figée, dépendance dont les garanties contractuelles restent inconnues. | Inventaire des modèles et des versions ; fiches de modèle conservées. |
| 3. Génération | Injection de requête, fuite de données dans la requête ou la sortie, hallucination présentée comme un fait. | Filtrage des entrées et des sorties ; garde-fous sur les données sensibles. |
| 4. Déploiement | Accès trop larges, agents qui appellent des outils sans contrôle, élévation silencieuse des permissions. | Moindre privilège ; revue des droits des agents comme des humains. |
| 5. Surveillance et conformité | Aucune trace exploitable ; impossible de reconstituer ce qui a été produit, pour qui, à partir de quoi. | Journalisation des requêtes et des sorties ; rattachement aux cadres applicables. |
| 6. Boucle de retour | Réintroduction des données d'usage dans le modèle ou l'index sans consentement ni revue. | Politique de réutilisation explicite ; point de contrôle humain avant réinjection. |
Aucune de ces six lignes ne s'achète. Ce sont des décisions, prises et écrites, à des endroits précis du flux. C'est ce qui sépare un programme de sécurité défendable d'un tableau de bord rassurant.
La protection active prend le relais de la surveillance
Le premier réflexe devant un risque nouveau consiste à l'observer : on installe une surveillance, on collecte des alertes, on attend. Observer une fuite la laisse se produire. La maturité se mesure au passage de la surveillance à la protection active, soit la capacité à agir au moment où la donnée bascule : masquer une donnée personnelle dans une requête avant qu'elle n'atteigne le modèle, bloquer une sortie qui contient un secret, resserrer un accès devenu trop large. Le contrôle qui se contente de constater arrive toujours après coup.
L'opérationnalisation, le maillon que les programmes sous-estiment
L'outil qui détecte un problème ne le règle pas. Quelqu'un valide l'alerte, en attribue la responsabilité, décide de l'action et l'exécute. C'est là que la plupart des programmes calent : la technologie est budgétée, les personnes et le flux de décision ne le sont pas. Une découverte sans propriétaire est une découverte qui dort. Avant tout achat, trois réponses comptent : qui reçoit l'alerte, qui tranche, en combien de temps.
Un contrôle de sécurité n'existe que s'il porte un nom : la personne qui répond quand il se déclenche.
Par où commencer sans s'enfermer ?
Couvrir les six étapes d'un coup épuise un programme avant qu'il ne produise un effet. La pratique enseigne l'inverse : choisir d'abord le maillon le plus exposé, souvent la génération et le déploiement, là où vos données rencontrent un modèle tiers, et l'instrumenter à fond avant d'élargir. Deux principes tiennent l'ensemble : aligner chaque contrôle sur un résultat d'affaires lisible, et privilégier des briques interopérables. La sécurité de l'IA générative est un domaine jeune ; s'attacher à un fournisseur unique aujourd'hui hypothèque les choix de demain.
Un seul inventaire, quatre cadres servis
Sécuriser ce flux constitue le cœur opérationnel de la gouvernance, pas un chantier parallèle. L'inventaire des données, des modèles, des usages et des accès qu'exige la sécurité du flux est celui que réclament ISO/IEC 42001, le NIST AI RMF, l'AI Act et la Loi 25. Tenir ce registre à jour sert les quatre cadres avec un seul document. C'est la matière de la propriété Cartographier du référentiel IA id, le profil en six propriétés sur lequel repose l'Indice IA.
Le test d'une IA générative défendable tient en une phrase : pourrait-on reconstituer ce qu'elle a produit, à partir de quelles données et pour qui, et le prouver ?