Gouvernance des agents IA: journaux, autorisations et points de contrôle humains
La gouvernance des agents IA semble lourde jusqu’à ce que quelque chose se passe mal. Ensuite, tout le monde veut savoir ce que l’agent a vu, pourquoi il a agi et qui l’a approuvé.
La gouvernance n’est pas la bureaucratie. C’est ainsi que l’automatisation devient fiable.
Les autorisations doivent être explicites
Un agent ne doit pas avoir un accès vague. Il aurait dû nommer des capacités.
Par exemple:
- lire les tickets d’assistance
- résumer des documents
- rédiger des réponses
- mettre à jour les notes internes
- créer des tâches
- demander l’approbation
Chaque capacité doit avoir des limites. La lecture et l’écriture sont des risques différents.
Les journaux sont des fonctionnalités du produit
Si un agent touche un processus métier, les journaux ne sont pas facultatifs. Ils font partie de l’expérience utilisateur.
Un journal utile répond:
- quelle entrée a été utilisée?
- quels outils s’appelaient-ils?
- quel résultat a été produit?
- quelle confiance ou quelles hypothèses existaient?
- qui l’a examiné ou approuvé?
- qu’est-ce qui a changé après?
Sans journaux, les utilisateurs ne peuvent pas faire confiance au système lorsque le résultat compte.
Les files d’attente de révision réduisent les risques
Toutes les actions ne nécessitent pas d’approbation, mais les actions risquées le sont.
Les files d’attente de révision sont utiles pour:
- messages destinés aux clients
- les décisions financières
- étapes juridiques ou sensibles à la conformité
- modifications des données dans les systèmes de source de vérité
- résultats de faible confiance
- cas inhabituels
L’agent se prépare; c’est l’humain qui décide.
L’escalade fait partie du workflow
Un agent bien conçu sait quand il est dépassé.
Les déclencheurs d’escalade peuvent inclure:
- informations manquantes
- données contradictoires
- sujet sensible détecté
- confiance en dessous du seuil
- échec répété
- remplacement de l’utilisateur
S’arrêter est souvent l’action la plus intelligente.
La gouvernance permet plus d’autonomie plus tard
Le paradoxe est qu’un contrôle fort facilite l’autonomie future. Une fois que les autorisations, les journaux et les chemins de révision existent, les équipes peuvent étendre en toute sécurité les activités de l’agent.
Sans gouvernance, toute capacité supplémentaire semble risquée.
La norme pratique
Avant de mettre un agent dans un processus réel, demandez-vous:
Pourrions-nous expliquer ce qui se passerait si cette sortie était contestée demain?
Si la réponse est non, l’automatisation n’est pas prête.