Guide pratique
Comment évaluer un assistant IA interne
Une démonstration convaincante peut masquer un assistant peu fiable. Évaluez les tâches des utilisateurs, les preuves derrière chaque réponse et les limites que le système doit respecter.
Ars Codex · Mis à jour le 2026-10-28
Constituer un jeu de questions avant les réglages
Recueillez des questions représentatives auprès des utilisateurs : recherches simples, réponses réparties sur plusieurs documents, formulations ambiguës, procédures périmées et informations absentes. Associez à chaque question les sources attendues et le comportement acceptable.
Séparez les questions de développement des cas réservés à l’acceptation. Un score sur les seules questions utilisées pour régler le système renseigne peu sur les nouvelles situations.
Évaluer davantage que la formulation
- Recherche : la source nécessaire était-elle disponible ?
- Justification : les passages cités soutiennent-ils la réponse ?
- Complétude : des conditions ou exceptions manquent-elles ?
- Abstention : l’assistant reconnaît-il les preuves insuffisantes ?
- Accès : évite-t-il de récupérer des sources non autorisées ?
- Utilité : la personne peut-elle vérifier et terminer sa tâche ?
Conservez ces dimensions séparées : une moyenne peut masquer une défaillance critique de permission ou de justification.
Tester les droits et les consignes trompeuses
Posez la même question avec des comptes aux droits différents. Un document restreint ne doit pas être exposé par son titre, des extraits, des citations, des réponses en cache ou des journaux accessibles au mauvais utilisateur.
Ajoutez un document contenant des instructions trompeuses destinées à l’assistant. Le texte récupéré doit servir de preuve à analyser, pas d’autorité sur les règles du système. Vérifiez la réponse et les éventuelles actions proposées.
Comparer les changements à une référence stable
Versionnez les sources, la recherche, les consignes et la configuration des modèles de chaque essai. Conservez les raisons des jugements. Rejouez le même ensemble après toute modification des modèles, de l’index ou des permissions.
Définissez un temps de réponse et un coût acceptables pour la charge réelle. Faites évaluer un échantillon par les utilisateurs avant d’élargir le déploiement. Enrichissez ensuite les tests sans perdre la référence initiale.
Faire de l’acceptation une décision métier
Convenez des échecs bloquants et de ceux qui exigent une alerte, une vérification humaine ou un périmètre plus étroit. Une recherche de procédure et un outil modifiant les dossiers clients demandent des règles différentes.
Découvrez notre conception illustrative d’un assistant, le conseil en IA et le développement IA sur mesure.