Tester l’IA d’un outil auteur sur vos documents

Préparez le document avant d’ouvrir l’outil

Prenez une procédure de deux à six pages que l’expert connaît par cœur, avec au moins une règle chiffrée et une exception. Ce format est notre conseil : il est assez court pour être relu, et assez riche pour piéger.

Faites écrire par l’expert, avant le test, cinq points qui doivent ressortir du module, dont l’exception et le chiffre. C’est votre grille de référence. Cette liste doit rester cachée à l’outil et à la personne qui lance la génération.

Le test, dans l’ordre

1. Lisez les conditions de chaque outil. Qui traite la demande, si le contenu sert à entraîner un modèle, où sont traitées les données. Si le document est confidentiel et que vous n’avez pas de réponse, passez à un contenu public équivalent.
2. Utilisez la même consigne dans les deux outils. Même public, même durée visée, même nombre de questions. Écrivez la consigne une fois et copiez-la. Vérifiez que l’offre testée inclut la fonction que vous achèterez : une offre d’essai peut différer.
3. Gardez la première sortie, sans retouche. Faites une copie. C’est elle que vous notez. Notez aussi les crédits consommés si l’outil les affiche.
4. Faites corriger par l’expert, chronomètre en main. Il corrige jusqu’à accepter de signer le module. Il note le temps et chaque erreur dans la grille ci-dessous. Faites-le un autre jour pour le second outil, en commençant une fois sur deux par l’autre si vous testez plusieurs documents.
5. Vérifiez les cinq points de référence. Présents et justes, déformés ou absents. Une exception absente sur un sujet de sécurité élimine la sortie telle quelle, quelle que soit la vitesse.
6. Publiez le module et lancez-le. Un quiz généré doit fonctionner dans votre LMS, avec son score. Ce contrôle se fait sur le module corrigé, en suivant notre page de test SCORM.
7. Répétez sur un second document si l’écart est faible. Un seul document peut favoriser un outil par hasard. Prenez alors un sujet différent, de préférence plus court.

La grille à remplir par l’expert

Comment lire le résultat

Exemple fictif : un document de quatre pages, testé sur deux outils. Les chiffres sont inventés pour montrer la lecture.

Ce que cet exemple vous autorise à conclure

L’outil A paraît quatre fois plus rapide à la génération. Il prend pourtant deux fois plus de temps à l’expert, et il laisse passer davantage d’erreurs. Dans ce cas fictif, nous retiendrions B pour ce type de document.

Notez bien la portée. Ce test porte sur un document, à une date, sur une version de l’outil, avec un seul expert. Il ne classe pas les outils et il ne dit rien de l’apprentissage de vos salariés. Il vous donne une raison d’écarter un candidat, et une mesure de ce que coûtera réellement chaque module.

Pour obtenir ce coût, convertissez le temps total de l’expert en heures, puis multipliez par son coût interne en euros par heure. Si vous partez d’un tarif journalier, divisez-le d’abord par le nombre d’heures de cette journée. Ajoutez ensuite les crédits consommés. Comparez ce chiffre aux promesses des pages de prix, en gardant vos mesures avec la date et l’offre testée.