Accueil / Pourquoi se former à l’IA / Les compétences à acquérir / Évaluer les résultats
Évaluer les résultats d'une IA générative
Mesurer la qualité et l'apport réel de l'IA
Découvrir la compétence
Évaluer les résultats obtenus, c’est garder un regard critique sur ce que l’IA a produit et sur la manière dont on l’a utilisée. Le professionnel identifie les risques, prend des mesures pour les réduire, et tire les leçons de son usage.
En pratique, cette compétence consiste à :
- Repérer les risques de biais dans les contenus générés.
- Protéger les données du commanditaire et la confidentialité du projet.
- Vérifier le respect de l’éthique, de la réglementation et des conditions d’utilisation des outils.
- Juger si l’objectif est atteint et identifier des pistes de progrès, y compris d’autres outils possibles.
Exemple : après avoir produit des visuels de recrutement, une chargée de communication constate que les personnes représentées sont toutes du même profil. Elle corrige les requêtes pour diversifier les représentations et documente la mesure prise.
Pourquoi cette compétence est pertinente
C’est la compétence qui distingue un usage responsable d’un usage risqué. Une erreur, un biais ou une fuite de données engage celui qui diffuse le contenu, pas l’outil qui l’a produit.
Elle répond aussi à une attente réglementaire : l’AI Act demande aux organisations d’assurer un niveau suffisant de maîtrise de l’IA, qui inclut la compréhension des risques.
Le référentiel de compétences
Cette compétence correspond à la compétence C5 de la certification Certif’IAG, enregistrée au Répertoire spécifique de France compétences sous le numéro RS6891. Elle est évaluée lors de l’épreuve 2, la présentation orale.
Énoncé du référentiel
Évaluer les résultats obtenus via les outils d’IAG en considérant les implications éthiques, les risques de biais, les enjeux de confidentialité, de sécurité et de protection des données, afin de garantir la précision et la justesse des contenus générés tout en veillant à une utilisation responsable de ces technologies et au respect de la réglementation en vigueur.
Ce qui est demandé
Présentation orale devant le jury, en visioconférence, d’une durée de 20 minutes : 10 minutes d’exposé et 10 minutes de questions-réponses. Le candidat analyse les risques liés à son usage des outils d’IAG, argumente sur l’atteinte ou non des objectifs en lien avec ces risques, identifie des pistes de progrès pour ses futurs travaux et propose des alternatives ou des solutions complémentaires aux outils utilisés.
Les critères d’évaluation
Livrable attendu
- Présentation orale structurée reprenant les objectifs de l’évaluation, appuyée par un support librediapositives, graphiques, exemples concrets, texte, image, vidéo, son.
Critères : risques
Le candidat démontre qu’il a identifié a minima deux types de risques et qu’il les a réduits dans son usage des IAG : les risques de biais, les risques liés à la protection et à la sécurité des données du commanditaire ou à la confidentialité de son projet, les risques liés à un usage ne respectant pas l’éthique ou la réglementation en vigueur, et les risques liés à un usage ne respectant pas les conditions générales d’utilisation des outils.
Critères : pistes de progrès
Le candidat argumente sur l’atteinte ou non de l’objectif. Il identifie au moins un autre outil qui lui aurait permis de générer un contenu similaire répondant au besoin, et met en lumière le risque le plus important dans le cadre de son projet (données ou éthique) en expliquant comment il l’a réduit.
À retenir : C’est la seule compétence évaluée à l’oral, et la seule à porter sur le recul critique. Deux types de risques au minimum doivent être identifiés et surtout réduits : le jury attend la mesure prise, pas le simple constat. Les questions des dix dernières minutes portent aussi bien sur les fondamentaux de la génération de contenu que sur le retour d’expérience du candidat.
Questions fréquentes
Un support de présentation est-il obligatoire ?
Oui, mais son format est libre. L’exposé oral doit en revanche reprendre les objectifs de l’évaluation de façon structurée.
Comment l'identité du candidat est-elle vérifiée ?
Par webcam, au début et à la fin de l’épreuve, sur présentation d’une pièce d’identité. La webcam reste active pendant toute la session : en cas de perte de contact visuel, la soutenance ne peut avoir lieu. Une charte de conduite anti-fraude est signée au préalable.
Que se passe-t-il en cas de désaccord au sein du jury ?
Le jury réunit deux personnes, dont une externe au certificateur. En cas de désaccord, la règle de préséance confère à ce membre externe un poids décisionnel plus fort.
Se former et se certifier
Cette compétence fait partie des cinq compétences évaluées par Certif’IAG. Pour la développer et la faire reconnaître, suivez une formation préparant à la certification auprès d’un organisme habilité.
Voir les 5 compétences de Certif’IAG · Toutes les compétences à acquérir
