================================================================
AI FLUENCY — FICHE DE RÉVISION
Évaluations et benchmarking
================================================================

MMLU, HumanEval, LLM-as-judge, suites de régression et pratiques d'évaluation en production.
6 termes

----------------------------------------------------------------

* Benchmark Contamination
  Lorsque les questions et réponses d'un benchmark se retrouvent dans les données d'entraînement d'un modèle, gonflant son score sans véritable généralisation.
  ex. Un modèle obtenant un score étonnamment élevé parce que des questions de MMLU figuraient dans ses données d'entraînement.

* HumanEval
  Un benchmark de 164 problèmes de programmation en Python qui teste si le code généré par un modèle réussit des tests unitaires automatisés.
  ex. Vérifier si la fonction générée par un modèle inverse correctement une chaîne de caractères.

* LLM-as-Judge
  Utiliser un LLM suffisamment capable pour noter ou comparer les sorties d'autres modèles selon des critères subjectifs comme l'utilité ou la cohérence, à la place d'un examen humain.
  ex. Demander à un modèle performant de choisir la meilleure de deux réponses provisoires.

* MMLU
  Un benchmark qui mesure l'étendue des connaissances d'un modèle sur 57 disciplines académiques à l'aide de questions à choix multiples.
  ex. Comparer les scores de connaissances générales de deux modèles en droit, médecine et sciences.

* pass@k
  Une métrique de génération de code mesurant à quelle fréquence au moins une des k solutions échantillonnées réussit tous les tests pour un problème donné.
  ex. pass@10 vérifie si l'une des 10 tentatives échantillonnées résout le problème.

* Regression Suite
  Un ensemble organisé de prompts de test et de comportements attendus, exécuté automatiquement après chaque changement afin de détecter un comportement cassé avant qu'il n'atteigne la production.
  ex. Réexécuter 200 prompts enregistrés chaque fois qu'un system prompt est modifié.

----------------------------------------------------------------
Astuce : collez ce fichier dans votre assistant IA préféré et demandez un tutorat.