Evidentyl AI : Surveillance des modèles IA en production

Evidently est une bibliothèque open source en Python, accompagnée d’un outil web, conçue pour le suivi des performances des modèles de machine learning en production. Elle s’adresse aux data scientists, ingénieurs ML et équipes MLOps qui souhaitent détecter des problèmes comme la dérive de données, la dégradation des performances ou les biais algorithmiques.

Evidently peut être utilisée à différents stades du cycle de vie d’un modèle : validation, déploiement et exploitation. Elle s’intègre facilement aux notebooks, pipelines ou peut être exécutée en tant que service indépendant.

Principaux avantages :

• Regroupe contrôle qualité, détection de dérive et suivi de performance dans un seul outil.
• Fonctionne sans modification du modèle ou réentraînement.
• Produit des rapports visuels accessibles aux profils techniques et non techniques.

Quelles sont les principales fonctionnalités d’Evidently ?

Détection de dérive des données et des cibles

Evidently permet d’identifier les changements dans les distributions des données d’entrée et des cibles :

• Utilise des tests statistiques (Jensen-Shannon, Wasserstein, etc.)
• Suivi distinct des variables numériques et catégorielles
• Comparaison entre données de production et données de référence
• Affiche les variables les plus concernées par la dérive

Suivi de la performance du modèle dans le temps

Permet de savoir si le modèle reste précis et fiable dans les conditions réelles :

• Suivi de précision, rappel, F1-score, etc.
• Analyse par sous-groupes (ex. : région, segment client)
• Aide à repérer une dégradation du modèle liée à la dérive de concept

Contrôle qualité et intégrité des données

Vérifie que les données entrantes sont complètes, cohérentes et utilisables :

• Détection des valeurs manquantes, types incohérents, valeurs aberrantes
• Mise en évidence de distributions inattendues ou erreurs de schéma
• Utile pour valider les données avant l’inférence

Évaluation des biais et de l’équité

Analyse si un modèle présente des disparités selon des attributs sensibles :

• Mesure de parité démographique, égalité des chances, etc.
• Détection d’écarts de traitement ou de performance entre groupes
• Pertinent pour les secteurs soumis à des exigences réglementaires

Rapports et tableaux de bord interactifs

Génère des rapports visuels pour faciliter l’analyse et la communication :

• Affichage dans les notebooks, export HTML, ou interface locale
• Utilisable en mode batch ou dans des flux de surveillance continue
• Résumés graphiques facilitant le suivi des tendances

Pourquoi choisir Evidently ?

• Outil complet pour surveiller dérives, performances et qualité des données
• Léger et adaptable : s’intègre facilement aux workflows existants
• Indépendant du framework ou du modèle
• Open source, transparent et personnalisable
• Axé sur la visualisation : rend l’analyse accessible à tous les profils