Sacred : Suivi simple d’expériences IA reproductibles

Sacred est une bibliothèque Python open source développée pour organiser, suivre et reproduire des expériences de machine learning. Créée par le laboratoire IDSIA, elle s’adresse principalement aux chercheurs et développeurs qui recherchent une solution légère et flexible pour gérer les configurations, journaliser les résultats et assurer la traçabilité des expériences.

Contrairement aux plateformes complètes, Sacred adopte une approche centrée sur le code, sans dépendances lourdes. Elle peut être étendue via des observateurs, notamment pour l’intégration avec MongoDB ou Sacredboard pour la visualisation.

Avantages clés :

• Traçabilité complète des paramètres, résultats et exécutions
• Orientée reproductibilité avec une structure légère
• Facile à intégrer dans un environnement Python académique ou scripté

Quelles sont les fonctionnalités principales de Sacred ?

Gestion des configurations et reproductibilité

• Capture tous les paramètres de configuration via des décorateurs
• Prend en charge les configurations nommées et composants réutilisables (“ingredients”)
• Enregistre le code source, les arguments en ligne de commande et les dépendances
• Garantit une exécution identique d’une expérience à l’autre

Journalisation des résultats et des états

• Enregistre métriques, statuts, exceptions et artefacts produits
• Prise en charge d’une sortie structurée des résultats
• Stocke l’heure de lancement, la machine, les codes de sortie…
• Intégration possible avec MongoDB pour stocker et consulter les runs

Système d’observateurs extensible

• Utilise des observateurs pour envoyer les données à différents supports
• Observateurs inclus : MongoDB, fichiers, Slack, SQL, etc.
• Possibilité de créer ses propres observateurs personnalisés
• Architecture modulaire pour répondre à des besoins spécifiques

Bibliothèque légère et indépendante du framework

• Ne dépend d’aucun framework ML spécifique
• Compatible avec tout type de boucle d’entraînement ou script Python
• Adaptée aux projets académiques ou expérimentaux
• Parfait pour les environnements sans pipeline complexe

Interface optionnelle avec Sacredboard

• Sacredboard permet de visualiser et comparer les expériences via une interface web
• Affiche paramètres, métriques, logs et artefacts
• Accès facilité à l’historique complet des expériences enregistrées
• Utile pour les projets collaboratifs ou les suivis longs

Pourquoi choisir Sacred ?

• Pensée pour la simplicité, la reproductibilité et la transparence
• Open source, légère et facile à intégrer dans un projet Python existant
• Offre une grande flexibilité via les observateurs personnalisables
• Idéale pour la recherche académique, les tests algorithmiques et les scripts ML
• Permet une documentation rigoureuse et automatique des expériences