Documentazione Model Monitoring¶
Model Monitoring è una libreria che si propone di monitorare vari aspetti di un algoritmo di machine learning attraverso varie metriche aiutando l’utente a monitorare le prestazioni, la spiegabilità e la fairness dei modelli ML nel tempo e il drift dei dati su cui tali modelli fanno inferenza. La libreria fornisce moduli specializzati per:
Monitoraggio del Data Drift: Identifica quando i dati su cui il modello fa inferenza iniziano a differire significativamente dai dati di dataset di riferimento.
Monitoraggio della Fairness: Calcola metriche chiave di fairness e rileva eventuali variazioni (drift) nel tempo, assicurando che il modello rimanga equo per diversi gruppi.
Monitoraggio delle Performance: Calcola metriche di valutazione (per task supervisionati e non) e monitora il loro andamento per rilevare eventuali variazioni (drift) di efficacia del modello.
Monitoraggio basato su XAI: Utilizza tecniche di Explainable AI per interpretare il comportamento del modello e per monitorare specificamente il drift nelle spiegazioni o nell’importanza attribuita alle feature.
Gestione dei Metadati: Si occupa della creazione e l’utilizzo di metadati essenziali per i processi di monitoraggio.
Moduli¶
Classe utilizzata per monitorare e rilevare il Data Drift tra due dataset. |
|
Classe utilizzata per monitorare e rilevare il drift nelle metriche di fairness di un modello. |
|
Classe utilizzata per calcolare e monitorare le metriche di fairness nei modelli di machine learning. |
|
Classe utilizzata per monitorare e rilevare il drift nelle metriche di performance di un modello. |
|
Classe che gestisce il calcolo delle metriche di performance per modelli supervisionati e non supervisionati. |
|
Classe per la gestione e la creazione di metadati di riferimento. |
|
Classe per l'interpretabilità dei modelli di Machine Learning. |
|
Classe per il monitoraggio del drift dello XAI (Explainable AI) di un modello. |