Esperienze di sviluppo e V&V in un progetto di Machine learning

Le tematiche dell'esperienza presentata riguardano aspetti di "Requirements Engineering" e di "Testing per Machine Learning". Il progetto, di recente sviluppo e sottoposto ad accordo di riservatezza, ha per titolo "Machine learning based Visual feature selection in Multi Modal sensing" e riguarda lo sviluppo di un sistema software embedded per l'elaborazione di immagini complesse in ambito industriale.
Il progetto, date le caratteristiche "data intensive" e di complessità, si è sviluppato su metodologie e strumenti in ambito "apprendimento automatico" per la gestione di sensori multispettro e/o polarizzati. Prendendo spunto dalla comparsa sul mercato negli ultimi sei mesi di sensori di visione multimodali integrati (ovvero che rendono disponibili contemporaneamente più immagini, o livelli, con contenuti informativi diversi) si è proceduto alla sintesi di "feature" per la valutazione delle informazioni dai sensori in campo (nel nostro caso di indagine di possibili applicazioni aerosol e spray per l'industria).
L'aspetto del progetto che qui si intende condividere riguarda le implicazioni di Verifica e di Validazione (V&V) del processo di costituzione della pipe elaborativa: dalla impostazione degli esperimenti per la raccolta dei dati (DoE) alla sintesi dei descrittori di texture e del modello statistico (ensemble methods e training), fino al test del modello stesso. In particolare:

 qualità del modello statistico dei dati e problematiche di verifica

 accessibilità ed interpretabilità dei dati

 validazione delle previsioni

e, specificatamente in ambito Istqb:

 Tecniche "black gray white box"

 ISO 25010 caratteristiche di qualità per i sistemi "Machine Learning"

 Transparency, "Understandability"