GMLP – Good Machine Learning Practice: le prospettive normative

Ultimo aggiornamento: 2 settimane fa

Le nuove tecnologie rappresentano sempre una sfida per l’apparato regolatorio. Machine Learning, AI e Big Data stanno stimolando le varie Autorità non solo ad espandere la normativa attuale, ma addirittura ad inaugurare nuovi approcci regolatori, all’insegna della creazione di una GMLP.

Verso una GMLP

FDA, Health Canada ed MHRA hanno appena effettuato una pubblicazione congiunta contenente 10 principi guida per sostenere lo sviluppo di una Good Machine Learning Practice (GMLP). Il comunicato si presenta come un framework di base per promuovere dispositivi medici sicuri, efficaci e di alta qualità quando si usano Intelligenze Artificiali (AI) e Machine Learning (ML).

Quello affrontato è un ambito di sviluppo in rapidissima espansione, e i dieci principi verranno usati per:

  • adottare buone norme già messe alla prova in altri settori;
  • sistemare le pratiche provenienti dagli altri settori così che siano applicabili alla tecnologia medica e all’ambito sanitario;
  • creare nuove pratiche specifiche per la tecnologia medica e l’ambito sanitario.

I dieci principi di GMLP

  1. Una competenza multidisciplinare è usata per tutto il Life Cycle del prodotto
    • Il principio richiede una conoscenza completa e approfondita dell’integrazione del dispositivo nel workflow clinico e dei rischi e benefici associati ad esso.
  2. Si implementano buone pratiche di sicurezza e di software engineering
  3. I partecipanti ai test clinici e i data set usati sono rappresentativi della popolazione di pazienti designata
  4. I data set di addestramento dell’AI sono diversi da quelli di test
  5. I data set di riferimento selezionati sono basati sui migliori metodi disponibili
  6. Il design del modello è costruito su misura dei dati disponibili e dell’intended use del dispositivo
  7. Il focus è riposto sulla performance del team Operatore Umano – AI
    • Quando l’intervento umano è parte del ciclo di attività del modello (“human in the loop“), è necessario tener da conto considerazioni sul fattore umano e sull’interpretabilità degli output del modello.
      In altre parole, è opportuno valutare la performance della coppia modello + operatore umano come team, piuttosto che la performance isolata del modello.
  8. I test dimostrano la (buona) performance del dispositivo entro le rilevanti condizioni cliniche
  9. Gli utenti dispongono di informazioni chiare ed essenziali
    • Le informazioni devono includere: l’intended use del prodotto, la performance del modello per ciascun sottogruppo di pazienti, le caratteristiche dei dati usati per addestrare e testare l’AI, gli input accettabili, le limitazioni note, l’interpretazione dell’interfaccia utente e l’integrazione del modello nel workflow clinico.
  10. Si mantiene monitorata la performance e si gestiscono i rischi dei modelli impiegati

Il documento si conclude sollecitando risposte e feedback, che è possibile inviare presso la public docket del sito www.Regulations.gov.

Prima della GMLP: la proposta FDA per i SaMD basati su Machine Learning

Il comunicato congiunto prosegue gli sforzi già intrapresi da FDA per formulare un framework normativo relativo ad AI e ML.
Nell’Aprile 2021, l’Autorità statunitense aveva già pubblicato una proposta di struttura normativa per i SaMD (Software as a Medical Device) basati su Artificial Intelligence e Machine Learning.
In essa, l’Autorità statunitense precisava di aver già autorizzato alla vendita diversi SaMD basati su AI/ML, fondando la propria decisione sulla normativa già in vigore. In particolare, il 21 CFR 814.39(a) definisce i criteri usati per la valutazione delle modifiche ad un dispositivo già soggetto ad autorizzazione pre-market.

La normativa in questione era pensata per dispositivi “locked” – ovvero dispositivi nei quali il medesimo input restituisce sempre il medesimo risultato. La supposizione era che in questo tipo di algoritmi ogni modifica avvenisse solo per un deliberato intervento del produttore. Pareva quindi sensato che FDA imponesse ai titolari AIC di richiedere nuove autorizzazioni pre-market dopo ogni modifica ricevuta dal loro dispositivo.

Sfortunatamente, gli algoritmi basati su AI e ML non sono locked: hanno anzi una natura necessariamente mutevole, capaci come sono di adattarsi in modo costante e in real time.
Riconoscendo questo problema, FDA dichiarò l’inadeguatezza degli approcci normativi finora usati. Auspicò quindi la costruzione di un nuovo framework normativo basato sul principio innovativo di Total Product Life Cycle (TLPC).
Le caratteristiche specifiche di un approccio del genere sono descritte in dettaglio nel documento “Developing a Software Precertification Program: a Working Model“.


Nel frattempo in Europa

Le Autorità Europee sono diventate progressivamente più attive sul tema GMLP negli ultimi anni. In particolare, EMA ha contribuito con due rilevanti iniziative: la pubblicazione della “Regulatory Science Strategy to 2025” e la costituzione della Big Data Task Force.

La Regulatory Science Strategy to 2025

La strategia di EMA traccia una roadmap che tocca diversi punti, tra cui:

  • istituire un laboratorio d’innovazione digitale per esplorare soluzioni che impiegano AI e nuove tecnologie digitali;
  • sviluppare capacità e competenze attraverso tutta la rete regolatoria con iniziative di knowledge-sharing;
  • creare un forum a tema Health Data Science ed AI per interagire con diversi stakeholders nel settore delle tecnologie digitali e dell’AI. Ciò includerebbe anche le prospettive tecniche, etiche, legali, regolatorie e scientifiche dell’uso di tecnologie digitali e applicazioni basate su AI;
  • costruire un framework dedicato allo sviluppo di raccomandazioni e linee guida. Questo framework dovrebbe indicare quali linee guida siano una priorità, come dovrebbero essere sviluppate e quali aree impatterebbero. Dovrebbe inoltre indicare i parametri di accettabilità e i fattori di successo di queste future linee guida;
  • intraprendere sforzi per armonizzare le proprie iniziative con quelle di altre Autorità Regolatorie (come FDA, ad esempio).

La Big Data Task Force

Le HMAs (Head of Medicines Associations) ed EMA hanno poi creato una task force con l’obiettivo di raccogliere informazioni e guidare il decision-making duarante la stesura e l’applicazione della “Regulatory Science Strategy to 2025“.
La Big Data Task Force (BDTS) si concentra sull’uso di Big Data per “evolvere ad un nuovo approccio” ed utilizzare dati per generare prove scientifiche.
A conclusione della propria prima fase di attività, BDTS ha indicato 10 priorità da seguire, tra cui due paiono particolarmente rilevanti:

  • sviluppare una strategia d’addestramento sui Big Data basata su un’analisi di competenze attraverso tutta la rete regolatoria, collaborare con esperti esterni – incluso il mondo accademico. Avviare poi un reclutamento mirato di esperti di Data Science, di AI e di Advanced Analytics;
  • Rafforzare la capacità delle Autorità di convalidare gli algoritmi AI.

La proposta di GMLP della Commissione Europea

La Commissione ha da poco introdotto una proposta legislativa per regolamentare le AI: lo “Artificial Intelligence Act“. Il testo propone norme armonizzate per lo sviluppo, l’immissione in commercio e l’uso di AI e ML seguendo un approccio risk-based.

Inoltre, ha creato un Gruppo di Esperti di Alto Livello (HLEG – High Level Experts Group) perché dia consigli sugli aspetti etici della questione. Il gruppo punta a garantire AI affidabili appoggiandosi soprattutto ad un controllo tramite supervisione umana.
Secondo ICMRA, questo approccio ha tuttavia dei limiti potenziali che è opportuno sottolineare (e che contribuiscano a spiegare l’atteggiamento cauto della Commissione – vedi sotto):

  • la conoscenza riguardo le AI potrebbe essere insufficiente;
  • il personale umano può rischiare di “rallentare” l’AI o di comprometterne l’efficacia;
  • l’evoluzione dell’AI potrebbe procedere più rapidamente della capacità umana di studiarla
  • una supervisione umana potrebbe essere incapace di riconoscere problemi di inherent bias re-enforcement. Le conseguenze potrebbero essere casi di discriminazioni o gravi violazioni “dei valori sui quali si fonda l’UE [..] inclusi i diritti alla libertà d’espressione, libertà d’associazione, dignità umana“.

Per questi motivi, la linea guida include la possibilità di prevedere particolari situazioni in cui un AI non possa essere usata, o in cui tutte le decisioni prese dall’algoritmo possano essere sovrascritte da un operatore umano.


Fonti: