Intelligenza artificiale altrettanto brava a diagnosticare le malattie degli esseri umani
La prima revisione sistematica e meta-analisi di questo tipo rileva che l'intelligenza artificiale (AI) è altrettanto brava a diagnosticare una malattia basata su un'immagine medica quanto gli operatori sanitari. Tuttavia, sono necessari più studi di alta qualità.
Un nuovo articolo esamina le prove esistenti nel tentativo di determinare se l'intelligenza artificiale può diagnosticare le malattie con la stessa efficacia degli operatori sanitari.
A conoscenza degli autori, ovvero un vasto team di ricercatori guidato dal professor Alastair Denniston dello University Hospitals Birmingham NHS Foundation Trust nel Regno Unito, questa è la prima revisione sistematica che confronta le prestazioni dell'IA con i professionisti medici per tutte le malattie.
Il Prof. Denniston e il team hanno cercato in diversi database medici tutti gli studi pubblicati tra il 1 ° gennaio 2012 e il 6 giugno 2019. Il team ha pubblicato i risultati della loro analisi sulla rivista The Lancet Digital Health.
AI alla pari con gli operatori sanitari
I ricercatori hanno cercato studi che confrontassero l'efficacia diagnostica degli algoritmi di apprendimento profondo con quella degli operatori sanitari quando avevano fatto una diagnosi basata sull'imaging medico.
Hanno esaminato la qualità dei rapporti in detti studi, il loro valore clinico e il disegno degli studi.
Inoltre, quando si è trattato di valutare le prestazioni diagnostiche dell'IA rispetto a quelle degli operatori sanitari, i ricercatori hanno esaminato due risultati: specificità e sensibilità.
La "sensibilità" definisce la probabilità che uno strumento diagnostico ottenga un risultato positivo nelle persone che hanno la malattia. La specificità si riferisce all'accuratezza del test diagnostico, che integra la misura della sensibilità.
Il processo di selezione ha prodotto solo 14 studi la cui qualità era sufficientemente alta da essere inclusa nell'analisi. Il Prof. Denniston spiega: "Abbiamo esaminato oltre 20.500 articoli, ma meno dell'1% di questi erano sufficientemente robusti nella loro progettazione e nella relazione che i revisori indipendenti avevano un'elevata fiducia nelle loro affermazioni".
"Inoltre, solo 25 studi hanno convalidato i modelli di intelligenza artificiale esternamente (utilizzando immagini mediche di una popolazione diversa) e solo 14 studi hanno confrontato le prestazioni dell'IA e dei professionisti sanitari utilizzando lo stesso campione di prova".
"All'interno di quella manciata di studi di alta qualità, abbiamo scoperto che l'apprendimento profondo potrebbe effettivamente rilevare malattie che vanno dai tumori alle malattie degli occhi con la stessa precisione degli operatori sanitari. Ma è importante notare che l'IA non ha sostanzialmente sovraperformato la diagnosi umana ".
Prof. Alastair Denniston
Più specificamente, l'analisi ha rilevato che l'IA può diagnosticare correttamente la malattia nell'87% dei casi, mentre il rilevamento da parte degli operatori sanitari ha prodotto un tasso di accuratezza dell'86%. La specificità per gli algoritmi di apprendimento profondo era del 93%, rispetto a quella degli esseri umani al 91%.
I pregiudizi possono esagerare le prestazioni dell'IA
Il professor Denniston e colleghi richiamano inoltre l'attenzione su diversi limiti che hanno riscontrato negli studi che esaminano le prestazioni diagnostiche dell'IA.
In primo luogo, la maggior parte degli studi esamina l'accuratezza diagnostica dell'intelligenza artificiale e dei professionisti sanitari in un contesto isolato che non imita la pratica clinica regolare, ad esempio privando i medici di informazioni cliniche aggiuntive di cui normalmente avrebbero bisogno per fare una diagnosi.
In secondo luogo, affermano i ricercatori, la maggior parte degli studi ha confrontato solo i set di dati, mentre la ricerca di alta qualità sulle prestazioni diagnostiche richiederebbe tali confronti nelle persone.
Inoltre, tutti gli studi hanno sofferto di rapporti scadenti, affermano gli autori, con analisi che non tengono conto delle informazioni che mancavano da detti set di dati. "La maggior parte [degli studi] non ha riportato se mancavano dei dati, quale proporzione rappresentavano e come i dati mancanti sono stati trattati nell'analisi", scrivono gli autori.
Ulteriori limitazioni includono una terminologia incoerente, la non fissazione chiara di una soglia per l'analisi di sensibilità e specificità e la mancanza di convalida fuori campione.
"Esiste una tensione intrinseca tra il desiderio di utilizzare una nuova diagnostica potenzialmente salvavita e l'imperativo di sviluppare prove di alta qualità in un modo che possa portare benefici ai pazienti e ai sistemi sanitari nella pratica clinica", commenta il primo autore, il dott. Università di Birmingham.
“Una lezione fondamentale del nostro lavoro è che nell'intelligenza artificiale, come in qualsiasi altra parte dell'assistenza sanitaria, una buona progettazione degli studi è importante. Senza di esso, puoi facilmente introdurre pregiudizi che distorcono i tuoi risultati. Questi pregiudizi possono portare a dichiarazioni esagerate di buone prestazioni per gli strumenti di intelligenza artificiale che non si traducono nel mondo reale ".
Dr. Xiaoxuan Liu
"Le prove su come gli algoritmi di intelligenza artificiale cambieranno i risultati dei pazienti devono provenire da confronti con test diagnostici alternativi in studi randomizzati controllati", aggiunge la coautrice della dottoressa Livia Faes del Moorfields Eye Hospital, Londra, Regno Unito.
"Finora, non ci sono quasi prove di questo tipo in cui si agiscono sulle decisioni diagnostiche prese da un algoritmo di intelligenza artificiale per vedere cosa succede poi ai risultati che contano davvero per i pazienti, come un trattamento tempestivo, il tempo di dimissione dall'ospedale o persino i tassi di sopravvivenza".
