L’intelligenza artificiale medica di Google è stata estremamente precisa in un laboratorio, ma nella vita reale era sono nati problemi di natura tecnica. L’algoritmo di cui stiamo parlando era una innovazione in ambito medico: screening della retinopatia diabetica in Thailandia.
Le regole governative non bastano, serve una connessione affidabile e immagini di alta qualità, da qui sono nati tutti i problemi.
“Anche le IA più accurate possono effettivamente peggiorare le cose se non adattate agli ambienti clinici in cui lavoreranno”. scrive Will Douglas Heaven in un recente articolo su Techonology Review.
“La prima opportunità di Google di testare lo strumento in un ambiente reale è arrivata dalla Thailandia. Il ministero della salute del paese ha fissato un obiettivo annuale per lo screening del 60% delle persone con diabete per la retinopatia diabetica, che può causare cecità se non presa in tempo. Ma con circa 4,5 milioni di pazienti su soli 200 specialisti della retina, circa il doppio del rapporto negli Stati Uniti, le cliniche stanno lottando per raggiungere l’obiettivo. Google ha l’autorizzazione al marchio CE, che copre la Thailandia, ma è ancora in attesa dell’approvazione della FDA. Quindi, per vedere se l’intelligenza artificiale potesse essere d’aiuto, Beede e i suoi colleghi hanno dotato 11 cliniche in tutto il paese di un sistema di apprendimento approfondito addestrato a individuare segni di malattie degli occhi nei pazienti con diabete.
Nel sistema utilizzato dalla Thailandia, gli infermieri scattano foto degli occhi dei pazienti durante i controlli e li inviano a uno specialista altrove, un processo che può richiedere fino a 10 settimane. L’intelligenza artificiale sviluppata da Google Health è in grado di identificare i segni della retinopatia diabetica da una scansione oculare con una precisione superiore al 90% – che il team chiama “livello specialistico umano” – e, in linea di principio, fornire un risultato in meno di 10 minuti. Il sistema analizza le immagini alla ricerca di indicatori rivelatori della condizione, come vasi sanguigni bloccati o che perdono.
Una valutazione dell’accuratezza da parte di un laboratorio va solo così lontano. Non dice nulla di come si comporterà l’intelligenza artificiale nel caos di un ambiente reale, ed è quello che il team di Google Health voleva scoprire. Per diversi mesi hanno osservato gli infermieri che eseguivano scansioni oculari e li hanno intervistati sulle loro esperienze utilizzando il nuovo sistema. Il feedback non è stato del tutto positivo.
Quando ha funzionato bene, l’intelligenza artificiale ha accelerato le cose. Ma a volte non è riuscito a dare alcun risultato. Come la maggior parte dei sistemi di riconoscimento delle immagini, il modello di apprendimento profondo era stato addestrato su scansioni di alta qualità; per garantire la precisione, è stato progettato per rifiutare le immagini che scendevano al di sotto di una certa soglia di qualità. Con gli infermieri che scansionano dozzine di pazienti all’ora e spesso scattano le foto in condizioni di scarsa illuminazione, più di un quinto delle immagini è stato rifiutato.
Ai pazienti le cui immagini sono state espulse dal sistema è stato detto che avrebbero dovuto visitare uno specialista in un’altra clinica un altro giorno. Se trovavano difficile prendersi una pausa dal lavoro o non avevano un’auto, questo era ovviamente scomodo. Gli infermieri si sentivano frustrati, soprattutto quando ritenevano che le scansioni rifiutate non mostrassero segni di malattia e gli appuntamenti di follow-up non fossero necessari. A volte perdevano tempo cercando di riprendere o modificare un’immagine che l’IA aveva rifiutato.
Poiché il sistema doveva caricare le immagini sul cloud per l’elaborazione, anche le scarse connessioni Internet in diverse cliniche hanno causato ritardi. “Ai pazienti piacciono i risultati immediati, ma Internet è lento e i pazienti poi si lamentano”, ha detto un’infermiera. “Stanno aspettando qui dalle 6 del mattino e per le prime due ore siamo riusciti a controllare solo 10 pazienti”.
Le regole esistenti per l’implementazione dell’IA in contesti clinici, come gli standard per l’approvazione della FDA negli Stati Uniti o un marchio CE in Europa, si concentrano principalmente sull’accuratezza. Non ci sono requisiti espliciti secondo cui un’intelligenza artificiale deve migliorare l’esito per i pazienti, soprattutto perché tali studi non sono ancora stati eseguiti. Ma questo deve cambiare, afferma Emma Beede, ricercatrice di UX presso Google Health: “Dobbiamo capire come funzioneranno gli strumenti di intelligenza artificiale per le persone nel contesto, specialmente nell’assistenza sanitaria, prima che vengano ampiamente implementati”.
Il team sanitario di oogle sta ora collaborando con il personale medico locale per progettare nuovi flussi di lavoro. Ad esempio, gli infermieri potrebbero essere addestrati a usare il proprio giudizio nei casi limite. Il modello stesso potrebbe anche essere ottimizzato per gestire meglio le immagini imperfette.
“Questo è uno studio cruciale per chiunque sia interessato a sporcarsi le mani e implementare effettivamente soluzioni di intelligenza artificiale in contesti del mondo reale”, afferma Hamid Tizhoosh dell’Università di Waterloo in Canada, che lavora sull’IA per l’imaging medico. Tizhoosh è molto critico nei confronti di quella che vede come una fretta di annunciare nuovi strumenti di intelligenza artificiale in risposta al covid-19. In alcuni casi gli strumenti vengono sviluppati e i modelli rilasciati da team senza competenze sanitarie, afferma. Vede lo studio di Google come un tempestivo promemoria del fatto che stabilire l’accuratezza in un laboratorio è solo il primo passo.
Michael Abramoff, oculista e scienziato informatico presso gli ospedali e le cliniche dell’Università dell’Iowa, sviluppa da diversi anni un’intelligenza artificiale per la diagnosi delle malattie della retina ed è CEO di una startup spin-off chiamata IDx Technologies, che ha collaborato con IBM Watson. Abramoff è stato un sostenitore dell’IA sanitaria in passato, ma mette anche in guardia contro una corsa, avvertendo di un contraccolpo se le persone hanno brutte esperienze con l’IA. “Sono così felice che Google dimostri di essere disposto a esaminare il flusso di lavoro effettivo nelle cliniche”, afferma. “C’è molto di più nell’assistenza sanitaria che negli algoritmi”.
Abramoff mette anche in dubbio l’utilità di confrontare gli strumenti di intelligenza artificiale con gli specialisti umani quando si tratta di precisione. Ovviamente, non vogliamo che un’intelligenza artificiale faccia una scelta sbagliata. Ma i dottori umani sono sempre in disaccordo, dice, e va bene. Un sistema di intelligenza artificiale deve inserirsi in un processo in cui le fonti di incertezza vengono discusse anziché semplicemente respinte.
Se lo fai bene, i vantaggi potrebbero essere enormi. Quando ha funzionato bene, Beede e i suoi colleghi hanno visto come l’intelligenza artificiale ha reso le persone che erano brave nel loro lavoro ancora migliori. “C’era un’infermiera che ha esaminato da sola 1.000 pazienti e con questo strumento è inarrestabile”, afferma. “Ai pazienti non importava davvero che si trattasse di un’intelligenza artificiale piuttosto che di un essere umano che leggeva le loro immagini. Si preoccupavano di più di quale sarebbe stata la loro esperienza”.
Le opinioni espresse in questo articolo sono dell’autore.
Leggi le ultime news su: https://w3b.today
Può interessarti anche: Le implicazioni del metaverso nel futuro dell’assistenza sanitaria
Seguici su Telegram https://t.me/presskit
Seguici su Facebook https://www.facebook.com/presskit.it
