Al principio de la pandemia, varios investigadores, empresas emergentes e instituciones desarrollaron sistemas de inteligencia artificial que, según afirmaron, podían diagnosticar el COVID-19 a partir del sonido de la tos de una persona. En ese momento, nosotros mismos estábamos entusiasmados con la perspectiva de que la IA pudiera convertirse en un arma contra el virus; en un titular, respaldamos a la IA que analiza la tos como “prometedora”.
Pero un reciente estudiar (primero reportado en por The Register) sugiere que algunos algoritmos de análisis de tos son menos precisos de lo que nos hicieron creer a nosotros, y al público. Sirve como una advertencia para la tecnología de aprendizaje automático en el cuidado de la salud, cuyos defectos no siempre son evidentes de inmediato.
Investigadores del Instituto Alan Turing y la Royal Statistical Society, encargados por la Agencia de Seguridad Sanitaria del Reino Unido, realizaron una revisión independiente de la tecnología de IA basada en audio como herramienta de detección de COVID-19. Junto con miembros de la Universidad de Oxford, King’s College London, Imperial College London y University College London, descubrieron que incluso el modelo de detección de tos más preciso funcionó peor que un modelo basado en sistemas informados por los usuarios y datos demográficos, como la edad. y género.
“Las implicaciones son que los modelos de IA utilizados por muchas aplicaciones agregan poco o ningún valor por encima de la precisión predictiva que ofrecen los síntomas informados por los usuarios”, dijeron los coautores del informe a TechCrunch en una entrevista por correo electrónico.
Para el estudio, los investigadores examinaron datos de más de 67,000 personas reclutadas a través de los programas Test and Trace y REACT-1 del Servicio Nacional de Salud, que pidieron a los participantes que enviaran los resultados de las pruebas de frotis de nariz y garganta para COVID-19 junto con grabaciones de ellos tosiendo, respirar y hablar. Usando las grabaciones de audio y los resultados de las pruebas, los investigadores entrenaron un modelo de IA, intentando ver si la tos podría servir como un biomarcador preciso.
Al final, se dieron cuenta de que no podían. La precisión diagnóstica del modelo de IA no fue mucho mejor que el azar al controlar los factores de confusión.
En parte, la culpa fue el sesgo de reclutamiento en el sistema Test and Trace, que requería que los participantes tuvieran al menos un síntoma de COVID-19 para participar. Pero el profesor Chris Holmes, autor principal del estudio y director del programa de ciencias médicas y de la salud en el Instituto Alan Turing, dice que los hallazgos muestran que la tos es un mal predictor de COVID-19 en general.
“Es decepcionante que esta tecnología no funcione para COVID-19”, dijo a TechCrunch en un comunicado enviado por correo electrónico. “Encontrar nuevas formas de diagnosticar rápida y fácilmente virus como el COVID-19 es realmente importante para detener su propagación”.
El estudio es un golpe para los esfuerzos comerciales como Cough in a Box de Fujitsu, una aplicación financiada por el Departamento de Salud y Atención Social del Reino Unido para recopilar y analizar grabaciones de audio de los síntomas de COVID-19. Y pone en duda algunas afirmaciones científicas. Un artículo en coautoría de investigadores del Instituto de Tecnología de Massachusetts fijó la precisión de un algoritmo COVID-19 de análisis de tos en 98.5%, un porcentaje que en retrospectiva parece dudosamente alto.
Eso no quiere decir que el estudio del Instituto Turing sea la última palabra sobre la detección de tos en lo que respecta a COVID-19. Holmes deja abierta la posibilidad de que la tecnología pueda funcionar para otros virus respiratorios en el futuro.
Pero no sería la primera vez que la IA en el cuidado de la salud promete demasiado y no cumple.
En 2018, STAT reportado que la supercomputadora Watson de IBM escupió consejos erróneos sobre el tratamiento del cáncer, como resultado del entrenamiento en una pequeña cantidad de casos sintéticos. En un ejemplo más reciente, un 2021 auditoría del algoritmo de IA del proveedor del sistema de salud Epic para identificar a los pacientes con sepsis se perdió casi el 70 % de los casos.
Source link