Investigadores descubren sesgos en el diagnóstico de Covid-19 mediante rayos X
La investigación de dos científicos chilenos fue publicada en Nature.com. Pese a que inicialmente se obtuvo un 96,19% de exactitud en los diagnósticos por rayos X, éstos no consideraron características como género, edad, distribución de los pacientes y demografía, lo que en una estructura de datos mayor, conduciría a errores en los resultados.
Un estudio desarrollado por dos investigadores chilenos detectó que el machine learning o aprendizaje automático no consideró las características de los pacientes en el diagnóstico de Covid-19 mediante rayos X de tórax, uno de los métodos utilizados para la detección temprana, debido a sesgos en las bases de datos utilizadas.
La investigación “Sesgos asociados a la estructura de base de datos para la detección de COVID-19 mediante rayos X” fue realizada por Reinel Tabares, cientista de datos e investigador postdoctoral, junto al profesor de la Facultad de Ingeniería y Ciencias de la Universidad Adolfo Ibáñez (UAI), Gonzalo Ruz.
El estudio descubrió que había datos heterogéneos y no estructurados, con información incompleta de pacientes, distintas condiciones y tecnologías presentes durante la obtención de las radiografías, desbalance de clases y mezcla descuidada de múltiples conjuntos de datos.
“Dada la contingencia de la pandemia, hubo mucho apuro en agarrar bases de datos sin tener mucho ojo y empezar a entrenar modelos. A modo de ejemplo, en estas bases juntaban datos de radiografías captadas con una máquina y luego imágenes capturadas con otra máquina y eso generaba imágenes de diferente calidad”, resaltó Ruz.
“Esta investigación, que inicialmente buscaba probar la efectividad del diagnóstico, la integramos al trabajo que estamos realizando en la UAI para el proyecto Algoritmos Éticos, Responsables y Transparentes y comenzamos, adicionalmente, a analizar las bases de datos con una perspectiva de equidad y responsabilidad, entre otros principios”, explicó Tabares.
Resultados
El estudio analizó 19 bases de datos de detección de Covid-19 mediante rayos X de tórax.
Pese a que cuando se verificó la información de una de las bases de datos más populares se obtuvo un 96,19% de exactitud, se detectó que los diagnósticos no consideraron las características de los pacientes en las radiografías, tales como género, edad, distribución y demografía, lo que en una estructura de datos mayor conduciría a errores en los resultados.
“Uno puede tener un modelo (de datos) de solo pacientes mayores y después usarlo para diagnosticar a niños, pero eso requiere que tu base ya esté entrenada acordemente”, dijo Ruz.
Para verificar esta información se usó Aequitas, una herramienta ética de auditoría de sesgos de información de machine learning, que permite tomar decisiones informadas para desarrollar y desplegar herramientas de evaluación predictiva de riesgos y, con ello, formas de mitigarlos.
“Hoy en día, incluso en llamados para desarrollo de tecnología, hay conciencia de esto y dentro de las bases de los concursos o licitaciones están incorporando exigencias para que los datos con los cuales se entrenan cumplan con ciertos estándares éticos y de manejo de sesgos”, indicó Ruz.
Detectar sesgos
Si bien el estudio se utilizó para analizar los diagnósticos de Covid-19 mediante machine learning, los resultados y aprendizajes se pueden extrapolar a cualquier área de investigación.
“Es indispensable considerar este tipo de análisis profundo de los datos y sus metadatos, también realizar un examen visual de la información en el caso de que el tipo de datos utilizados sean imágenes, con el objetivo de detectar tempranamente posibles sesgos y tratar de mitigarlos, para así obtener resultados con estándares éticos y responsables, en especial si estamos abordando un tema tan delicado de salud como es el Covid-19”, concluyó Tabares.
El proyecto Algoritmos Éticos, Responsables y Transparentes es una iniciativa inédita en Chile, que ejecuta la UAI con financiamiento de BID Lab (el laboratorio de innovación del Grupo BID) y en alianza con socios del mundo público y privado.
Su objetivo es instalar capacidades y estándares para incorporar consideraciones éticas en la compra y utilización de inteligencia artificial y algoritmos de decisión automatizada en agencias estatales, y en la formulación y desarrollo de estas soluciones por parte de los proveedores tecnológicos.
