Industrias enteras han surgido en los últimos años confiando en la delicada interacción de los trabajadores humanos y el software automatizado. Empresas como Facebook están trabajando para mantener el contenido odioso y violento fuera de su plataforma con uno combinación de filtrado automatizado y moderadores humanos. En el campo de la medicina, los investigadores del MIT y de otros lugares han utilizado el aprendizaje automático para ayudar a los radiólogos. detectar mejor los diferentes tipos de cáncer.

Lo que puede ser complicado sobre estos enfoques híbridos es comprender cuándo confiar en la experiencia de las personas versus los programas. Esto no siempre es solo una cuestión de quién hace un trabajo «mejor». de hecho, si una persona tiene un ancho de banda limitado, el sistema puede necesitar capacitación para minimizar la frecuencia con la que solicita ayuda.

Para abordar este problema complejo, los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han desarrollado un sistema de aprendizaje automático que puede hacer una predicción sobre una tarea o retrasar la decisión de un experto. Lo más importante es que puede ajustarse cuándo y con qué frecuencia se extiende a su empleado humano, en función de factores como la disponibilidad y el nivel de experiencia de su compañero de equipo.

El equipo entrenó al sistema en múltiples tareas, incluida la visualización de radiografías de tórax para diagnosticar afecciones específicas, como atelectasia (neumonía) y cardiomegalia (un corazón agrandado). En el caso de la cardiomegalia, descubrieron que su modelo híbrido entre humanos e IA funcionaba un 8 por ciento mejor que cualquiera de los dos (según las puntuaciones de AU-ROC).

«En entornos médicos donde los médicos no tienen muchos ciclos adicionales, no es el mejor uso de su tiempo hacer que miren cada punto de datos individual de un registro de paciente en particular», dijo el candidato a doctorado Hussein Mozannar, autor principal de David Sontag, el Von Helmholtz Profesor asociado de Ingeniería Médica en el Departamento de Ingeniería Eléctrica e Informática., de un nuevo artículo sobre el sistema presentado recientemente en la Conferencia Internacional de Aprendizaje Automático. «En tales escenarios, es importante que el sistema sea particularmente sensible a su tiempo y solo pida ayuda cuando sea realmente necesario».

El sistema consta de dos partes: un «clasificador» que puede predecir un cierto subconjunto de tareas y un «rechazador» que decide si una determinada tarea debe ser manejada por su propio clasificador o por un experto humano.

Al experimentar con tareas de diagnóstico médico y clasificación de texto / imagen, el equipo demostró que su enfoque no solo logra una mejor precisión que las líneas de base, sino también con menores costos de computadora y mucho menos datos de capacitación.

«Nuestros algoritmos le permiten optimizar para cualquier elección que desee, ya sea la precisión de predicción específica o el costo del tiempo y el esfuerzo del experto», dijo Sontag, quien también es miembro del Instituto de Ingeniería Médica y Ciencia del MIT. . Además, al interpretar el rechazo aprendido, el sistema proporciona información sobre cómo los expertos toman decisiones y en qué entornos la IA puede ser más apropiada, o viceversa.

La capacidad especial del sistema para detectar texto e imágenes ofensivas también puede tener implicaciones interesantes para moderar el contenido. Mozanner sugiere que se puede usar en compañías como Facebook en colaboración con un equipo de moderadores humanos. (Espera que tales sistemas puedan minimizar la cantidad de mensajes odiosos o traumáticos que los moderadores humanos deben juzgar diariamente).

Sontag aclaró que el equipo aún no ha probado el sistema con expertos humanos, sino que desarrolló una serie de ‘expertos sintéticos’ para que puedan ajustar parámetros como la experiencia y la disponibilidad. Para trabajar con un nuevo experto nunca antes visto, el sistema requeriría una introducción mínima para ser entrenado en las fortalezas y debilidades específicas de la persona.

En el futuro, el equipo planea probar su enfoque con expertos humanos reales, como radiólogos para el diagnóstico de rayos X. También explorarán cómo desarrollar sistemas que puedan aprender de datos expertos sesgados, así como sistemas que puedan trabajar con, y postergar, múltiples expertos simultáneamente. Por ejemplo, Sontag prevé un escenario hospitalario en el que el sistema podría funcionar con diferentes radiólogos que tienen más experiencia con diferentes poblaciones de pacientes.

«Hay muchos obstáculos que, comprensiblemente, prohíben la automatización total en entornos clínicos, incluidos los problemas de confianza y responsabilidad», dijo Sontag. «Esperamos que nuestro método inspire a los usuarios de aprendizaje automático a ser más creativos al integrar la experiencia humana en tiempo real en sus algoritmos».

Mozanner está afiliado a CSAIL y al Instituto de Datos, Sistemas y Sociedad (IDSS) del MIT. El trabajo del equipo fue apoyado en parte por la National Science Foundation.



Source link