Quien acude al médico con síntomas poco claros no trae consigo una descripción completa del caso. Los médicos deben descubrir paso a paso lo que sucede: hacen preguntas, examinan, prescriben análisis de sangre o radiografías y siempre rechazan hipótesis. Los investigadores de Microsoft dirigidos por Harsha Nori y Eric Horvitz en Redmond recrearon este proceso exacto y enfrentaron modelos de lenguaje con médicos. Su sistema, llamado Diagnostic Orchestrator, o DxO para abreviar, no funciona como un único chatbot, sino más bien como un pequeño equipo virtual de médicos que se contradicen entre sí. Los resultados ahora se han publicado en la revista Science.
Microsoft ya había presentado una primera versión del trabajo como preimpresión en el verano de 2025, es decir, sin evaluación por parte de expertos independientes. El estudio que ahora se revisa va mucho más allá. Contiene un segundo conjunto de datos más realista de la sala de urgencias, una comparación justa con médicos a los que se les permitió utilizar libros de referencia y pruebas con modelos de lenguaje más nuevos como GPT-5 y GPT-5.5 de la empresa OpenAI.
Así funciona la prueba diagnóstica con inteligencia artificial y médicos
Para su prueba, a la que llaman Sequential Diagnosis Benchmark, los investigadores utilizaron 304 informes de casos del New England Journal of Medicine. Desde hace décadas, estos llamados congresos clínico-patológicos se consideran una prueba de diagnóstico porque describen enfermedades especialmente complejas y a menudo raras. Además, se detectaron 325 casos en la base de datos MIMIC-IV-ED de EE. UU., que documenta las admisiones reales desde la sala de emergencias con el ingreso hospitalario posterior. Cada caso comienza con una breve situación inicial, como la de una mujer joven con dolor de garganta y una hinchazón sangrienta junto a las amígdalas que no desaparece a pesar de los antibióticos. El diagnosticador, ya sea hombre o máquina, debe entonces decidir por sí mismo qué preguntas formular y qué pruebas solicitar.
Las respuestas las proporciona otro modelo de lenguaje que los investigadores llaman guardianes. Proporciona únicamente la información realmente solicitada. Si alguien solicita una prueba que no está en el informe del caso original, el guardián produce un resultado discreto pero plausible, de modo que la información que falta no da ninguna pista sobre la solución. Finalmente, un tercer modelo evalúa el diagnóstico realizado según un esquema desarrollado por los médicos. Una respuesta se consideró correcta si no cambiaba el tratamiento del paciente. Además, el sistema sumaba los costes de todas las pruebas solicitadas según las listas de precios oficiales de una gran red hospitalaria estadounidense.
Cuántas veces la inteligencia artificial y los médicos tenían razón
Para la comparación con humanos, los investigadores reclutaron médicos generales, internistas y médicos de urgencias y agudos. Hicieron un total de más de 1.400 diagnósticos de 56 casos clínicos que habían estado ocultos durante el desarrollo del software. Sin ayuda alguna, los médicos accedieron de media en el 22,3% de los casos, con buscadores y literatura especializada en el 36,1%. Esto tomó un promedio de 12 o 18 minutos por caso y realizó investigaciones por un valor aproximado de 3.050 dólares y 4.725 dólares, respectivamente. El sistema de IA con GPT-5, sin embargo, logró el 83,2% en los mismos casos difíciles con un coste medio de prueba de 5.431 dólares. Incluso el mejor médico, que obtuvo una puntuación del 51,8%, fue superado tanto en tasa de éxito como en coste.
El segundo conjunto de datos de la sala de emergencias es particularmente informativo porque está mucho más cerca de la práctica médica diaria. Como era de esperar, los médicos obtuvieron mejores resultados y hicieron el diagnóstico correcto en el 46,8% de los casos. El sistema de IA logró un 80,3%, casi la misma tasa de éxito que en casos raros. El mejor médico obtuvo una puntuación del 62,5%. Según sus propias declaraciones, los investigadores esperaban que en estos casos típicos el beneficio del software fuera menor, porque forman parte del trabajo diario de los médicos de urgencias. Si bien la tasa de éxito de los médicos en casos raros y complicados ha disminuido drásticamente, la de la IA se ha mantenido más o menos estable.
Un equipo virtual de médicos en lugar de un único chatbot
El núcleo de DxO es un tipo de juego de rol que Microsoft ya describió en la versión preliminar. Varias instancias de un modelo de lenguaje realizan diferentes tareas: una función mantiene una lista de posibles diagnósticos y los repondera a medida que llegan los resultados. Otra busca específicamente la pregunta o prueba que elimina la mayor cantidad de posibilidades. Otro hace de abogado del diablo y cuestiona la hipótesis principal para evitar conclusiones precipitadas. Un rol separado presta atención a los costos y elimina estudios que prometen pocos conocimientos nuevos. En última instancia, el sistema combina los resultados de varias ejecuciones independientes.
Este enfoque mejoró todos los modelos de lenguaje probados, en un promedio de 7,9 puntos porcentuales para los casos difíciles y de 4,4 puntos porcentuales para los casos de la sala de emergencias. Sin embargo, esto también demuestra que gran parte del rendimiento proviene de los propios modelos de lenguaje, que realizan muchos diagnósticos correctos sin el equipo virtual. DxO aportó el mayor beneficio en términos de rentabilidad. Con el objetivo de costes, el sistema aún alcanzó el 80,9% en casos difíciles con sólo 2.241 dólares y el 79,6% con costes de prueba de 1.303 dólares. Independientemente de los costos, la tasa de éxito aumentó al 84,5%, pero a un costo de casi 9.000 dólares por caso. Ningún otro método probado, ni humano ni mecánico, fue más preciso y económico.
Porque el software pregunta a los médicos de forma diferente
La estrategia diferente es sorprendente. Los médicos hicieron una media de 5,6 preguntas antes de solicitar la primera prueba. El sistema de IA, sin embargo, hizo preguntas 25,5 veces antes de solicitar un examen por primera vez. Por eso se basó en una revisión muy exhaustiva del historial médico y en menos pruebas y más específicas. Esta minuciosidad ha dado sus frutos especialmente en diagnósticos que dependen de detalles, como en el caso de un raro contacto con desencadenantes de enfermedades o infecciones después de un viaje. Estas pistas rara vez aparecen en una amplia gama de análisis de sangre, pero aparecen en la pregunta correcta. Una encuesta muestra cuántas personas ya confían en estos sistemas, según los cuales casi una de cada dos personas recurre a la inteligencia artificial en lugar de a un médico.
Incluso los errores fueron diferentes. Si la IA se equivocaba, normalmente escogía una enfermedad estrechamente relacionada, sólo que con una precisión incorrecta, como un diagnóstico de nivel superior en lugar del específico. Sin embargo, los diagnósticos incorrectos de los médicos a menudo estaban más lejos de la respuesta correcta. Los investigadores sospechan que los modelos lingüísticos proporcionan conocimientos sobre enfermedades raras y progresiones atípicas a través de sus datos de entrenamiento masivos que ninguna persona por sí sola puede dominar. Además, no se cansan ni se ven influenciados por el último paciente que atendieron. Es bien sabido que los modelos lingüísticos no son infalibles: los chatbots basados en IA a menudo parecen particularmente seguros, especialmente cuando dan respuestas incorrectas.
Lo que la comparación diagnóstica no demuestra
Los propios autores enfatizan que sus resultados se obtuvieron en condiciones ideales. Todos los participantes trabajaron exclusivamente con texto, sin imágenes de rayos X, curvas de ECG o muestras de tejido, que a menudo son cruciales en la práctica clínica diaria. Los pacientes simulados no olvidaron nada, no se contradijeron y no reaccionaron a los tratamientos iniciales. En las maletas no había personas sanas ni dolencias inofensivas, por lo que la mezcla no se corresponde con la práctica diaria. Los médicos también compitieron individualmente. En realidad, los casos difíciles suelen ser resueltos por especialistas o equipos completos de diferentes disciplinas, frente a los cuales, según los investigadores, la ventaja probablemente sea mucho menor.
También existe un conflicto de intereses: todos los autores son empleados de Microsoft y poseen acciones de la empresa; muchos son nombrados inventores en una solicitud de patente presentada por la empresa para el método de prueba. El estudio fue financiado íntegramente por Microsoft. Para permitir pruebas independientes, el equipo pone a disposición el código del programa de prueba de forma gratuita. Los costos de las pruebas también se basan en los precios estadounidenses y no dicen nada sobre el tiempo que lleva, la carga o los riesgos de una prueba para el paciente. Por lo tanto, a partir de la simulación no es posible determinar si los pacientes son realmente tratados de forma más rápida y segura con estos sistemas.
Luego viene la prueba con pacientes reales.
Microsoft ahora quiere dar el salto a la clínica junto con el Centro Médico Beth Israel Deaconess de Boston. En un estudio prospectivo, los pacientes hablarán directamente con el sistema mientras los médicos realizan su propia evaluación, anunció la compañía en su anuncio del estudio Science. Sólo estas comparaciones pueden mostrar dónde ayuda la tecnología y dónde falla en la ajetreada vida hospitalaria diaria. Que la IA puede marcar una diferencia mensurable en los hospitales ya ha sido demostrado por un sistema de alerta temprana utilizado por una clínica estadounidense para reducir significativamente el número de muertes por sepsis.
Los propios investigadores no ven en DxO un sustituto de los médicos, sino una herramienta que complementa su criterio. Un sistema que esté constantemente atento a diagnósticos alternativos, cuestione sus suposiciones y evalúe los beneficios de cada prueba podría detectar errores de pensamiento típicos, como comprometerse con un diagnóstico prematuramente. Según el equipo, estas pruebas interactivas también son adecuadas para la formación de estudiantes de medicina. También es interesante señalar que los investigadores repitieron toda la evaluación poco antes de la publicación utilizando el nuevo modelo de lenguaje GPT-5.5 sin adaptar el procedimiento. Las ventajas adicionales del equipo virtual frente al mero modelo lingüístico no han disminuido, sino que han aumentado.
Ciencias, Diagnóstico secuencial con modelos de lenguaje; doi:10.1126/ciencia.aeh7930
Microsoft AI, creando superinteligencia médica
Construido con el apoyo de inteligencia artificial.
