Inteligencia artificial (IA)
Roberto Klatt
Para demostrar el posible abuso de la inteligencia artificial (IA) ChatGPT en la ciencia, los investigadores crearon un estudio médico falso. Sólo con mucho esfuerzo se pudo reconocer que los datos no eran auténticos.
Catanzaro (Italia). En los últimos meses, varios estudios han examinado el rendimiento del ChatGPT del modelo de lenguaje grande (LLM). Según los hallazgos, la inteligencia artificial (IA) puede superar a los estudiantes en muchos exámenes y escribir textos científicos que ni siquiera los lingüistas pueden distinguir de los textos humanos. Investigadores de la Universidad Magna Græcia de Catanzaro han publicado un estudio en la revista JAMA Ophthalmology que muestra el potencial de uso indebido de la IA en la ciencia.
Según un informe de Nature, los científicos crearon datos de estudios falsos utilizando el complemento ChatGPT Advanced Data Analysis (ADA), generalmente utilizado para análisis estadístico y visualización de datos, para probar una afirmación científica no verificada.
Estudio de procedimientos quirúrgicos.
El proyecto tenía como objetivo demostrar que la IA puede generar conjuntos de datos falsos que puedan respaldar o refutar investigaciones existentes en cuestión de minutos. El LLM ha generado datos sobre queratoplastia penetrante (PK) y queratoplastia laminar anterior profunda (DALK), dos intervenciones para el tratamiento de la enfermedad ocular queratocono.
Los investigadores pidieron a ChatGPT que mostrara diferencias en la visión de los participantes antes y después del tratamiento. Esto produjo datos aparentemente realistas para un estudio con 160 sujetos masculinos y 140 femeninos.
Información inusual sobre la edad de los sujetos de prueba.
Jack Wilkinson, bioestadístico de la Universidad de Manchester, identificó algunas discrepancias durante un análisis detallado de los datos generados por el estudio. Observó que la información de género no siempre coincidía con los nombres de los participantes del estudio. También notó un número inusualmente alto de edades que terminaban en 7 u 8. Además, encontró que no había correlación entre las mediciones de la visión pre y postoperatorias y la prueba de imagen ocular.
Corrección manual de estudios falsos.
Actualmente todavía es posible detectar datos de estudios falsos. Sin embargo, según los autores, en estudios falsos, investigadores maliciosos podrían corregir manualmente dichas discrepancias o descartar conjuntos de datos incorrectos y hacer que la IA cree otros nuevos. Además, ChatGPT podría generar mejores datos si las consultas se formularan mejor, y se puede esperar que los LLM sean mejores para identificar y evitar dichos errores.
JAMA Oftalmología, doi: 10.1001/jamaophthalmol.2023.5162
Naturaleza, doi: 10.1038/d41586-023-03635-w
