Las declaraciones del Dr. Harish Tayyar Madabushi, científico informático de la Universidad de Bath y coautor del nuevo estudio, Habilidades emergentes de los LLM, son contundentes: “los modelos de lenguaje grandes como ChatGPT no pueden aprender de forma independiente ni adquirir nuevas habilidades, lo que significa que no representan una amenaza existencial para la humanidad”.
El estudio, publicado ayer como parte de las actas de la 62ª Reunión Anual de la Asociación de Lingüística Computacional (ACL 2024), la principal conferencia internacional sobre procesamiento del lenguaje natural, revela que los LLM tienen una capacidad superficial para seguir instrucciones y sobresalir en el dominio del lenguaje. “Sin embargo, no tienen potencial para dominar nuevas habilidades sin instrucciones explícitas. Esto significa que siguen siendo inherentemente controlables, predecibles y seguros”, agrega Tayyar Madabushi.
La investigación de la Universidad de Bath y la Universidad Técnica de Darmstadt en Alemania, muestra además que los LLM, que se están entrenando en conjuntos de datos cada vez más grandes, pueden seguir implementándose sin problemas de seguridad, aunque la tecnología aún puede usarse indebidamente.
Con el crecimiento, es probable que estos modelos generen un lenguaje más sofisticado y se vuelvan mejores a la hora de seguir indicaciones explícitas y detalladas, pero es muy poco probable que adquieran habilidades de razonamiento complejas.
La narrativa predominante de que este tipo de IA es una amenaza para la humanidad impide la adopción y el desarrollo generalizados de estas tecnologías, y también desvía la atención de los problemas genuinos que requieren nuestra atención”, dijo Tayyar Madabushi.
El equipo de investigación colaborativa, dirigido por la profesora Iryna Gurevych, de la Universidad Técnica de Darmstadt en Alemania, realizó experimentos para probar la capacidad de los LLM para completar tareas que los modelos nunca antes habían realizado: las llamadas habilidades emergentes.
A modo de ejemplo, los LLM pueden responder preguntas sobre situaciones sociales sin haber sido entrenados o programados explícitamente para ello. Si bien investigaciones anteriores sugirieron que esto era producto de que los modelos ‘conocían’ situaciones sociales, los investigadores demostraron que, de hecho, era el resultado de que los modelos utilizaban una capacidad bien conocida de los LLM para completar tareas basadas en unos pocos ejemplos que se les presentaban, conocida como aprendizaje en contexto (ICL)”, explicó.
A través de miles de experimentos, el equipo demostró que una combinación de la capacidad de los LLM para seguir instrucciones (ICL), la memoria y la competencia lingüística puede explicar tanto las capacidades como las limitaciones que presentan.
Tayyar Madabushi dijo que el temor ha sido que a medida que los modelos se hacen cada vez más grandes. “Serán capaces de resolver nuevos problemas que actualmente no podemos predecir, lo que plantea la amenaza de que estos modelos más grandes puedan adquirir habilidades peligrosas, incluido el razonamiento y la planificación.
