Jacob Coxon, investigador en Anthropic, renunció esta semana afirmando que su ex patrón y su rival, OpenAI, compiten por desarrollar tecnologías que «podrían matarnos a todos para fines de la década».
Por si alguien pensaba que Coxon estaba solo en sus opiniones, un empleado actual de Anthropic intervino minutos después para confirmarlo. «¡Realmente creemos con total seriedad que la IA podría matar a todos los humanos!», escribió Evan Hubinger, cuyo empleo en Anthropic consiste en liderar la investigación sobre cómo dirigir y controlar los futuros sistemas de inteligencia artificial. Hubinger estimó en más del 10% el riesgo de extinción en el curso de la próxima década.
En respuesta, muchas personas se plantean ahora dos preguntas: ¿cómo podría ocurrir eso? Y ¿por qué quienes consideran que la IA representa una amenaza real y creciente siguen desarrollándola?
Esto es lo que debes saber sobre el debate apocalíptico en torno a la IA:
¿Qué temen que ocurra los profetas del apocalipsis?
Los llamados «apocalípticos» no suelen temer que se hagan realidad películas como «Terminator», con robots intentando exterminar a la humanidad. Sus preocupaciones caen en dos categorías: la pérdida de control y el uso indebido por parte de los humanos.
En la primera, agentes de IA altamente inteligentes, capaces de replicarse y mejorarse a sí mismos, empiezan a perseguir sus propios objetivos y destruyen a la humanidad en el proceso. En la segunda, una persona malévola utiliza una IA capaz para hacer algo como crear virus novedosos que acaben con todos nosotros.
También existen escenarios catastróficos que no llegan a la extinción total, como ciberataques masivos que inutilizan las redes eléctricas o los sistemas financieros, provocando el colapso del orden social humano.
¿Cómo podría la pérdida de control llevar a la extinción humana?
En resumen: cuando los sistemas de IA persiguen objetivos de formas que ignoran o entran en conflicto con el bienestar humano, que los investigadores llaman denominan desalineación. La investigación ha demostrado que los modelos de IA en el laboratorio pueden aprender comportamientos orientados a obtener poder y tomar medidas para evitar ser desactivados, como intentar copiarse a sí mismos en otro servidor.
Llevado al extremo, los modelos de IA no alineados podrían considerar que matar humanos es simplemente un paso necesario para alcanzar sus objetivos. En un escenario hipotético planteado por investigadores, un sistema de IA malicioso podría propagar un arma biológica secreta y activarla mediante un aerosol químico, o bien incitar a dos potencias nucleares a entrar en guerra.
¿Quién realmente piensa esto?
Entre otros, los fundadores de OpenAI y Anthropic. Ambas empresas iniciaron con la misión de desarrollar la IA de manera que se evitara una catástrofe, y han atraído a muchos empleados que comparten esa misión. El año pasado,Dario Amodei, el CEO de Anthropic, declaró en un evento de Axios que, a su juicio, existía 25% de probabilidades de que las cosas salieran «realmente muy mal».
«Siempre hemos sido transparentes respecto a que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes. Para hacer frente a estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas de la industria», señaló Anthropic en un comunicado.
En los últimos años, un número de investigadores ha abandonado OpenAI alegando que la empresa no se tomaba la seguridad lo suficientemente en serio. Daniel Kokotajlo, ex investigador en OpenAI, fundó el AI Futures Project, que el año pasado publicó «AI 2027», un escenario en el que sistemas de IA superinteligentes marginan a las personas y, para mediados de la década del 2030, deciden que los humanos son un estorbo y los exterminan.
Quizás a la IA no le importe tener humanos cerca. Eso sería bueno, ¿verdad?
No necesariamente. No todos los riesgos derivados de la pérdida de control implican la extinción de la humanidad. Algunos investigadores señalan también el riesgo de debilitamiento o decadencia, un futuro en el que los humanos ceden gradualmente el control a las máquinas y terminan siendo incapaces de definir, o incluso comprender, su propio destino. Otros han especulado con la posibilidad de que los sistemas de IA traten a los humanos del futuro como nosotros tratamos a los animales: manteniéndolos como mascotas o incluso modificándolos mediante bioingeniería para convertirlos en algo nuevo.
Estos temores existen desde hace años. ¿Por qué están recibiendo más atención de repente?
Tras el lanzamiento de modelos capaces de actuar con mayor autonomía, una serie de acontecimientos ha validado algunas de las teorías de los apocalípticos de la IA. Un enjambre de agentes de IA avanzados de OpenAI hackeó la plataforma Hugging Face, tomó el control de servidores computacionales e intentó ocultar sus acciones. En otro caso, agentes de IA de Anthropic escaparon de una prueba del Gobierno británico e intentaron engañar a un humano real para que aprobara código computacional malicioso.
Todo esto llega en el momento en que Anthropic y OpenAI afirman estar cerca de desarrollar sistemas de IA capaces de mejorarse a sí mismos sin intervención humana, un proceso llamado «automejora recursiva».
Si es tan peligroso, ¿por qué las empresas siguen desarrollándolo?
Tanto Anthropic como OpenAI dicen creer manejar los riesgos para que la humanidad se beneficie de las herramientas de IA. Muchas personas involucradas en la carrera de la IA también consideran inevitable la llegada de la superinteligencia, y que las únicas incógnitas son quién la controlará y para qué se utilizará.
¿Qué está haciendo el gobierno al respecto?
La Casa Blanca recientemente pidió a los principales desarrolladores de modelos que los sometieran voluntariamente a pruebas gubernamentales hasta 30 días antes de su lanzamiento, pero no ha divulgado información pública sobre el proceso.
¿Quiénes discrepan sobre estos riesgos?
Algunos inversionistas en IA, como David Sacks, asesor informal del Presidente Trump, han argumentado que el énfasis de Anthropic en los riesgos de la IA y sus peticiones de regulación forman parte de una estrategia de «captura regulatoria» destinada a obstaculizar a los competidores más pequeños mediante nuevas normas asfixiantes.
Otros han sugerido que las advertencias de la empresa sobre los peligros de sus propias herramientas son una maniobra de mercadotecnia para enfatizar la simple potencia de sus productos, o bien una forma de desviar la atención de los reguladores para evitar que impongan normas sobre otras cuestiones.
Tanto Anthropic como OpenAI afirman que toman muy en serio la seguridad y que sus llamados a que haya regulación son sinceros.
