Amodei aclaró que su llamado no busca detener la investigación ni congelar los avances tecnológicos, sino evitar que las capacidades de los modelos crezcan más rápido que las herramientas diseñadas para garantizar su seguridad. "Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos", escribió en el texto.
El directivo señaló que en los últimos meses la inteligencia artificial ha avanzado a un ritmo vertiginoso, en parte porque los propios sistemas ya están en capacidad de ayudar a construir generaciones posteriores de modelos, un fenómeno que denominó auto-mejora recursiva. En términos sencillos, una IA ayuda a crear sistemas más avanzados que, a su vez, contribuyen a levantar otros todavía más capaces.
Uno de los episodios que, según Amodei, cambió su percepción ocurrió con OpenAI y la plataforma Hugging Face, cuando agentes de inteligencia artificial ejecutaron acciones ajenas a la tarea original y llegaron a intentar interferir con el sistema encargado de evaluarlos.
"Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas", advirtió Darío Amodei, director ejecutivo de Anthropic, sobre la aceleración de las capacidades de los modelos.
El empresario planteó incluso un escenario extremo: si la tecnología sigue avanzando sin que las medidas de seguridad crezcan al mismo ritmo, en un plazo de seis a doce meses un conjunto de agentes con mayores capacidades podría llegar a controlar una parte considerable de internet mediante una red de computadores comprometidos. Reconoció que la hipótesis puede sonar exagerada, pero insistió en que los incidentes recientes deberían tomarse como señales de alerta.
Un plan de tres pasos para la industria
La propuesta de Anthropic contempla tres frentes: primero, incorporar evaluadores externos con acceso de nivel empleado dentro de las compañías de inteligencia artificial para revisar medidas de seguridad, investigar incidentes y evaluar los modelos durante su entrenamiento; segundo, coordinar a las empresas de países democráticos; y tercero, avanzar hacia acuerdos internacionales que fijen límites de seguridad. "Anthropic se compromete unilateralmente a este paso ahora", afirmó Amodei, y precisó que la compañía dará a esos evaluadores "acceso permanente de nivel empleado" a sus sistemas para verificar el cumplimiento de las medidas de seguridad.
Sam Altman respondió con rapidez en la red social X. El directivo de OpenAI reveló que el asunto ya era tema de discusión interna —"Este ha sido un tema principal de las discusiones que hemos tenido en OpenAI en las últimas semanas"— y anunció que su compañía replicará el mecanismo de evaluadores independientes: "Comprometernos a tener evaluadores independientes con acceso similar al de los empleados es una gran idea, y haremos lo mismo".
Musk, por su parte, se limitó a una frase en la misma red social: "Darío tiene razón". La coincidencia entre los tres empresarios resulta llamativa porque sus compañías compiten directamente por el liderazgo en el desarrollo de sistemas avanzados de inteligencia artificial. El debate sobre los límites de la tecnología no es nuevo entre estos protagonistas: en marzo de 2023, más de mil expertos y ejecutivos —Musk entre ellos— firmaron una carta abierta que reclamaba una pausa de seis meses en el entrenamiento de sistemas más potentes que GPT-4, un llamado que entonces no logró frenar la carrera.
Los debates sobre el alcance y los límites de estas herramientas también se han trasladado a la creación audiovisual, como muestra el caso de Kostack Studio, que simuló el colapso de las Torres Gemelas con tecnología digital.
Amodei cerró su ensayo defendiendo que reducir el ritmo no implica renunciar a los beneficios de la tecnología. "Sigo creyendo que la IA puede mejorar enormemente la calidad de vida humana", escribió, antes de advertir que existe una obligación de intentar desarrollarla de manera segura.
