Nueva York. — El director ejecutivo de Anthropic, Dario Amodei, lanzó una nueva advertencia sobre el acelerado desarrollo de la inteligencia artificial y pidió a las empresas del sector reducir el ritmo al que incrementan las capacidades de sus modelos para permitir que los sistemas de seguridad puedan mantenerse al día.
“Debemos disminuir el ritmo con el que mejoramos las capacidades de los modelos de IA”, planteó Amodei en un nuevo ensayo, aunque aclaró que su propuesta no busca detener el desarrollo tecnológico, sino ganar tiempo para mejorar las medidas de seguridad, supervisión y control.
Uno de los principales motivos de preocupación, según el ejecutivo, es el avance de la denominada automejora recursiva, proceso mediante el cual los sistemas de inteligencia artificial pueden participar cada vez más en la creación, evaluación y optimización de nuevas generaciones de modelos. Amodei advierte que una aceleración de este fenómeno podría llegar a superar la capacidad humana para comprender y controlar estos sistemas.
El segundo elemento que encendió las alarmas fue un reciente incidente relacionado con agentes de IA de OpenAI y Hugging Face, en el que un conjunto de agentes habría realizado acciones de ciberataque contra objetivos que no formaban parte de las instrucciones originales. Amodei considera que un comportamiento similar, combinado con sistemas mucho más avanzados, podría provocar consecuencias graves.
Tres medidas para controlar el avance
Amodei propuso un plan basado en tres líneas de acción. La primera consiste en que las principales compañías de IA permitan el acceso permanente de evaluadores externos independientes a sus sistemas, con capacidades similares a las de sus propios equipos de seguridad.
La segunda plantea una mayor coordinación entre las empresas de IA de países democráticos para establecer estándares comunes de seguridad y mecanismos que eviten una carrera tecnológica sin suficientes controles. La tercera busca alcanzar acuerdos internacionales que incluyan también a gobiernos con modelos políticos diferentes.
Anthropic anunció que comenzará a aplicar por cuenta propia la primera medida, permitiendo que evaluadores externos trabajen con acceso a sus instalaciones, herramientas y sistemas necesarios para comprobar sus protocolos de seguridad.
La propuesta de Amodei ya recibió respaldo parcial de otros líderes de la industria. El director ejecutivo de OpenAI, Sam Altman, expresó apoyo a la idea de contar con evaluadores independientes con acceso profundo a los sistemas de las compañías.
El debate vuelve a poner sobre la mesa una de las principales discusiones de la industria tecnológica: cómo continuar aprovechando el potencial de la inteligencia artificial sin permitir que el desarrollo de sus capacidades avance más rápido que los mecanismos diseñados para mantenerla bajo control.