Anthropic pide frenar el desarrollo de la IA ante riesgos de ciberseguridad

El director ejecutivo y cofundador de Anthropic, Dario Amodei, pidió reducir el ritmo de desarrollo de las capacidades de inteligencia artificial (IA), al advertir que los avances podrían derivar en sistemas capaces de realizar ataques cibernéticos a gran escala.

En un ensayo publicado este sábado, Amodei señaló que la IA podría entrar en una dinámica de “automejora recursiva” y advirtió que, en un plazo de entre seis y 12 meses, enjambres de agentes podrían potencialmente tomar control de grandes segmentos de Internet mediante redes de bots persistentes, con daños económicos de cientos de miles de millones de dólares.

El directivo planteó que las empresas del sector establezcan estándares comunes de seguridad y límites al desarrollo acelerado de modelos, además de una mayor supervisión independiente. Como primera medida, Anthropic anunció que permitirá a evaluadores externos acceder a sus instalaciones y revisar procesos de entrenamiento, con la posibilidad de publicar sus conclusiones.

Amodei también propuso acuerdos internacionales para establecer límites verificables a determinados usos de la IA, particularmente en aplicaciones militares biológicas y en la velocidad de los procesos de automejora. A su juicio, una desaceleración temporal permitiría avanzar en investigación sobre seguridad, alineamiento e interpretabilidad de los modelos.

Las advertencias ocurren después de que el investigador Jacob Coxon, quien trabajó en Anthropic y OpenAI, anunciara su salida de la empresa por considerar que la industria está priorizando la competencia por desarrollar modelos más avanzados sobre la seguridad. Coxon sostuvo que algunos investigadores y ejecutivos del sector comparten preocupaciones sobre los riesgos que podría representar la IA si continúa avanzando sin suficientes salvaguardas.