Anthropic propone frenar el avance de modelos de frontera por riesgos de automejora
Anthropic sugiere una pausa coordinada para ganar tiempo en regulación, seguridad y mecanismos de verificación ante el riesgo de que la IA pueda diseñar a sus sucesores.
"Si una máquina ultrainteligente pudiera diseñar máquinas aún más inteligentes, la inteligencia humana quedaría rápidamente atrás", escribió I. J. Good en 1965 al describir la posibilidad de una 'explosión de inteligencia'—una advertencia histórica que vuelve a cobrar relevancia ante la propuesta de Anthropic de interrumpir temporalmente el desarrollo de la IA más avanzada. La empresa estadounidense planteó esta pausa con el objetivo de dar tiempo a que la investigación, las regulaciones y las instituciones se adapten al rápido avance de la tecnología.
Anthropic advirtió que, en los próximos años, la IA podría llegar a crear de forma autónoma a sus propios sucesores, un escenario que reconoce con potenciales beneficios, como aceleraciones en descubrimientos científicos, pero también con riesgos significativos para la supervisión humana y el control sobre esos sistemas.
La propuesta fue presentada en una publicación firmada por Jack Clark, cofundador de Anthropic, y Marina Favaro, directora de The Anthropic Institute. En ese documento la empresa sostiene que la evolución de los modelos de IA progresa más rápido que las estructuras encargadas de supervisarlos, lo que abre el debate sobre la necesidad de mecanismos internacionales para gestionar, verificar y gobernar estos desarrollos.
La posibilidad de que la IA diseñe nuevas generaciones de IA
Anthropic alerta sobre un fenómeno identificado en la literatura como “automejora recursiva”, en el que sistemas de inteligencia artificial podrían diseñar, entrenar y desarrollar versiones más avanzadas de sí mismos. La empresa subraya que ese proceso no es inevitable, pero advierte sobre su factibilidad antes de que muchas instituciones dispongan de herramientas adecuadas para gestionarlo.
Según la compañía, una IA capaz de construir a su sucesora podría acelerar avances en áreas como la salud y la investigación, pero también aumentaría la probabilidad de que la supervisión humana se vuelva insuficiente. “Si los sistemas son capaces de crear por completo a sus propios sucesores, los modos de hacerlos seguros, supervisarlos y dar forma a su comportamiento se vuelven mucho más importantes”, señala el texto.
La propuesta de una pausa temporal
Frente a ese panorama, la firma plantea que sería útil contar con la capacidad de ralentizar o detener temporalmente el desarrollo de la llamada inteligencia artificial de frontera para ganar tiempo en la construcción de salvaguardas.
La idea, según Anthropic, no es abandonar la investigación, sino crear un mecanismo que permita desarrollar medidas de seguridad, reforzar estudios sobre alineamiento y preparar a las instituciones para gestionar tecnologías cada vez más potentes.
Además, la compañía propone diseñar sistemas de verificación que aseguren el cumplimiento de una posible pausa, de modo que ningún laboratorio o país obtenga ventajas competitivas aprovechando la suspensión de otros actores.
La empresa enfatiza que una interrupción de este tipo tendría sentido únicamente si fuera adoptada de manera coordinada por los principales laboratorios de IA a nivel mundial.
“Una pausa creíble también tiene que especificar qué la desencadena, qué la levanta y quién la arbitra”, indica la propuesta, que reclama criterios claros y mecanismos de gobernanza compartidos.
Claude ya participa en gran parte del desarrollo interno
La advertencia de Anthropic llega en un contexto en el que la propia compañía utiliza cada vez más sus modelos para acelerar tareas de programación y desarrollo.
Según datos compartidos por la compañía, actualmente más del 80% del código que se incorpora a su base de software es generado por Claude, su sistema de inteligencia artificial. Hace poco más de un año, en febrero de 2025, esa cifra era inferior al 10%.
Este salto ilustra la rapidez con la que las herramientas de IA transforman procesos internos en empresas tecnológicas y ejemplifica las capacidades que podrían alcanzar los futuros agentes autónomos.
Un debate sobre regulación y cooperación internacional
La iniciativa de Anthropic se inscribe en una discusión global sobre la gobernanza de la IA y los riesgos asociados a sistemas cada vez más potentes.
La compañía sostiene que el desafío es tanto técnico como político y social, y por ello convoca a investigadores, empresas y gobiernos a trabajar en marcos de cooperación que permitan aprovechar beneficios sin sacrificar el control y la seguridad.
La propuesta surge en un momento de intensa competencia entre empresas por modelos más potentes y en el que organismos internacionales, expertos en seguridad y líderes tecnológicos han alertado sobre la necesidad de reglas comunes para gestionar una tecnología cuyo ritmo de evolución podría superar la capacidad de respuesta de las instituciones tradicionales.
Análisis y proyecciones
Históricamente, las tecnologías disruptivas han seguido ciclos de desarrollo acelerado seguidos de periodos de regulación y estandarización; desde la Revolución Industrial hasta la expansión de Internet, la respuesta institucional suele llegar con retraso respecto a la innovación. Aplicado a la IA, teorías como la de la 'explosión de inteligencia' de I. J. Good y los modelos de riesgo tecnológico anticipan dos rutas principales: una en la que la automejora, controlada y gradual, conduce a beneficios amplios en ciencia y medicina; otra en la que una escalada rápida sin gobernanza efectiva reduce la capacidad de intervención humana, aumentando riesgos sistémicos y de seguridad. En proyección, si la comunidad tecnológica adopta mecanismos de verificación y coordinación—tal como propone Anthropic—es posible mitigar escenarios adversos; en cambio, la ausencia de cooperación podría traducirse en carreras por ventaja competitiva que aceleren despliegues sin controles adecuados.
Evolución y cambios de postura
En los últimos años la postura de actores clave ha evolucionado desde un énfasis predominante en la innovación empresarial hacia una mayor conciencia de los riesgos y la necesidad de gobernanza. Tras periodos iniciales de optimismo y despliegues rápidos, tanto compañías tecnológicas como reguladores comenzaron a incorporar conceptos de alineamiento, verificación y auditoría. Grupos académicos y organizaciones de seguridad han impulsado el debate sobre límites y salvaguardas, y empresas emergentes como Anthropic han pasado de enfocarse exclusivamente en capacidades a plantear propuestas explícitas de gobernanza. Esa evolución refleja una transición del discurso técnico a uno que combina técnicas, ética y política pública para abordar retos a escala global.
