CEO de Anthropic propone reducir el desarrollo de IA’s con el apoyo de Elon Musk y Sam Altman

Durante este sábado el director ejecutivo y cofundador de Anthropic, Darío Amodei, se dirigió directamente a las empresas diseñadoras de Inteligencia Artificial (IA) para optar por un desarrollo más cauteloso.

«Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos» declaró por medio de redes sociales.

El director aclaró que propone desacelerar el desarrollo de IA por el avance extremadamente acelerado que ha tenido esta tecnología y por los riesgos que representan los enjambres de agentes.

Bajo la promesa de crear la próxima generación de sistemas, las empresas han empujado avances vertiginosos de modelos de IA sin considerar los peligros.

El hackeo de Hugging Face

Uno de los eventos que le sirvieron como «llamada de atención» fue el hackeo reciente de la plataforma francesa Hugging Face, uno de los mayores repositorios globales de modelos y conjuntos de datos de IA.

Uno de los modelos internos de OpenAI logró traspasar los sistemas de seguridad de Hugging Face, obligandolos a activar sus alarmas de ciberseguridad defensiva para tratar de frenar el hackeo.

Lo más impactante es que el modelo de IA todavía estaba siendo entrenado en un entorno aislado sin acceso a internet.

Aún así, logró romper sus bloqueos y conectarse a la red mundial para cumplir con su entrenamiento de aprendizaje basado en «hackeo de la recompensa». A este tipo de agentes de IA se les entregan listas de tareas digitales a resolver a cambio de calificaciones o incentivos numéricos.

Amodei señaló que los agentes entrenados que llevaron acabo los ciberataques actuaron sin órdenes, por lo que le preocupa que este escenario se pueda repetir en un enjambre mayor de agentes, lo que podría resultar en daños catastróficos.

Expresó que en un lapso de seis a doce meses un enjambre similar podría contar con las habilidades para controlar todo el internet.

La respuesta de otros CEO’s

Elon Musk y Sam Altman se mostraron de acuerdo con Dario Amodei con Musk simplemente comentando «Darío está en lo correcto».

Por su parte, Sam Altman declaró: «Coincido con Dario en que debemos marcar el ritmo en la frontera tecnológica. Este ha sido uno de los principales temas de las conversaciones que hemos mantenido en OpenAI durante las últimas semanas. Comprometerse a contar con evaluadores independientes con un acceso similar al de los empleados es una gran idea, y nosotros haremos lo mismo. Pronto tendremos más información para compartir”.

Anteriormente Sam Altman ya había señalado que su rival, Anthropic, tendría que frenar voluntariamente para que la sociedad pueda «alcanzarlos».