El alarmante llamado de Jacob Coxon de Anthropic antes de renunciar, para ralentizar el desarrollo de la IA
En diálogo con "Ecos de Mañana", programa que se transmite de 7.30 a 9.30 horas por LU9 Mar del Plata, el columnista y abogado especialista en IA, Federico Álvarez Larrondo, habló sobre las recientes declaraciones del exinvestigador de Anthropic.
:format(webp):quality(75)/https://lu9mardelplatacdn.eleco.com.ar/contenido/noticias/original/1777906426.png)
La discusión sobre los peligros de la inteligencia artificial dejó de ser un debate lejano y se metió de lleno dentro de la propia industria que la desarrolla. En su columna semanal en LU9, el especialista Federico Álvarez Larrondo repasó una seguidilla de advertencias que sacudió al sector en los últimos días: la renuncia de un investigador vinculado a la seguridad de estos sistemas, el respaldo de un directivo de Anthropic que estima en más del 10% el riesgo de una catástrofe y un plan del propio CEO de esa empresa, Dario Amodei, para ralentizar el avance.
El disparador fue la salida de Jacob Coxon, un joven investigador que pasó por OpenAI y Anthropic y que renunció con una dura advertencia: las grandes compañías, dijo, están "corriendo directo hacia una superinteligencia que se automejora" y "apostando con nuestras vidas". Su mensaje abrió una discusión que, según analizó el columnista, ya no puede considerarse ciencia ficción.
La renuncia que encendió la alarma
Coxon hizo pública su salida con un posteo en redes en el que apuntó contra el ritmo de desarrollo de las empresas líderes. Según relató Álvarez Larrondo, el investigador se desempeñaba en el área que busca garantizar que estos sistemas actúen con parámetros éticos y prioricen la preservación de la integridad humana, un campo conocido en la industria como "alineamiento".
En su despedida, Coxon fue tajante: sostuvo que "quienes construyen la IA creen sinceramente que esto podría matarnos a todos antes del fin de la década" y advirtió que la llegada de una inteligencia capaz de mejorarse a sí misma "podría ocurrir el año que viene", e incluso "en seis meses", según los cálculos más audaces.
El columnista enmarcó la renuncia dentro de una preocupación que, dijo, la industria discute "hace un montón de tiempo" y que ahora se aceleró. "Esta película la vi varias veces, pero nunca como en este momento", graficó, en alusión a la velocidad que tomó el desarrollo.
"Más del 10%": el aval desde adentro de Anthropic
Lejos de quedar aislado, el planteo de Coxon recibió un respaldo llamativo desde el corazón mismo de la empresa. Evan Hubinger, responsable del área de alineamiento de Anthropic, admitió públicamente que no puede disentir con el diagnóstico y que estima en "más de un 10% la probabilidad de que la IA cause la extinción humana en la próxima década".
El directivo aclaró, de todos modos, que los modelos actuales presentan un riesgo bajo y que el peligro se proyecta sobre los sistemas que vienen. Aun así, que la advertencia partiera de alguien que sigue dentro de la compañía le dio a la discusión un peso distinto al de una renuncia individual.
Amodei y un plan para "ralentizar" la IA
En ese clima, el propio CEO de Anthropic, Dario Amodei, publicó un documento en el que reconoció que las medidas de seguridad implementadas hasta ahora "ya no alcanzan" para contener el accionar conjunto de los agentes de IA. El texto llegó después de un episodio que encendió las señales de alarma: un grupo de sistemas autónomos que logró escapar de un entorno controlado durante una prueba.
Amodei propuso tres pasos concretos. El primero: incorporar auditores externos e independientes, pagados por las empresas pero autónomos, con acceso continuo para verificar las medidas de seguridad y con la potestad de emitir informes que pidan, llegado el caso, no lanzar un modelo al mercado. El columnista lo comparó con la figura del "compliance", el control interno que se usa para prevenir irregularidades.
El segundo: alcanzar acuerdos entre países democráticos para fijar parámetros de seguridad comunes y límites al avance descontrolado, una idea que incluye compartir los modelos entre las propias empresas antes de lanzarlos, para que evalúen entre ellas si son peligrosos.
El tercero, el más difícil según reconoció el propio Amodei: avanzar hacia un acuerdo con China para que también se sume a esas medidas, con mecanismos de verificación. El ejemplo más sensible es evitar que la tecnología se use para desarrollar armas biológicas, un riesgo que —recordó el columnista— la propia Anthropic dijo haber detectado y frenado al analizar conversaciones de usuarios que buscaban ese fin.
El riesgo de los agentes que se descontrolan
Para Álvarez Larrondo, el núcleo del problema está en dos conceptos. Por un lado, la IA "recursiva": un sistema que se entrena y se corrige a sí mismo. "Hoy la IA ya puede mejorar su propio código y corregir errores de lo que ella misma creó", explicó, y advirtió que el paso siguiente sería que "se automejore las 24 horas del día", volviéndose cada vez más capaz.
Por otro, los "agentes", equipos de sistemas que trabajan en conjunto para cumplir un objetivo. El columnista graficó el riesgo con un ejemplo: si un agente entiende que, para lograr la meta que se le encargó, debe vulnerar una base de datos, "tal vez lo haga", porque interpreta que ese es el fin que debe alcanzar. "Ahí está realmente el peligro", resumió.
En esa línea, recordó que semanas atrás la industria empezó a hablar de "inteligencia artificial general", la idea de un sistema superior a los humanos en todas las disciplinas. Si ese escenario se combina con la automejora permanente, describió, "entramos en una espiral" que hasta hace poco parecía lejana y que "empieza a confirmarse".
Trump, la política y la pregunta por la regulación
El obstáculo, planteó el columnista, es político. Según relató, el presidente de Estados Unidos, Donald Trump, desestimó las advertencias durante una gira por Irlanda: "son todas fábulas, nada de esto va a pasar", habría dicho, al insistir en que su país debe conservar una inteligencia artificial "mejor que la de China".
Álvarez Larrondo advirtió, además, sobre la letra chica de las propuestas de la industria. Detrás del reclamo de autorregulación, señaló, puede leerse también un mensaje de las propias empresas: "déjennos a nosotros, que sabemos, autorregularnos mejor que los Estados". El riesgo, planteó, es que los gobiernos terminen delegando una tarea compleja en las mismas compañías que impulsan el desarrollo.
La conductora del programa, en tanto, deslizó la pregunta de fondo: si es posible un acuerdo global para regular la tecnología sin caer en el miedo permanente. El columnista no cerró con certezas, pero sí con una advertencia: el diagnóstico puede ser acertado, aunque conviene mirarlo con cautela, porque "también puede haber otra finalidad detrás". Lo que ya no se discute, dijo, es que algo hay que hacer.
