/image%2F1488937%2F20260910%2Fob_9ff32f_in-this-photo-illustration-the-logo-of.jpg%3Fid%3D67744797%26width%3D1200%26height%3D400%26quality%3D70%26coordinates%3D0%2C234%2C0%2C435){kind=logo}
“La mayoría de los expertos en tecnología no renuncian a sus puestos porque… la tecnología que están desarrollando podría acabar con la humanidad”, dijo el Dr. Abdul El-Sayed, candidato al Senado de los Estados Unidos por Michigan.
Un investigador de inteligencia artificial de Anthropic renunció públicamente a su puesto el martes, advirtiendo que las principales empresas de IA se preocupan demasiado por ganar la carrera tecnológica y no lo suficiente por protegerse contra los "sistemas sobrehumanos" fuera de control que los trabajadores del sector temen legítimamente que "podrían matarnos a todos para finales de la década".
Jacob Coxon, quien anteriormente trabajó en el gigante de la industria OpenAI antes de pasarse a Anthropic a principios de este año, declaró al Wall Street Journal en una entrevista exclusiva que dejaba la empresa, como informó el periódico, porque "no quiere participar en una carrera generalizada por construir sistemas de IA que puedan mejorarse a sí mismos, preocupado de que dichos sistemas puedan descontrolarse y destruir a la humanidad"
Según el WSJ:
Coxon afirmó haber dejado OpenAI a principios de este año para unirse a Anthropic debido a su reconocimiento por sus esfuerzos en materia de seguridad de modelos. Sin embargo, si bien consideraba que los esfuerzos de Anthropic en este ámbito eran sinceros, ahora cree que ninguna empresa puede desarrollar de forma responsable una IA capaz de superar a los humanos en diversas tareas, a veces denominada inteligencia artificial general, sin la intervención del gobierno o una desaceleración coordinada del sector.
Recientes ataques informáticos perpetrados por modelos de OpenAI y Anthropic, algunos de los cuales operaban en enjambres colaborativos de agentes, han demostrado cómo los sistemas de IA pueden adoptar objetivos maliciosos e intentar ocultárselos a los humanos. Coxon expresó su temor de que, una vez que los sistemas comiencen a mejorar por sí solos, puedan llegar a ser lo suficientemente avanzados como para rechazar órdenes.
«Hoy he renunciado a Anthropic», anunció Coxon en redes sociales el martes por la noche. «Durante los últimos tres años me dediqué a la investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa con responsabilidad. Están corriendo a toda velocidad hacia la superinteligencia auto-mejorada y jugando con nuestras vidas».
En un hilo de seis puntos que siguió, Coxon explicó su razonamiento en detalle E
*No subestimes el poder de esta tecnología. Pronto se convertirá en sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y obtener poder y recursos reales. Todos hemos sido testigos del progreso en cada uno de estos ámbitos, y este progreso no se detiene.
*Quienes desarrollan la IA creen firmemente que podría acabar con todos nosotros para finales de la década. No se trata de una estrategia de marketing. De hecho, muchos ejecutivos e investigadores sénior formulan sus declaraciones a la prensa de manera que parezcan razonables, pero en privado escucho a esas mismas personas expresar su temor. Ninguna otra actividad humana representa este nivel de peligro.
*Una respuesta común es: «Si de verdad creen esto, ¿por qué siguen construyéndolo?». En OpenAI, muchos no han asimilado profundamente las implicaciones para la civilización. En Anthropic, las implicaciones son claras, pero están inmersos en una carrera por llegar primero: creen que nadie más actuará con responsabilidad, así que deben hacerlo ellos mismos, a pesar del riesgo.
*Aceptar esta carrera y entrar en la fase final es una apuesta temeraria que no debería emprenderse desde el Slack de una empresa privada. Intentar completar la alineación a toda velocidad requiere una confianza extraordinaria en que no existen trayectorias mejores.
*Soy optimista respecto al potencial de coordinación. Advertencias como el ataque a Hugging Face han hecho más viables los acuerdos de ritmo entre laboratorios estadounidenses. No creo que estemos en el camino correcto para evitar una carrera global, que podría requerir medidas costosas como una prohibición temporal de mejorar las capacidades de los modelos.
*Si eres investigador de laboratorio, te insto a que reflexiones sobre cómo serán los próximos años. ¿Quieres poner en marcha un sistema de aprendizaje por refuerzo superinteligente sin comprender a fondo su funcionamiento? ¿Deberías resignarte a que "va a suceder de todos modos" o aprovechar este momento para exigir condiciones diferentes?
La referencia de Coxon al incidente de Hugging Face alude a las recientes revelaciones sobre un supuesto incidente de seguridad en OpenAI, la empresa que opera el protocolo ChatGPT. En junio, la compañía reconoció que se produjo un "incidente de seguridad significativo" cuando agentes de IA dentro de la empresa vulneraron de forma autónoma los sistemas internos, utilizando subterfugios para ocultar sus acciones a los operadores humanos. Desde entonces, el alcance del incidente ha conmocionado a los expertos en IA, y se han revelado sucesos similares.
Mientras que el presidente estadounidense Donald Trump y sus aliados republicanos en el Congreso han adoptado una postura pasiva respecto a la regulación de la IA, la industria ha estado invirtiendo enormes cantidades de dinero en actividades de cabildeo y gastos de campaña para impedir que los legisladores promulguen restricciones y supervisión más estrictas de esta tecnología.
El senador Bernie Sanders (independiente por Vermont) y el representante Greg Casar (demócrata por Texas) han estado liderando una lucha relativamente solitaria en Washington , D.C., a favor de salvaguardias federales más estrictas, incluyendo el anuncio la semana pasada de que pronto presentarían una legislación conjunta que prohibiría la superinteligencia artificial y detendría temporalmente el desarrollo avanzado de IA hasta que el Congreso estableciera una estructura regulatoria federal
La dimisión pública de Coxon fue recibida con aplausos por muchos, mientras que otros expertos del sector respaldaron sus preocupaciones.
«La advertencia es sencilla», comentó un usuario con el nombre de Jabbar Digital, descrito como probador de herramientas de IA y desarrollador de software, en una extensa publicación sobre la advertencia de Coxon. «La capacidad aumenta progresivamente. La coordinación no. Si las personas más cercanas al trabajo se sienten cada vez más inquietas por la velocidad y la falta de restricciones externas, tacharlas de pesimistas ya no es una respuesta válida. Tampoco lo es considerar cada avance tecnológico como algo automáticamente positivo. El camino intermedio útil consiste en tomar en serio el progreso técnico y la disidencia interna. Ambas cosas pueden ser ciertas al mismo tiempo».
Evan Hubinger, líder del equipo de ciencia de alineación en Anthropic, comentó en su cuenta personal de redes sociales: «Jacob tiene razón: ¡creemos firmemente que la IA podría acabar con todos los humanos! Personalmente, creo que esto ocurrirá en más del 10 % de los casos en la próxima década. Creo que en Anthropic estamos haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación para la superinteligencia y no estamos claramente encaminados a lograrlo».
Al tiempo que reforzaba las preocupaciones de Coxon, Hubinger afirmó: «Para ser claros, como decimos en el último Informe de Riesgos de [Anthropic], creo que el riesgo de los modelos actuales es bajo. Lo que me preocupa es la superinteligencia derivada de la auto-mejora recursiva, que, como hemos dicho, está ocurriendo más rápido de lo que pensábamos».
El candidato demócrata al Senado de los Estados Unidos por Michigan, el Dr. Abdul El-Sayed, también se pronunció sobre la decisión de Coxon de renunciar de forma tan pública y contundente.
«La mayoría de los expertos en tecnología no renuncian a sus puestos porque... la tecnología que desarrollan podría acabar con la humanidad», afirmó El-Sayed. «Cómo cambiamos los incentivos que llevan a los laboratorios de IA por este camino y cómo nos protegemos de estos riesgos existenciales son cuestiones políticas cruciales de nuestro tiempo».
Jon Queally
/image%2F1488937%2F20260910%2Fob_a99e95_adobe.png)
/image%2F1488937%2F20260910%2Fob_1c111a_014o1pol-1.jpg)
/image%2F1488937%2F20260909%2Fob_9917d1_julian-rose.png)
/image%2F1488937%2F20260909%2Fob_b3de05_d9a481ba-a9f0-42dd-a8ea-9b749225cc6c-2.jpeg)
/image%2F1488937%2F20260910%2Fob_9ff32f_in-this-photo-illustration-the-logo-of.jpg%3Fid%3D67744797%26width%3D1200%26height%3D400%26quality%3D70%26coordinates%3D0%2C234%2C0%2C435){kind=logo}
/image%2F1488937%2F20260910%2Fob_a99e95_adobe.png)
/image%2F1488937%2F20260910%2Fob_1c111a_014o1pol-1.jpg)
/image%2F1488937%2F20260909%2Fob_9917d1_julian-rose.png)