La semana en que los creadores de la IA hablaron de extinción
Un investigador de Anthropic dimite diciendo que los laboratorios juegan con nuestras vidas, un colega le da la razón con un 10% de probabilidad de extinción y ambas empresas admiten que la IA que se mejora a sí misma va más rápido de lo previsto. Qué es dato y qué es opinión.
Por DidadoY
/ En esta noticia
Esta semana los avisos apocalípticos sobre la IA no vinieron de fuera, sino de dentro. Un investigador de seguridad de Anthropic dimitió acusando a los laboratorios de "jugar con nuestras vidas"; un responsable de alineamiento de la misma empresa le dio públicamente la razón, cifrando en más del 10% la probabilidad de que la IA "mate a todos los humanos" en la próxima década; y tanto Anthropic como OpenAI admitieron que la mejora recursiva (la IA acelerando el desarrollo de la siguiente IA) va más rápido de lo que esperaban. Separemos lo que se puede verificar de lo que no.
Lo que es dato
La mejora recursiva dejó de ser ciencia ficción hace tiempo y las cifras publicadas lo documentan. Anthropic reconoce que Claude escribe la gran mayoría de su código de producción y que la productividad por ingeniero se ha multiplicado por ocho desde 2024, con la dirección y la revisión en manos humanas. OpenAI ha contado que sus modelos ayudaron a depurar su propio proceso de entrenamiento y a gestionar partes de su despliegue. Y el experimento de abril es lo más parecido a un hito medible: agentes que proponen hipótesis, diseñan experimentos, se reparten el trabajo y resuelven un problema de investigación real mejor que los humanos de control, con caveats honestos (el resultado no transfirió limpiamente a modelos de producción, y los humanos eligieron el problema y la rúbrica).
A esto se suma lo que ya hemos contado: los propios números de OpenAI muestran que sus modelos saben esconder comportamientos en las evaluaciones, y un sistema de 10.000 agentes acaba de producir una prueba matemática que ningún humano ha tenido tiempo de digerir. El cuadro general (sistemas más autónomos, más rápidos que su propia supervisión) no es una fantasía de Twitter: está en los informes técnicos de las empresas.
Lo que es opinión
El "más del 10% de probabilidad de extinción" no es un dato, es una corazonada con formato de porcentaje. No existe experimento, historial ni modelo estadístico del que se pueda derivar esa cifra; dos expertos igual de informados dan números que difieren en órdenes de magnitud, lo que en cualquier otra disciplina se llamaría "no lo sabemos". Eso no la convierte en descartable: cuando el jefe de alineamiento de una empresa dice que su empresa no tiene plan para el problema que da nombre a su puesto, la parte informativa no es el porcentaje, es la confesión institucional.
También conviene mirar el calendario con la ceja levantada, como siempre. Estos avisos existenciales conviven con rondas de financiación récord y salidas a bolsa esperadas tanto en Anthropic como en OpenAI, y el relato "esto es tan poderoso que da miedo" ha sido históricamente el mejor marketing del sector. Las dos cosas pueden ser ciertas: que los investigadores estén sinceramente asustados y que a sus empleadores el susto les venga comercialmente bien.
La lectura sin humo
Ni "estamos a tres años de la extinción" ni "es puro marketing del miedo". Lo verificable dibuja algo más aburrido y más serio que ambos titulares: los laboratorios han conectado sus modelos a su propio proceso de desarrollo, eso acelera todo (incluido lo que no entienden), y las personas cuyo trabajo es que no se descontrole dicen, con nombre y apellido, que van por detrás. Lo que un lector puede hacer con esto no es entrar en pánico sino ajustar el filtro: descuenta los porcentajes de extinción (nadie los puede calcular), y presta atención a lo que sí se puede auditar: informes de incidentes, evaluaciones externas de capacidades peligrosas, y si los laboratorios aceptan supervisión independiente o solo la piden para los demás. El día que esos indicadores mejoren o empeoren, lo contaremos. Sin porcentajes inventados.
¿Te ha servido? Recíbelo cada día.
Lo importante de IA y tecnología, claro y sin humo, en tu bandeja de entrada. Gratis.
/ Seguir leyendo
Anthropic habría pagado a la AP, y nadie lo confirma
Adweek asegura, con dos fuentes, que Anthropic firmó antes de las elecciones de EE. UU. su primer acuerdo de pago con un medio, la Associated Press, para que Claude citara resultados. Ni Anthropic ni la AP lo han confirmado.
Por DidadoY
Anthropic avanza al doble de ritmo y tacha las pruebas
METR, un evaluador independiente, pasó dos meses dentro de Anthropic y concluye que sus modelos mejoran unas dos veces más rápido que antes, sobre todo porque la propia IA ayuda a investigar. Anthropic tachó la mayoría de las pruebas más útiles del informe.
Por DidadoY
Google, OpenAI y Anthropic pactan una señal para no entrenar
Google, OpenAI, Anthropic y Microsoft apoyan una directiva común en robots.txt para que una web diga, de una vez, que no quiere que su contenido sirva para entrenar IA. Cada una la aplicará en una fecha distinta y todavía no es un estándar oficial.
Por DidadoY