El primer examen de IA en el que nadie puede hacer trampas

El mayor problema de los benchmarks de IA tiene una raíz simple: para examinar un modelo, o el evaluador entrega sus preguntas al fabricante, o el fabricante entrega su modelo al evaluador. En ambos casos alguien acaba viendo lo que no debería, y las preguntas filtradas terminan en los datos de entrenamiento del siguiente modelo. Google DeepMind anunció el jueves la primera evaluación que elimina ese dilema: un examen a doble ciego donde ninguna de las partes puede ver los materiales de la otra.

Cómo se monta un examen a prueba de trampas

La pieza central es un enclave seguro: una máquina de Google Cloud con cifrado de memoria de Intel y una GPU NVIDIA H100 confidencial, donde los datos permanecen cifrados incluso mientras se procesan. Google carga dentro los pesos de Gemini y su código de inferencia; los evaluadores cargan sus preguntas y su código de corrección. Todo viaja cifrado, y un mecanismo de atestación remota permite a las dos partes verificar qué software exacto va a ejecutarse antes de soltar sus secretos.

Dentro de esa caja se cruzaron dos exámenes reales. AVERI evaluó el modelo con preguntas reservadas del benchmark AILuminate de MLCommons, que cubre ciberataques, riesgos químicos y biológicos, discurso de odio y autolesiones. El instituto de Singapur pasó por separado su propia batería confidencial de contenido dañino. Al terminar, solo salieron del enclave los resultados aprobados; las preguntas jamás quedaron al alcance de Google y los pesos jamás quedaron al alcance de los evaluadores. La técnica es prima hermana del cifrado en uso que Google ya aplicó a los datos personales, apuntando esta vez a la integridad de los exámenes.

Lo que arregla y lo que no

En nuestra guía sobre cómo leer benchmarks pusimos la contaminación como el truco número uno: los modelos se entrenan con medio internet y medio internet incluye las respuestas de los exámenes públicos. El doble ciego corta esa vía de raíz, porque las preguntas que el fabricante nunca ve son preguntas con las que no puede entrenar. Para evaluaciones sensibles (ciberseguridad, riesgos biológicos, encargos de gobiernos) es la diferencia entre fiarse de la palabra del fabricante y tener una garantía criptográfica.

Ahora, las pegas. La primera es deliciosamente irónica: DeepMind no ha publicado la nota que sacó Gemini, así que el examen más honesto de la historia tiene el resultado más opaco. La segunda importa más: la infraestructura del enclave es de Google, los informes de atestación los firma y verifica Google, y las construcciones del entorno no son reproducibles de forma independiente. El árbitro ya no ve las cartas, pero sigue siendo el dueño del casino.

La lectura sin humo

Esto es un avance genuino en un terreno donde escasean, y conviene decirlo tal cual: es la primera vez que un laboratorio puntero somete un modelo comercial a un examen que ni él mismo puede leer. Si la práctica se extiende, los récords que tanto nos venden empezarán a valer algo más, y las evaluaciones de seguridad que exigen los reguladores dejarán de depender de la confianza ciega entre las partes.

El matiz es que un piloto no es una costumbre. Se hizo con un modelo pequeño de la casa, sin nota pública, y con Google en el papel de examinado y de notario a la vez. La versión que de verdad cambiaría las cosas (modelos frontera, infraestructura neutral, resultados publicados) todavía no existe. El candado ya está inventado; falta ver si alguien se atreve a cerrarlo con los modelos que importan.

Fuentes: Google DeepMind · AVERI · TechRepublic · 27-28 agosto 2026