Tres cifras que no cuentan una sola historia

Google afirma que Carbon obtuvo un 88,2 % en SEC-bench Pro, una prueba de detección de vulnerabilidades en programas reales. La idea es que el modelo pueda descubrir fallos complejos dentro de una base de código extensa, donde no basta con mirar un archivo aislado. Pero encontrar algo sospechoso no dice todavía qué urgencia tiene corregirlo. Exacto. Ahí entra el segundo paso: comprobar si el fallo puede explotarse. Para un equipo de defensa, esa comprobación ayuda a distinguir entre hallazgos y a decidir cuáles requieren atención primero. Google comunica un 54,8 % para Carbon en ExploitGym, una prueba centrada en esa capacidad. ¿Podemos leer ese 54,8 % como si fuera la continuación de los casos del 88,2 %? No. Son pruebas distintas, con tareas distintas. Las cifras describen cómo rindió Carbon en cada evaluación; no representan una única cadena en la que detectó, validó y reparó el mismo conjunto de fallos. Además, Google precisa que estas evaluaciones externas se hicieron sin las protecciones del modelo activadas.

Episodio completo: https://youtu.be/Y0Jrviw3gQg

🤖 Contenido generado con IA: el guion, las voces y las imágenes de este episodio se produjeron con herramientas de inteligencia artificial.

#Shorts