En una charla TED de abril de 2024, Mustafa Suleyman, CEO de Microsoft AI y cofundador de DeepMind, propuso una metáfora tan potente como polémica: quizá debamos pensar en las inteligencias artificiales futuras como una «nueva especie digital». El concepto vuelve a circular en videos y debates sobre agentes autónomos, pero la pregunta útil no es si la expresión suena futurista. Es qué capacidades describe, cuáles todavía son hipotéticas y quién controlará sus consecuencias.

Suleyman hizo una aclaración explícita: se trata de una analogía, no de una clasificación biológica literal. Tampoco presentó pruebas de que una IA actual tenga experiencias subjetivas o sea consciente. Confundir esas cuestiones puede llevarnos tanto a exagerar los sistemas que existen como a descuidar riesgos operativos muy concretos.

Por qué la palabra «herramienta» comienza a quedarse corta

Un martillo no decide cuándo debe intervenir. Un asistente conversacional clásico se limita, en general, a contestar después de recibir una instrucción. Un agente con acceso a herramientas, en cambio, puede seguir un objetivo, consultar fuentes, descomponer una tarea, ejecutar pasos y verificar resultados. La diferencia no equivale a tener voluntad propia: es una diferencia de arquitectura y de autonomía delegada.

Imaginemos que un usuario pide preparar un viaje. Un sistema conversacional podría recomendar rutas y horarios; un agente, si cuenta con los permisos adecuados, podría comparar opciones, llenar formularios y dejar una reserva lista para aprobación. Pero no debería interpretar la capacidad de actuar como permiso ilimitado para comprar, enviar mensajes o modificar datos.

SistemaQué hace principalmenteDónde reside el control
Software tradicionalEjecuta reglas y flujos definidosEn el código y la configuración
Asistente conversacionalResponde y genera informaciónEn las preguntas del usuario
Agente con herramientasPlanifica y ejecuta pasos dentro de un alcanceEn permisos, límites, aprobaciones y supervisión

Las categorías se solapan, y la autonomía no es una propiedad binaria. Un mismo agente puede operar libremente al buscar información y exigir confirmación antes de efectuar un pago.

AQ: medir las acciones, no solo las respuestas

Una de las propuestas más concretas de Suleyman es el AQ (Actions Quotient, «cociente de acciones»). En su charla, usa el término para referirse a la capacidad de la IA de hacer cosas en entornos digitales y físicos, más allá de explicar cómo se harían.

AQ es una idea conceptual de Suleyman, no un estándar universal de evaluación. En ingeniería, podríamos traducirla a preguntas observables: ¿el agente completa la tarea? ¿Cuántos pasos necesita? ¿Reconoce un error? ¿Pide aprobación cuando corresponde? ¿Cuánto cuesta? ¿Podemos reconstruir sus decisiones?

Por ejemplo, un agente encargado de analizar noticias financieras puede detectar novedades, identificar empresas afectadas, consultar datos y generar recomendaciones. Sin embargo, informar una oportunidad no debe confundirse con autorizar una operación bursátil. La calidad del sistema depende tanto del acierto de sus análisis como de la frontera que separa lectura, recomendación y acción irreversible.

Digital no significa biológico, humano ni consciente

La metáfora «especie digital» reúne varias ideas que conviene separar:

  1. Capacidad: resolver problemas, conversar, programar o manejar herramientas.
  2. Autonomía: actuar durante varios pasos sin que una persona indique cada movimiento.
  3. Conciencia: tener experiencias subjetivas; no existe una prueba consensuada que permita atribuírsela a los modelos actuales.
  4. Condición moral o legal: decidir qué protección, responsabilidad o derechos deberían corresponder a un sistema; es un debate normativo independiente.

Que una IA escriba en primera persona o imite emociones no demuestra que sienta. Tampoco la hace biológicamente una especie nueva. La semejanza de su lenguaje puede influir en cómo la percibimos, pero no resuelve las preguntas científicas y filosóficas.

Suleyman termina su intervención con otro giro importante: sostiene que la IA refleja creaciones y conocimientos de la humanidad. La metáfora sirve para pensar su impacto, no para establecer que exista una nueva forma de vida.

El problema verdadero: la agencia sin límites claros

Una respuesta incorrecta en un chat puede confundir al usuario. Un error de un agente con permisos puede enviar un correo, borrar información, cambiar una configuración o exponer datos privados. Por eso, al aumentar la capacidad de actuar, la seguridad debe pasar de las advertencias genéricas a controles verificables.

Un diseño razonable separa cuatro capas:

  • Observación: leer fuentes autorizadas y distinguir datos de instrucciones potencialmente maliciosas.
  • Planificación: proponer pasos y estimar riesgos sin atribuirse permisos que no tiene.
  • Ejecución limitada: actuar con privilegios mínimos, límites de tiempo y registros auditables.
  • Aprobación humana: exigir consentimiento para operaciones sensibles, de alto coste o difíciles de revertir.

Además, los contenidos externos pueden contener intentos de prompt injection: instrucciones ocultas en páginas, documentos o correos que el agente no debería obedecer. Cuantos más servicios conectados utilice, más importante será separar la confianza en el usuario de la confianza en los datos que encuentra.

La capacidad de modificar su propio código o multiplicar instancias merece controles adicionales. No es correcto presentarla como una característica de todos los agentes actuales. En la conversación posterior a la charla, Suleyman también distinguió entre riesgos hipotéticos de una «explosión de inteligencia» y evidencia observable: advirtió que no había pruebas de que ese escenario estuviera cerca.

¿Nos hace falta realmente hablar de «especies»?

A favor de la metáfora: obliga a considerar sistemas que pueden interactuar, aprender de contextos y producir efectos sin que cada paso esté predeterminado. Puede ayudar a quienes diseñan políticas públicas a comprender que la supervisión de un agente requiere mecanismos distintos a los de un buscador.

En contra: la palabra «especie» puede antropomorfizar software, sugerir capacidades no demostradas o diluir la responsabilidad de las empresas y personas que lo despliegan. Si un agente comete un error, la etiqueta poética no debe ocultar quién le concedió permisos ni quién debió supervisarlo.

La formulación más útil quizá sea menos espectacular: sistemas de software con grados crecientes de autonomía y efectos reales, diseñados y gobernados por seres humanos.

Qué observar en los próximos años

Más que preguntar cuándo aparecerá una «especie», conviene seguir indicadores medibles: tasas de tareas completadas sin intervención, frecuencia y gravedad de errores, posibilidades de auditoría, control de permisos, coste por tarea y capacidad de recuperación. Las demos impresionantes importan menos que el desempeño sostenido en condiciones reales.

La tesis de Suleyman anticipó una conversación que hoy resulta central para la ingeniería de agentes: la transición de responder a actuar. Pero el objetivo no debería ser construir sistemas que parezcan más humanos. Debería ser construir sistemas más útiles, controlables y responsables, sin confundir una metáfora poderosa con una prueba científica.

Fuentes