Satya Nadella pide que los modelos de IA puedan controlarse durante una tarea

Satya Nadella, máximo responsable de Microsoft, pide revisar la manera en que se controlan los sistemas de inteligencia artificial. En un mensaje publicado en X y recogido el 10 de octubre por TechCrunch y The Verge, propone partir de la hipótesis de que un modelo está comprometido y prever su confinamiento desde el principio. Esta formulación expresa un principio de diseño prudente; no demuestra que todos los modelos hayan sido efectivamente comprometidos.

Su propuesta central consiste en separar el modelo del dispositivo que organiza su trabajo. Según la información de TechCrunch, los controles y las protecciones deberían situarse fuera del modelo. Nadella también pide que una persona autorizada pueda suspender o detener un modelo durante la ejecución de una tarea. Por tanto, el control no se limitaría a aceptar o rechazar una respuesta una vez producida.

Esta separación podría ofrecer a los diseñadores de sistemas un objetivo concreto: conservar un medio de intervención mientras el modelo actúa. Trasladaría parte de la confianza a los mecanismos que regulan su actividad. Sin embargo, esta es una interpretación de la arquitectura propuesta, no una prueba de su eficacia. Los artículos no describen una implementación que permita medir su resistencia o fiabilidad.

La trazabilidad constituye la otra vertiente de esta postura. Nadella quiere que cada acción significativa del modelo deje una prueba legible para una persona y protegida contra modificaciones. Esta exigencia podría facilitar el examen de una decisión o de un incidente, siempre que la información conservada permita realmente comprender lo sucedido. La disponibilidad de un registro no bastaría, por sí sola, para garantizar esa comprensión.

The Verge también recoge recomendaciones sobre la divulgación rápida de incidentes, las auditorías independientes y los datos verificables. Estos elementos complementan el confinamiento: buscan que los sistemas sean observables y que sus acciones puedan examinarse. Su alcance dependería, no obstante, de las modalidades elegidas, que estas informaciones no detallan.

Por último, Nadella considera que los modelos más avanzados necesitarán técnicas de confinamiento más avanzadas, para las que habría que establecer estándares. Se trata de una orientación expresada por el directivo, sin un calendario de normalización documentado.

La cuestión que plantea esta intervención es la de un control duradero durante la acción. Las propuestas son precisas respecto a las funciones deseadas —interrupción, separación de las protecciones y trazabilidad—, pero las informaciones no permiten concluir que Microsoft las haya adoptado ni que sean eficaces en la práctica.