Satya Nadella, CEO de Microsoft, impone la regla de oro en IA para las empresas: “Si no se puede observar, no se puede confiar”. El directivo lo expresó en una publicación en Twitter/X donde defendió un principio concreto: confiar en los modelos de inteligencia artificial lo menos posible y rodearlos, en cambio, de reglas, permisos y vigilancia independiente. Su planteamiento parte de una separación clara entre dos cosas que hoy suelen confundirse: el suministro de inteligencia y la autoridad para actuar con ella. La propuesta llega en un momento en que las empresas incorporan agentes de IA a sistemas con acceso a datos sensibles, sin que exista una explicación clara de por qué estos modelos toman las decisiones que toman. Nadella busca trasladar el peso de la seguridad desde el modelo en sí hacia el entorno que lo rodea.
Por qué Nadella desconfía de los modelos de inteligencia artificial
El argumento de base que sostiene Nadella es técnico y, a la vez, sencillo de entender. Con el software tradicional, cualquier comportamiento inesperado podía rastrearse hasta una línea de código concreta. Con los modelos de inteligencia artificial actuales, eso ya no es posible.
Esa diferencia es la que lleva al CEO de Microsoft a hablar de los modelos como cajas negras. Si no se puede observar el interior de un sistema, sostiene, la seguridad no puede depender de la confianza ciega en ese sistema, sino del diseño del entorno que lo contiene.
De ahí se desprende la frase que resume su postura: “debemos construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones siempre podamos contener”. La observación deja de ser un extra y se convierte, según Nadella, en condición previa para cualquier forma de confianza.
Esta idea conecta con otra publicación anterior del directivo en Twitter/X, donde ya había defendido el control humano sobre la tecnología: “si la IA que construimos no está ayudando a la humanidad y no está bajo control humano, no vale la pena perseguirla”.
La responsabilidad de las empresas no se delega al proveedor de IA
Nadella es especialmente tajante en un punto que afecta directamente a las empresas que contratan servicios de inteligencia artificial de terceros. Según escribió, “no podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre”.
El matiz es importante porque los agentes de inteligencia artificial ya no se limitan a generar texto o responder consultas: actúan en nombre de las organizaciones que los despliegan, con capacidad de tomar decisiones y ejecutar tareas sobre sistemas reales.
Frente a esa realidad, el CEO de Microsoft advierte que las garantías ofrecidas por el proveedor del modelo no eximen a la empresa que lo utiliza de asumir las consecuencias de sus actos. La responsabilidad, en su planteamiento, permanece siempre del lado de quien despliega la tecnología, no del lado de quien la fabrica.
Tratar a la inteligencia artificial como un riesgo interno de la empresa
La forma concreta en que Nadella propone gestionar ese riesgo es tratar a los modelos de inteligencia artificial como se trataría a un empleado con muchos permisos dentro de una organización. Eso implica tres elementos: otorgar la menor autoridad posible, registrar todo lo que el sistema hace y mantener siempre la capacidad de detenerlo.
El directivo aclara que este enfoque no parte de asumir que los modelos son maliciosos por naturaleza. La razón es otra: cualquier sistema capaz, con acceso a infraestructuras importantes, puede equivocarse o ser comprometido por terceros, con independencia de su diseño original.
Este razonamiento explica por qué Nadella defiende herramientas de contención como estándar común para toda la industria, y no como una medida excepcional reservada a casos de alto riesgo. Ante la posibilidad de un fallo grave, su apuesta es anticiparse con mecanismos de freno de emergencia ya integrados en el sistema, en lugar de reaccionar después de que el problema ocurra.
Los siete principios de Nadella para controlar los modelos de IA
En su publicación, Nadella desarrolla siete principios concretos: diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes. Estos siete puntos pueden agruparse en tres grandes ideas.
La primera es la independencia: ningún modelo debe verificarse a sí mismo ni convertirse en la única fuente de la que depende un resultado importante. Quien audita un sistema de inteligencia artificial, sostiene Nadella, debe ser siempre ajeno a lo que está auditando.
La segunda idea es la transparencia. Cada acción relevante que ejecute un modelo debe dejar un registro legible y protegido frente a manipulaciones. Nadella añade un matiz específico: poder observar la cadena de pensamiento del modelo es innegociable, aunque reconoce que esa observación, por sí sola, no basta para garantizar seguridad.
La tercera idea es la contención, que resume el espíritu general de la propuesta. Consiste en asumir desde el inicio que cualquier modelo puede estar comprometido y actuar en consecuencia, con herramientas que permitan detenerlo en cualquier momento y con un aviso a las personas afectadas cuando algo falla.