Más allá del algoritmo: gobernanza continua, IA on-device y responsabilidad humana frente al riesgo tecnológico. Por: Iván Muñiz Rothgiesser. El liderazgo ético permite que las organizaciones definan quién responde por las decisiones de IA, cómo se gestionan sus riesgos y cuándo debe intervenir una persona. A medida que la automatización alcanza código, datos y procesos críticos, gobernanza, seguridad, transparencia y responsabilidad humana pasan a formar parte de la propia arquitectura tecnológica.

Aspectos clave

• La tesis de Iván Muñiz es que innovar tecnológicamente ya no basta: el diferenciador pasa a ser cómo se gobierna la tecnología.U
• Una automatización extrema puede aumentar la opacidad y diluir responsabilidades dentro de las organizaciones.
• Stanford HAI contabilizó 362 incidentes públicos de IA en 2025 frente a 233 en 2024, cerca de 55% más.
• La IA on-device puede reforzar privacidad y control sobre determinados datos, pero no constituye por sí sola una garantía de soberanía o seguridad. Esa precisión ya quedó incorporada en la versión revisada.
• Veracode mantiene una tasa media de aprobación de seguridad de apenas 56% para el código generado por los modelos estudiados.
• El NIST AI RMF propone gobernar el riesgo mediante cuatro funciones interrelacionadas: Govern, Map, Measure y Manage.
• El artículo sostiene que la responsabilidad final sobre código, seguridad y dirección estratégica debe permanecer claramente asignada a personas.

Más allá del algoritmo: por qué el liderazgo ético es la nueva infraestructura crítica de TI

Lima, Perú, 16 de agosto de 2026.— La automatización extrema sin una gobernanza ética activa está disparando los costes de cumplimiento y los incidentes de seguridad en las empresas. Analizamos por qué el liderazgo consciente y arquitecturas como la IA on-device son la nueva infraestructura crítica para los directivos de TI.

Innovar ya no da ventajas: es supervivencia

En el mercado actual, colgarse la medalla de la innovación tecnológica ya no asegura una ventaja competitiva; hoy es simplemente el boleto básico para seguir operando. La velocidad con la que se despliega la Inteligencia Artificial (IA) ha acelerado de golpe la “modernidad líquida” que predecía Zygmunt Bauman. Nos enfrentamos a estructuras corporativas que cambian y se disuelven antes de lograr consolidarse, empujando a los líderes de TI a tomar decisiones estratégicas en un entorno completamente impredecible.

Cajas negras y el verdadero costo de la ceguera tecnológica

La trampa actual para muchas organizaciones es buscar certezas absolutas refugiándose ciegamente en la analítica avanzada y los modelos predictivos. Automatizar procesos al extremo sin un propósito humanista claro termina fragmentando los equipos de trabajo, desgasta el talento técnico y diluye las responsabilidades operativas detrás de la opacidad de una “caja negra”.

Diseñar una estrategia de gobernanza ética ya no es un asunto menor de cumplimiento normativo o relaciones públicas. Es, literalmente, la infraestructura crítica necesaria para mitigar riesgos financieros que pueden ser devastadores. Las cifras de mercado no mienten: un estudio de EY, realizado entre 975 ejecutivos de compañías con ventas superiores a 1,000 millones de dólares, encontró que casi la totalidad de las grandes empresas que han adoptado IA han sufrido alguna pérdida financiera vinculada a fallos de cumplimiento, sesgos o resultados defectuosos, con pérdidas combinadas estimadas en 4,400 millones de dólares.

A este impacto financiero se suma una crisis de seguridad creciente. El AI Index 2026 de Stanford HAI, que se nutre de los datos del AI Incident Database, reporta que los incidentes de IA documentados públicamente pasaron de 233 en 2024 a 362 en 2025, un incremento cercano al 55% en apenas doce meses. El problema de fondo es técnico e institucional: entrenar modelos con datos históricos contaminados o sesgados perpetúa la exclusión automatizada. Las máquinas procesan millones de registros a velocidades récord, pero siguen operando con una ceguera total hacia la empatía y la justicia contextual.

Tres ejes de acción para un entorno tecnológico volátil

1.  Transparencia real e IA on-device

El primer paso crítico es desmitificar el algoritmo. Los equipos técnicos, los clientes y los reguladores necesitan comprender los criterios reales detrás de las decisiones automatizadas de alto impacto. En la práctica, esto exige que las organizaciones dejen de depender exclusivamente de grandes modelos centralizados y evalúen, con criterio, una transición hacia arquitecturas de IA on-device (procesamiento local) allí donde el caso de uso lo justifique.

Los directores de tecnología conscientes saben que la privacidad de los datos estratégicos no puede depender únicamente de contratos de confidencialidad con proveedores de la nube. Procesar los modelos directamente en el hardware local de la compañía es una vía para reforzar la soberanía del dato, aunque no la única ni una garantía absoluta por sí misma. Migrar cargas de trabajo sensibles a entornos locales puede ayudar a reducir el riesgo de fuga de propiedad intelectual hacia servidores de terceros y a proteger mejor los secretos comerciales frente a brechas externas de seguridad, siempre que vaya acompañado de controles de seguridad y gobernanza equivalentes también en el entorno local.

2.  Gobernanza dinámica frente al código vulnerable

Los manuales estáticos de cumplimiento normativo mueren al ritmo que avanza la innovación. La opacidad de los algoritmos ya no es un debate puramente ético o filosófico; hoy es una superficie de ataque explotable. Los modelos corporativos que operan sin una supervisión continua sufren rápidamente de deriva de datos (data drift) y quedan expuestos a inyecciones de instrucciones (prompt injections), lo que puede derivar en brechas de privacidad y en el incumplimiento de regulaciones exigentes como el EU AI Act.

La urgencia en el área de desarrollo es innegable. La actualización 2026 del GenAI Code Security Report de Veracode encontró que, sin instrucciones de seguridad específicas, alrededor del 44% de las tareas de generación de código asistidas por IA producen código con al menos una vulnerabilidad detectable del catálogo OWASP Top 10 —una tasa que se ha mantenido prácticamente estancada pese a la mejora en la corrección sintáctica de los modelos. Para no heredar esta gigantesca deuda técnica y de seguridad, el área de TI necesita adoptar estructuras organizacionales ágiles y descentralizadas que evalúen los riesgos en ciclos continuos; marcos voluntarios como el AI Risk Management Framework del NIST ofrecen una brújula práctica para documentar y auditar estos riesgos de forma iterativa.

Esta gobernanza flexible ya funciona en el terreno real. El gigante del retail Target, por ejemplo, utiliza círculos transversales de trabajo donde sus propios ingenieros validan y deciden por consentimiento qué arquitecturas adoptar. En Europa, firmas tecnológicas como la sueca Crisp operan con nodos autónomos capaces de responder a incidentes en tiempo real sin pasar por el embudo de un CEO tradicional. Asimismo, la firma de software Encora (anteriormente Nearsoft) confía en la sociocracia para que las células técnicas elijan a sus líderes y definan de forma independiente sus dinámicas de producción.

3.  Humanismo crítico en la toma de decisiones

El espacio para el discernimiento humano no es negociable. Dado que las herramientas de IA tienden a heredar y amplificar los sesgos históricos de sus conjuntos de datos si no se auditan a tiempo, la automatización debe entenderse estrictamente como una asistencia. La responsabilidad última del código puesto en producción, la seguridad perimetral y el rumbo estratégico de la empresa debe recaer siempre en las personas.

El balance final

El éxito del despliegue de la IA dentro de las organizaciones no se va a medir por la potencia del algoritmo ni por el tamaño del modelo de lenguaje adoptado. Se medirá por la solidez del marco operativo y ético de quienes lideran la tecnología. Los ejecutivos que logren dominar este timón algorítmico no solo mantendrán a flote a sus compañías en este mercado volátil; se convertirán en los verdaderos arquitectos de organizaciones resilientes, seguras y competitivas.

Fuentes consultadas

• EY / Reuters — https://www.aol.com/articles/most-companies-suffer-risk-related-084654187.html
• Stanford HAI — https://hai.stanford.edu/ai-index/2026-ai-index-report
• Veracode — https://www.veracode.com/resources/analyst-reports/2025-genai-code-security-report/
• OWASP Foundation — https://owasp.org/www-project-top-ten/
• Comisión Europea (EU AI Act) — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
• NIST — https://www.nist.gov/itl/ai-risk-management-framework

Datos citables

• 99% de las organizaciones participantes en el Global Responsible AI Pulse de EY declaró haber experimentado alguna pérdida financiera relacionada con riesgos de IA; EY estimó US$4.300 millones en pérdidas acumuladas entre los 975 participantes.
• 362 incidentes de IA fueron documentados durante 2025 por AI Incident Database, frente a 233 en 2024, según Stanford AI Index 2026.
• El código generado por los más de 100 modelos evaluados por Veracode mantiene una tasa media de aprobación de seguridad de 56%; sin instrucciones específicas de seguridad falla aproximadamente 44% de las pruebas.
• El NIST AI RMF estructura la gestión de riesgos de inteligencia artificial alrededor de Govern, Map, Measure y Manage, concebidas como funciones continuas durante el ciclo de vida de los sistemas.
• El EU AI Act es aplicable de forma general desde el 2 de agosto de 2026, aunque las obligaciones específicas para determinados sistemas de alto riesgo fueron desplazadas a diciembre de 2027 y, para IA integrada en productos regulados, a agosto de 2028.

Preguntas y respuestas que amplían la conversación

¿Qué es la gobernanza de inteligencia artificial?

Es el conjunto de responsabilidades, controles, políticas y procesos utilizados para decidir cómo se desarrolla, despliega, supervisa y retira un sistema de IA. Incluye gestión de riesgos, seguridad, privacidad, transparencia, monitoreo y responsabilidad organizacional.

¿En qué se diferencia gobernanza de IA de cumplimiento normativo?

El cumplimiento busca satisfacer obligaciones legales específicas. La gobernanza abarca además decisiones operativas: inventario de sistemas, responsables, tolerancia al riesgo, monitoreo, pruebas, procedimientos de escalamiento y mecanismos para decidir incluso cuándo un sistema no debería desplegarse. El NIST AI RMF refleja precisamente ese enfoque continuo.

¿La IA on-device protege automáticamente la privacidad?

No. Procesar información localmente puede reducir la transferencia de determinados datos a infraestructura externa, pero siguen existiendo riesgos relacionados con malware, credenciales, acceso al dispositivo, telemetría, configuración y gobierno de los datos.

¿Qué es una prompt injection?

Es una vulnerabilidad mediante la cual determinadas instrucciones introducidas directa o indirectamente pueden alterar de forma no prevista el comportamiento de un modelo. OWASP la clasifica como LLM01:2025 y advierte que puede conducir, dependiendo de la arquitectura, a exposición de información, uso no autorizado de funciones o manipulación de decisiones.

¿Por qué el código generado por IA requiere revisión humana?

Porque que un modelo genere código sintácticamente correcto no implica que sea seguro. Veracode encontró una tasa cercana al 100% en corrección sintáctica, mientras la tasa media de aprobación de seguridad se mantuvo en 56%.

¿Puede una empresa delegar la responsabilidad de una decisión a una IA?

Puede automatizar partes de una decisión, pero necesita mantener estructuras claras de responsabilidad, supervisión, documentación y respuesta frente al riesgo. El NIST AI RMF exige precisamente que roles y responsabilidades estén documentados dentro de la gobernanza organizacional.

Knowledge Layer | Glosario

• Gobernanza de IA: estructura organizacional de políticas, responsabilidades, controles y procedimientos mediante la cual se supervisa el ciclo de vida de sistemas de inteligencia artificial.
• IA responsable: enfoque orientado a desarrollar y utilizar IA considerando seguridad, resiliencia, responsabilidad, transparencia, explicabilidad, privacidad y gestión de sesgos. Estos atributos forman parte del concepto de IA confiable utilizado por NIST.
• Caja negra algorítmica: sistema cuyo proceso interno de decisión resulta difícil de interpretar, reconstruir o explicar suficientemente a quienes lo utilizan o supervisan.
• IA on-device: ejecución de modelos o cargas de inteligencia artificial directamente sobre un dispositivo local en lugar de depender exclusivamente de infraestructura remota.
• Data drift: modificación progresiva de las características de los datos de producción respecto de aquellos utilizados para desarrollar o validar un modelo, lo que puede deteriorar su comportamiento.
• Prompt injection: manipulación de entradas que modifica de manera no prevista el comportamiento de un modelo de lenguaje. OWASP la sitúa como LLM01:2025.
• Human-in-the-loop: arquitectura en la cual personas mantienen funciones de supervisión, revisión, autorización o intervención dentro de determinados procesos automatizados.
• AI Risk Management Framework —AI RMF—: marco voluntario del NIST diseñado para ayudar a organizaciones a identificar y gestionar riesgos de IA mediante las funciones Govern, Map, Measure y Manage.

¿Por qué es importante la AI Governance?

Una empresa puede desplegar inteligencia artificial mucho más rápido de lo que desarrolla mecanismos para gobernarla. Cuando los modelos participan en software, datos o decisiones críticas, seguridad y responsabilidad dejan de ser controles posteriores. Deben formar parte del diseño tecnológico desde el inicio.

Visión Estratégica

El próximo diferenciador competitivo de la inteligencia artificial probablemente no será solamente quién disponga del modelo más potente, sino quién construya la organización capaz de gobernarlo con mayor disciplina. La IA acelera capacidades, pero también multiplica las consecuencias de errores, sesgos y vulnerabilidades. Por eso tecnología, ética, seguridad y liderazgo están convergiendo en una misma arquitectura de gestión. La empresa AI-ready no será aquella que automatice todo lo posible, sino aquella capaz de determinar qué debe automatizar, bajo qué controles, con qué evidencia y dónde el juicio humano continúa siendo irrenunciable.

Tu Opinión Nos Importa ツ

La inteligencia artificial puede procesar información y ejecutar tareas a una velocidad que ninguna organización humana podría igualar. Pero esa capacidad abre una pregunta más profunda: ¿cuánto poder de decisión estamos dispuestos a delegar sin diluir nuestra propia responsabilidad?

¿Consideras que las organizaciones deberían establecer una función formal de gobernanza de IA antes de permitir que agentes o modelos intervengan en procesos críticos?

¿Qué decisiones empresariales deberían permanecer siempre bajo supervisión humana, aunque técnicamente ya puedan automatizarse?

Comparte tu perspectiva con Iván Muñiz Rothgiesser y la comunidad de IT/USERS® Magazine:

#ItusersAwards2026 #SuperFan

Apoya al Periodismo Independiente

¿Te sirvió en algo este contenido?, ayúdanos a combatir la Desinformación, dona desde S/ 1.00 a nuestro PLIN 943-438-457