“El aprendiz de brujo” ofrece una metáfora vigente para la automatización industrial: las herramientas inteligentes pueden multiplicar la capacidad operativa, pero cuando se despliegan sin controles, visibilidad y autoridad humana para intervenir, también multiplican el riesgo. En la era de la IA industrial, la cuestión no es sólo qué puede automatizarse, sino cómo asegurar que siga bajo control.
Por Ing. Diego M. Romero
Hace unos días, intercambiando ideas con algunos colegas sobre el rumbo que está tomando la inteligencia
artificial, nos vino a la memoria una historia muy antigua: la de El aprendiz de brujo. No es un recuerdo
casual. Quienes trabajamos en control y automatización industrial sabemos bien lo que ocurre cuando un
sistema ejecuta con precisión una orden que nadie supo detener.
Una historia con casi dos mil años
El relato aparece por primera vez en el Philopseudés (El aficionado a la mentira), obra de Luciano de
Samósata, escritor de la antigüedad clásica en el siglo II. Allí, Eucrates espía al sacerdote egipcio Pancrates,
se apropia de una fórmula mágica de tres sílabas y logra que un mortero traiga agua con un ánfora. Pero no
conoce el conjuro para detenerlo. La casa se inunda. El aprendiz parte el mortero con un hacha y solo
consigue que las dos mitades sigan acarreando agua. Cuando regresa Pancrates, restablece el orden.
A fines del siglo XVIII, Goethe retomó el tema en su balada Der Zauberlehrling (1797). Su aprendiz se sabe
de memoria las palabras y los gestos del mago, pero ignora lo esencial: cómo revertir lo que puso en
marcha. En 1897, Paul Dukas la convirtió en un poema sinfónico en forma de scherzo. En 1940, Walt Disney
la llevó al gran público en Fantasía, con Mickey Mouse como aprendiz y un ejército de escobas
multiplicadas por el hachazo.
La escoba no tiene la culpa
En ninguna versión la escoba (o el mortero) actúa mal. Hace exactamente lo que se le ordenó, con
eficiencia y sin cansancio. El problema está en quien delegó una tarea sin comprender el alcance de lo que
activaba, sin definir cuándo debía terminar y sin contar con los medios para intervenir.
Goethe lo deja claro en el desenlace: solo el maestro puede convocar a los espíritus y, por lo tanto, solo él
puede ordenarles que se detengan. El poder sin conocimiento ni responsabilidad es, sencillamente, un
riesgo.
Es una buena metáfora de lo que ocurre cuando se despliega una capacidad poderosa de automatización
sin suficiente supervisión, límites operativos y controles de seguridad.
Un aprendiz en lazo abierto
Para un ingeniero de control, la escena resulta familiar. El aprendiz opera en lazo abierto. Da una orden,
pero no mide la variable que importa (el nivel de agua), no define una condición de parada y no dispone de
enclavamientos ni de una acción de emergencia confiable. Cuando el proceso se desvía, su respuesta, el
hacha, es una intervención improvisada que agrava el problema. En la versión de Disney, además, se queda
dormido: la supervisión desaparece justo cuando más se la necesita.
Desde la perspectiva de la seguridad funcional, de la ciberseguridad y de la operación, la adopción de IA en
entornos de Tecnología Operacional (OT) introduce desafíos muy concretos. Éstos tienen nombres
conocidos en nuestra disciplina: realimentación, límites operativos, capas de protección, gestión del
cambio. Normas como la IEC 61511, para sistemas instrumentados de seguridad, o la serie IEC 62443, para
ciberseguridad industrial, existen porque la experiencia enseñó, a veces de manera dolorosa, que un
sistema de control industrial debe ser seguro incluso cuando algo sale mal.
La inteligencia artificial agrega una dificultad nueva. Un sistema que aprende y se adapta puede
comportarse de maneras que no fueron previstas en el diseño. Ya no alcanza con verificar que cumple una
secuencia programada. Hay que delimitar el dominio en el que puede actuar, validar su comportamiento,
monitorearlo en operación y garantizar que siempre exista una salida segura. Esto es especialmente
relevante a medida que las tecnologías avanzan y los centros de operaciones integradas concentran cada
vez más datos, decisiones y capacidad de actuación. En sistemas industriales, donde una falla puede tener
consecuencias físicas, operativas y económicas severas, la IA no puede evaluarse sólo por su desempeño.
Debe analizarse también por su impacto sobre el riesgo.
Seis principios para no ser aprendices:
- Comprender antes de delegar. Conocer la “fórmula”, es decir, saber usar la herramienta, no
equivale a dominar el sistema. Los equipos humanos que incorporan IA necesitan entender qué
hace, con qué datos y bajo qué supuestos (explicabilidad del modelo). - Definir límites y condiciones de parada. Todo sistema autónomo debe operar dentro de un
dominio acotado, con límites duros que no dependan del propio algoritmo. - Sostener una supervisión humana efectiva. No basta con que exista un operador “en el lazo”. Debe
poder comprender lo que ocurre y tener la autoridad y los medios para intervenir a tiempo. - Diseñar para la falla. Modos seguros, redundancia y capacidad de volver a la operación manual son
parte del diseño inicial y no un agregado posterior. - Cimentar antes de construir. Una IA útil y segura requiere datos digitalizados y confiables, y
procesos gestionados digitalmente (DCS, PLC, MES). Sin esa base, la IA corre el riesgo de ser una
capa sofisticada sobre información deficiente o procesos poco controlados. - Poner a las personas en el centro. Los principios éticos, la seguridad y el beneficio real para las
personas deben prevalecer sobre la mera obtención de ganancias por parte de quienes desarrollan
o adoptan la tecnología. Marcos como la ISO/IEC 42001 o el AI Risk Management Framework del
NIST ofrecen guías útiles para gestionarlo.
Que el maestro esté presente
La respuesta adecuada no es rechazar la innovación que representa la IA, sino gobernarla con disciplina de
ingeniería. Una autonomía bien diseñada libera a las personas de tareas repetitivas o peligrosas y les
permite dedicarse a la optimización y a decisiones de mayor valor. Pero ese futuro no se construye
delegando sin criterio.
La enseñanza de esta historia es clara: cuando la escoba se desborda, no hay que culparla. Hay que
preguntarse quién la puso a trabajar, con qué límites y quién estaba mirando.
Para una comunidad como la de AADECA, dedicada al control automático, la pregunta no es si avanzaremos
hacia sistemas más autónomos, sino con qué criterio, con qué controles y con qué responsabilidad. Que el
maestro esté siempre presente.
Referencia: González de Chaves, Lucila (2019). “Aprendiz de brujo en Luciano de Samosata, Goethe, Dukas y
Walt Disney”. El Mundo (Medellín); reproducido en su blog:
https://lucilagonzalezdechaves.blogspot.com/2019/03/importancia-del-aprendiz-de-brujo-en-la.html