AR-MaIE

INTENSIDAD HORARIA SEMANAL:

Coordinador MaIE

En el contexto de la ingeniería electrónica y de control, el RL ha emergido como una herramienta clave para el diseño de estrategias de control basadas en datos, especialmente en sistemas complejos, no lineales, estocásticos o parcialmente conocidos, donde los enfoques clásicos presentan limitaciones. Aplicaciones recientes incluyen control óptimo aproximado, robótica autónoma, sistemas energéticos, telecomunicaciones y optimización en tiempo real.

Desarrollar en los estudiantes competencias avanzadas para la formulación, análisis, implementación y evaluación de algoritmos de aprendizaje por refuerzo, aplicados a problemas de decisión secuencial y control en sistemas dinámicos y estocásticos.

·         Analizar y comparar críticamente los principales métodos clásicos de aprendizaje por refuerzo, incluyendo bandits, programación dinámica, Monte Carlo y diferencias temporales, evaluando sus supuestos, propiedades de convergencia y limitaciones prácticas.

·         Implementar y evaluar algoritmos de control por refuerzo tabulares y aproximados, tales como SARSA, Q-Learning y sus extensiones, utilizando simulaciones computacionales y métricas de desempeño adecuadas.

·         Introducir y aplicar el uso de aproximación de funciones y redes neuronales en aprendizaje por refuerzo, analizando los fundamentos, ventajas y riesgos del aprendizaje profundo por refuerzo en problemas de control y toma de decisiones.

Las sesiones teóricas se centran en la formulación matemática de los modelos y algoritmos, apoyadas en demostraciones, ejemplos canónicos y análisis crítico de resultados. Paralelamente, se desarrollan talleres de simulación orientados a la implementación de algoritmos de RL en entornos controlados, utilizando Python como herramienta principal, con el apoyo también de MATLAB.

El curso enfatiza el aprendizaje activo, donde el estudiante contrasta teoría y práctica mediante experimentos computacionales, análisis de convergencia, evaluación de políticas y comparación de métodos. El proyecto final promueve la integración de conceptos y el planteamiento de problemas con potencial de investigación o desarrollo de tesis.

Para ello, se establecen los siguientes componentes de evaluación:

·         Talleres teórico–prácticos (70%). A lo largo del curso, el estudiante desarrollará talleres teórico–prácticos asociados a las diferentes unidades temáticas. Estos talleres integran:

Ø  análisis conceptual y matemático de los métodos de aprendizaje por refuerzo,

Ø  formulación de problemas de decisión secuencial,

Ø  implementación computacional de algoritmos mediante simulación,

Ø  y análisis crítico del desempeño y comportamiento de las políticas aprendidas.

Todos los talleres tendrán el mismo peso porcentual dentro de este componente y estarán orientados a evaluar la comprensión profunda de los fundamentos y métodos del aprendizaje por refuerzo.

6 horas

(2

semanas)

En esta unidad el estudiante comprenderá el aprendizaje por refuerzo como un paradigma de aprendizaje basado en interacción, diferenciándolo del aprendizaje supervisado y no supervisado. Se introducen los conceptos fundamentales del problema de decisión secuencial, la señal de recompensa y la noción de política, estableciendo el marco conceptual del curso.

·         Semana 1. Introducción al Aprendizaje por Refuerzo. Tipos de aprendizaje automático. Motivación del aprendizaje por refuerzo. Interfaz agente–entorno. Ejemplos clásicos de RL.

·         Semana 2. Elementos de un problema de RL. Estados, acciones y recompensas. Episodios y retorno acumulado. Políticas determinísticas y estocásticas. Horizonte de planificación y factor de descuento.

Taller Teórico-Práctico

6 horas

(2

semanas)

Esta unidad aborda el dilema exploración–explotación a través del problema de los multi-armed bandits, analizando métodos fundamentales de selección de acciones en entornos sin dinámica de estados explícita.

·         Semana 3. Problema del bandido. One-armed y multi-armed bandits. Recompensa esperada. Métricas de desempeño.

·         Semana 4. Métodos de exploración. ε-greedy. Inicialización optimista. UCB. Bandits no estacionarios.

Taller Teórico-Práctico

9 horas

(3

semanas)

Se introduce la formulación matemática rigurosa del aprendizaje por refuerzo mediante Procesos de Decisión de Markov, analizando la dinámica del sistema, las políticas y las funciones de valor como base para los métodos de solución.

·         Semana 5. Definición de MDP. Propiedad de Markov. Estados, acciones y transiciones. Recompensa esperada.

·         Semana 6. Retorno y políticas. Retorno acumulado y descuento. Políticas determinísticas y estocásticas. Interpretación del control como RL.

·         Semana 7. Funciones de valor. Función de valor de estado y de acción. Interpretación y ejemplos.

Taller Teórico-Práctico

9 horas

(3

semanas)

En esta unidad se estudian los métodos de programación dinámica como solución exacta de MDPs conocidos, estableciendo el marco teórico fundamental para los métodos aproximados del aprendizaje por refuerzo.

Taller Teórico-Práctico

·         Semana 9. Iteración de políticas. Evaluación y mejoramiento de políticas. Policy iteration.

·         Semana 10. Iteración de valor. Value iteration. Comparación con policy iteration. Ejemplos clásicos (Gridworld, Gambler).

9 horas

(3

semanas)

Esta unidad aborda métodos de aprendizaje basados en muestreo de episodios completos, analizando evaluación y control de políticas sin conocimiento previo del modelo del entorno.

·         Semana 11. Evaluación Monte Carlo. MC de primera visita y cada visita. Estimación del valor de estados.

·         Semana 12. Control Monte Carlo. Control on-policy. Control off-policy. Importance Sampling.

·         Semana 13. Análisis y limitaciones. Varianza y convergencia. Comparación con programación dinámica.

Taller Teórico-Práctico

9 horas

(3

semanas)

Se estudian los métodos de diferencias temporales como combinación de programación dinámica y Monte Carlo, y se introduce la aproximación de funciones y el aprendizaje profundo por refuerzo como extensión a espacios grandes o continuos.

·         Semana 14. Diferencias Temporales. TD(0) y

TD(λ). Error TD.

Taller Teórico-Práctico

·         Semana 16. Aproximación de funciones y Deep RL. Aproximación lineal y no lineal. Redes neuronales en RL. DQN y Double DQN. Discusión crítica y limitaciones.

No.

El Magíster en Ingeniería Electrónica de la Universidad

de Nariño …

1

X

2

X