Optimización experimental con presupuesto finito combinando heurísticas Bayesianas en un POMDP

Resumen

Mejorar la toma de decisiones a partir de los resultados observados tras la experimentación es una tarea habitual en muchas aplicaciones, tanto a nivel de investigación en laboratorio como a escala industrial. Sin embargo, realizar experimentos suele acarrear un coste no despreciable, por lo que una excesiva exploración es perjudicial. La optimización Bayesiana es una técnica muy utilizada en este contexto, debido a su bajo coste computacional y a que proporciona un buen balance entre explotación y exploración. No obstante, está técnica no tiene en cuenta explícitamente el coste real de realizar un experimento, ni si existe un presupuesto (o número de experimentos, tiempo, etc.) máximo. El problema de toma de decisiones bajo incertidumbre y presupuesto finito es un proceso de decisión de Markov parcialmente observable (POMDP, por sus siglas en inglés). Este trabajo aborda el problema de optimización experimental combinando reconocidas heurísticas Bayesianas en un enfoque POMDP resuelto mediante programación dinámica, donde un árbol de escenarios se construye partir del conocimiento del proceso/sistema disponible (con incertidumbre) en cada etapa. Dicho conocimiento se modela mediante un proceso Gaussiano que se actualiza con cada nueva observación. El algoritmo desarrollado ha sido testeado con éxito para optimizar las consignas de un reactor de tanque agitado que debe producir una cierta cantidad de lotes.