Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Esquema Plan de Tesis - Met.DeLaInv/2015

No description
by

Paula Toselli

on 25 July 2015

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Esquema Plan de Tesis - Met.DeLaInv/2015

Optimización interactiva en sistemas cognitivos de planificación y scheduling integrando aprendizaje por refuerzo con conocimiento experto
Problema
Si bien se han llevado a cabo avances en algoritmos y metodologías en el rescheduling de tiempo real, basadas en estrategias de reparación, un obstáculo aún no contemplado es respetar las preferencias de los usuarios.

En sistemas cognitivos que busquen solución a problemas de rescheduling interactivo se pueden incorporar aprendizaje activo de preferencias y utilidades del usuario a través de interacciones específicamente diseñadas.
Objetivo General
El Objetivo principal es el desarrollo y prueba computacional de algortimos, abstracciones y métodos de aprendizaje por refuerzo inverso para incorporar la optimización interactiva en sistemas cognitivos de planificación y scheduling de tareas.
Fundamentación
La novedad de un sistema cognitivo es potenciar las capacidades humanas a través de una simbiosis entre el usurio y el sistema por medio de emulación de las capacidades humanas para solución de problemas y toma de decisiones en forma reactiva, lo que permite ahorros en tiempo y dinero, además de generar y acumular conocimiento por medio de sucesivas interacciones.
Hipótesis
De igual forma que un experto de dominio, un sistema cognitivo de planificación y scheduling debe ser capaz de COMPRENDER las soluciones generadas por un proceso de creación/modificación de un plan o schedule en función del CONTEXTO en el que se genera, las metas o preferencias que se buscan satisfacer y la experiencia acumulada en las interacciones previas.

La optimización interactiva usando aprendizaje por refuerzo inverso en la interfaz usuario-sistema cognitivo es clave para una nueva generación de diseño e implementación de sistemas inteligentes de planificación y scheduling.
Bibliografía
Driessens, K. (2004). Relational Reinforcement Learning. PhD. Thesis. Department of Computer Science, K.U.Leuven, Leuven, Belgium.
Levine, S., Popović, Z., & Koltun. V. (2011). Nonlinear Inverse Reinforcement Learning with Gaussian Processes. Proceedings of NIPS 2011.
Martinez, E. C., (2000). Batch process modeling for optimization using reinforcement learning. Computers and Chemical Engineering, Vol. 24, pp. 1187-1193..
Martínez, E. C. & O. Somaglia (2002). Reinforcement learning applications to process control and optimización. Intelligent Systems, Editor: C. Leondes Vol 5, CRC Press, pp. 211-238.
Palombarini, J., Martinez, E. C. (2012a). SmartGantt – An interactive system for generating and updating rescheduling knowledge using relational abstractions. Computers and Chemical Engineering. Vol. 47, pp. 202-216.
Sutton R. & A. Barto (1998). Reinforcement Learning: an introduction. The MIT Press, Cambridge, MA.
Van Otterlo. M. (2009). The Logic of Adaptive Behavior: Knowledge Representation and Algorithms for Adaptive Sequential Decision Making Under Uncertainty in First-order and Relational Domains, IOS Press, Amsterdam.
Vieira, G., Herrmann, J. & Lin. E. (2003). Rescheduling Manufacturing Systems: a Framework of Strategies, Poli-cies and Methods. J. of Scheduling, 6, pp. 39.
Metodología
Evaluación Computacional de los algoritmos existentes para aprendizaje por refuerzo inverso (IRL).
Desarrollo y Prueba de un algoritmo de IRL que utiliza abstracciones de los estados del cronograma (schedule) y los operadores de reparación.
Diseño Óptimo de Experimentos orientado a un aprendizaje activo de las distintas preferencias de los agentes involucrados en la re-planifiación manual y sus políticas de reparación.
Extensión de los algoritmos y metologías desarrolladas al caso de múltiples expertos.
Metodología de la Investigación - 2015
Ing. Paula A. Toselli
Estructura del Plan de Tesis
Objetivos Específicos
Desarrollo de una estrategia para automatizar el procedimiento computacional que permite explicitar las preferencias del experto humano.
Adaptación de algoritmos de aprendizaje por refuerzo inverso al problema de rescheduling interactivo.
Programación de un prototipo de sistema cognitivo de planificación y scheduling con optimización interactiva.
Extensión de la metodología de aprendizaje por refuerzo inverso para múltiples expertos (boosting).
Metodología
Para ensayar los conceptos, metodologías y algortimos se abordan dos ejemplos industriales:

1. Una planta de manufactura de envases plásticos donde los recursos críticos son extrusoras que procesan diversos productos, con distintas velocidades y calidades.
2. Una planta de productos lácteos donde existe un riguroso test de calidad y se necesitan operaciones de reformulación que el operador debe gestionar.
Tipo de Investigación: Aplicada
Full transcript