Discovering hierarchy in reinforcement learning with hexq Export

@misc{citeulike:1693164, abstract = {An open problem in reinforcement learning is discovering hierarchical structure. HEXQ, an algorithm which automatically attempts to decompose and solve a model-free factored MDP hierarchically is described. By searching for aliased Markov sub-space regions based on the state variables the algorithm uses temporal and state abstraction to construct a hierarchy of interlinked smaller MDPs.}, author = {Hengst, B.}, citeulike-article-id = {1693164}, citeulike-linkout-0 = {http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.9.5839}, comment = {1)Concisa ma ben fatta presentazione del generico problema di RL su MDP con accenno a Q-learning. 2)Disanima di alcune tipologie di omomorfismi fra MDP con confronto fra gli effetti che essi hanno sulle dimensioni dello spazio di ricerca e conseguentemente sulla velocit\`{a} di convergenza. 3)I risultati mostrano che la scomposizione gerarchica unita alla rappresentazione multiagente (che per\`{o} dal mio punto di vista, se non si considera del tutto la distribuzione dell'informazione, \`{e} a sua volta una forma di gerachizzazione) danno i migliori risultati. 4)Viene posto l'accento sulla difficolt\`{a} di costruire queste astrazioni manualmente e sulla necessit\`{a} quindi di sviluppare metodologie per la costruzione automatica insieme all'apprendimento della strategia di controllo vera e propria.}, keywords = {hexq, hierarchical, homomorphism, learning, reinforcement}, posted-at = {2007-09-25 15:50:17}, priority = {0}, title = {Discovering hierarchy in reinforcement learning with hexq}, url = {http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.9.5839}, year = {2002} }

TY - GEN ID - citeulike:1693164 L3 - citeulike-article-id:1693164 N2 - An open problem in reinforcement learning is discovering hierarchical structure. HEXQ, an algorithm which automatically attempts to decompose and solve a model-free factored MDP hierarchically is described. By searching for aliased Markov sub-space regions based on the state variables the algorithm uses temporal and state abstraction to construct a hierarchy of interlinked smaller MDPs. TI - Discovering hierarchy in reinforcement learning with hexq KW - hexq KW - hierarchical KW - homomorphism KW - learning KW - reinforcement N1 - 1)Concisa ma ben fatta presentazione del generico problema di RL su MDP con accenno a Q-learning. 2)Disanima di alcune tipologie di omomorfismi fra MDP con confronto fra gli effetti che essi hanno sulle dimensioni dello spazio di ricerca e conseguentemente sulla velocità di convergenza. 3)I risultati mostrano che la scomposizione gerarchica unita alla rappresentazione multiagente (che però dal mio punto di vista, se non si considera del tutto la distribuzione dell'informazione, è a sua volta una forma di gerachizzazione) danno i migliori risultati. 4)Viene posto l'accento sulla difficoltà di costruire queste astrazioni manualmente e sulla necessità quindi di sviluppare metodologie per la costruzione automatica insieme all'apprendimento della strategia di controllo vera e propria. AU - Hengst, B PY - 2002/// UR - http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.9.5839 ER -