Autoshaping: Learning to Predict Reward for Novel States Export

@techreport{citeulike:1697316, abstract = {We introduce the use of learned shaping rewards in reinforcement learning tasks, where an agent uses prior experience on a sequence of tasks to learn a predictor that estimates intermediate rewards, accelerating learning in later tasks that are related but distinct. Such agents can be trained on a series of relatively easy tasks in order to develop a more informative measure of reward that allows them to perform well on more difficult tasks, without requiring hand coded shaping functions. We use a rod positioning task to demonstrate that this approach significantly improves performance even after a very brief training period.}, author = {Konidaris, G. D. and Barto, A. G.}, citeulike-article-id = {1697316}, citeulike-linkout-0 = {http://www-anw.cs.umass.edu/pubs/2005/konidaris_b_TECH05.ps.gz}, comment = {L'articolo \`{e} collegato a quello del trasporto di Opzioni fra differenti task (in realt\`{a} antecedente) e pone luce sugli interrogativi lasciati aperti nella nota a quel paper. L'idea di fondo \`{e} quella di costruire uno strumento che permetta di generalizzare i concetti ottenuti dall'apprendimeno effettuato in un particolare problema, cogliendo gli aspetti generici che potrebbero essere riutilizzati in un problema simile ma con un differente spazio degli stati. Nell'altra nota mi chiedevo perch\'{e} venissero utilizzati per generalizzare gli stati di basso livello identificati dai sensori dell'agente: il motivo \`{e} che questi stati sono comuni ad ogni problema perch\'{e} appunto legati all'agente e non all'ambiente o al problema mentre gli stati "semplificati" usati per descrivere il MDP del problema specifico possono variare e quindi non sono adatti per eventuale generalizzazione. Ribadisco che il concetto di base di poter apprendere una sorta di euristica generica che permetta di accelerare l'apprendimento in problemi simili \`{e} di fondo corretta, ma continuo a non essere sicuro che l'approccio sia del tutto corretto ed applicabile pi\`{u} in generale ad un'architettura di apprendimento gerarchico.}, keywords = {abstraction, generalization, knowledge, options}, organization = {University of Masschusetts Department of Computer Science}, posted-at = {2007-09-26 14:43:38}, priority = {5}, title = {Autoshaping: Learning to Predict Reward for Novel States}, url = {http://www-anw.cs.umass.edu/pubs/2005/konidaris_b_TECH05.ps.gz}, year = {2005} }

TY - RPRT ID - citeulike:1697316 L3 - citeulike-article-id:1697316 N2 - We introduce the use of learned shaping rewards in reinforcement learning tasks, where an agent uses prior experience on a sequence of tasks to learn a predictor that estimates intermediate rewards, accelerating learning in later tasks that are related but distinct. Such agents can be trained on a series of relatively easy tasks in order to develop a more informative measure of reward that allows them to perform well on more difficult tasks, without requiring hand coded shaping functions. We use a rod positioning task to demonstrate that this approach significantly improves performance even after a very brief training period. OR - University of Masschusetts Department of Computer Science TI - Autoshaping: Learning to Predict Reward for Novel States KW - abstraction KW - generalization KW - knowledge KW - options N1 - L'articolo è collegato a quello del trasporto di Opzioni fra differenti task (in realtà antecedente) e pone luce sugli interrogativi lasciati aperti nella nota a quel paper. L'idea di fondo è quella di costruire uno strumento che permetta di generalizzare i concetti ottenuti dall'apprendimeno effettuato in un particolare problema, cogliendo gli aspetti generici che potrebbero essere riutilizzati in un problema simile ma con un differente spazio degli stati. Nell'altra nota mi chiedevo perché venissero utilizzati per generalizzare gli stati di basso livello identificati dai sensori dell'agente: il motivo è che questi stati sono comuni ad ogni problema perché appunto legati all'agente e non all'ambiente o al problema mentre gli stati "semplificati" usati per descrivere il MDP del problema specifico possono variare e quindi non sono adatti per eventuale generalizzazione. Ribadisco che il concetto di base di poter apprendere una sorta di euristica generica che permetta di accelerare l'apprendimento in problemi simili è di fondo corretta, ma continuo a non essere sicuro che l'approccio sia del tutto corretto ed applicabile più in generale ad un'architettura di apprendimento gerarchico. AU - Konidaris, GD AU - Barto, AG PY - 2005/// UR - http://www-anw.cs.umass.edu/pubs/2005/konidaris_b_TECH05.ps.gz ER -