Значение дисконтного фактора при обучении подкреплению

После прочтения достижений Google Deepmind в играх Atari , я пытаюсь понять q-learning и q-network, но я немного запутался. Путаница возникает в концепции дисконтного фактора. Краткое резюме того, что я понимаю. Глубокая сверточная нейронная сеть используется для оценки значения оптимального ожидаемого значения действия. Сеть должна минимизировать функцию потерь где равно где - совокупное значение балла, а

$$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$$ $\mathbb{E}_{s'}\left[y|s,a\right]$ $$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$$ $Q$$r$значение оценки для выбора действия. и - соответственно, состояние и действие выбирают в момент времени а состояние и действие - в момент времени . суть веса сети на предыдущей итерации. является коэффициент дисконтирования , который учитывает временную разницу значений количественных показателей. Индекс является временным шагом. Проблема в том, чтобы понять, почему не зависит от .$s,a$$s',a'$$t$$t'$$\theta^-_i$$\gamma$$i$$\gamma$$\theta$

С математической точки зрения является фактором дисконтирования и представляет вероятность достижения состояния из состояния .$\gamma$$s'$$s$

Я предполагаю, что сеть действительно научится изменять масштаб соответствии с истинным значением , так почему бы не позволить ?$Q$$\gamma$$\gamma=1$

Коэффициент дисконтирования не представляет вероятности достижения состояния из состояния . Это будет , который не используется в Q-Learning, поскольку он не содержит моделей (только методы обучения с подкреплением на основе моделей используют эти вероятности перехода). Коэффициент дисконтирования - это гиперпараметр, настроенный пользователем, который представляет, насколько будущие события теряют свою ценность в зависимости от того, как далеко они находятся во времени. В приведенной формуле вы говорите, что значение для вашего текущего состояния представляет собой мгновенную награду за это состояние плюс то, что вы ожидаете получить в будущем, начиная с$s′$$s$$p(s'|s,a)$$γ$$y$$s$$s$, Но этот будущий срок должен быть обесценен, потому что будущие вознаграждения могут не иметь (если ) то же значение, что и получение вознаграждения прямо сейчас (точно так же, как мы предпочитаем получать 100 долларов сейчас вместо 100 долларов завтра). Вы сами решаете, сколько вы хотите амортизировать ваши будущие награды (это зависит от проблемы). Коэффициент дисконтирования 0 будет означать, что вы заботитесь только о немедленном вознаграждении. Чем выше ваш коэффициент дисконтирования, тем дальше ваши награды будут распространяться во времени.$γ < 1$

Я предлагаю вам прочитать книгу Саттона и Барто, прежде чем пробовать Deep-Q, чтобы научиться чистому обучению подкреплению вне контекста нейронных сетей, что может сбить вас с толку.