Предположим, вы хотите отправиться на рыбалку на близлежащее озеро с 8:00 до 20:00. Из-за чрезмерного вылова рыбы был принят закон, согласно которому вы можете ловить только одну рыбу в день. Когда вы ловите рыбу, вы можете либо оставить ее (и, таким образом, пойти домой с этой рыбой), либо выбросить ее обратно в озеро и продолжить ловить рыбу (но рискуете позже осесть с более мелкой рыбой или вообще без рыбы). Вы хотите поймать как можно большую рыбу; в частности, вы хотите максимально увеличить ожидаемую массу рыбы, которую вы приносите домой.
Формально мы могли бы решить эту проблему следующим образом: рыба вылавливается с определенной скоростью (таким образом, время, необходимое для вылова следующей рыбы, следует известному экспоненциальному распределению), а размер пойманной рыбы следует некоторому (также известному) распределению , Нам нужен какой-то процесс принятия решения, который, учитывая текущее время и размер рыбы, которую вы только что поймали, решает, сохранить ли рыбу или отбросить ее.
Вопрос в том, как принять это решение. Есть ли какой-то простой (или сложный) способ решить, когда прекратить ловить рыбу? Я думаю, что проблема эквивалентна определению, в течение данного времени t, какую ожидаемую массу рыбы оптимальный рыбак заберет домой, если они начнут в момент времени t; оптимальный процесс принятия решения будет держать рыбу тогда и только тогда, когда рыба будет тяжелее, чем ожидаемая масса. Но это похоже на самоссылку; мы определяем оптимальную стратегию ловли с точки зрения оптимального рыболова, и я не совсем уверен, как действовать дальше.