Метод множителей Лагранжа со случайными величинами

Я проиллюстрирую проблему с простой проблемой.

Пусть $ c_1, c_2 \ in \ mathbb {R} $ и $ Z $ - вещественная случайная величина. Пусть $ u: \ mathbb {R} \ rightarrow \ mathbb {R} $ - дифференцируемая функция, а $ f (c_1, Z) $ - вещественная функция, дифференцируемая по $ c_1 $.

Проблема в: Развернуть: $ u (c_1) + \ mathbb {E} [u (c_2)] $ такой, что $ c_2 = f (c_1, Z) $

Эта проблема легко решается путем прямой замены, и ответ

$ u '(c_1) + \ mathbb {E} \ left [u' (f (c_1, Z)) \ frac {\ частичный f (c_1, Z)} {\ частичный c_1} \ right] = 0 \ label { ответ} $

Вопрос в том, как записать лагранжиан, экстремумы которого соответствуют нормальному решению этой задачи.

Мой первый инстинкт был написать $ \ mathcal {L} = u (c_1) + \ mathbb {E} [u (c_2)] + \ lambda (c_2 - f (c_1, Z)) $.

Тем не менее, это не имеет смысла. Если вы рассматриваете $ c_2 $ как случайную переменную, то производная от $ \ mathbb {E} [u (c_2)] $ по $ c_2 $ дает ноль, и это не может дать правильный ответ , С другой стороны, не имеет смысла трактовать его как нестохастический, поскольку он «вынужден» быть стохастическим из-за ограничения.

Вопрос: Как мне написать лагранжиан, экстремумы которого соответствуют решению указанной выше задачи оптимизации?

Если вы рассматриваете $ c_2 $ как случайную переменную, то производная   $ E [u (c_2)] $ относительно $ c_2 $ дает ноль.

Зачем? Такое утверждение никуда не следует. Тонкости лежат в другом месте. Проблема с лагранжианом, рассматриваемая ОП

$$ \ mathcal {L} = u (c_1) + \ mathbb {E} [u (c_2)] + \ lambda (c_2 - f (c_1, Z)) $$

это оно также является случайной величиной, так как теперь появляется $ Z $ вне ожидаемое значение (подход прямого замещения, сопровождаемый максимизацией только в отношении $ c_1 $, не создает таких проблем).

Теперь мы можем / можем ли мы максимизировать случайную величину? Ну, нет, потому что существенной характеристикой случайной величины является то, что это функция, значение которой не может быть установлено командой и управлением.

Но можно сказать: «Хорошо, давайте представим, что этот лагранжиан не является случайной величиной, и просто запишем условия максимизации, даже если мы знаем, что не можем форсировать решение».

Но это не сработает: если кто-то попытается это сделать, то в итоге получит

$$ u '(c_1) + \ mathbb {E} \ left [u' (f (c_1, Z)) \ right] \ cdot \ frac {\ частичный f (c_1, Z)} {\ частичный c_1} = 0 $$

который не так же, как условие, полученное прямой заменой, потому что здесь частная производная вне ожидаемое значение.

(для тех, кто может подумать «эй, тогда как мы применяем процедуры максимизации в подходе с максимальным правдоподобием», ответ таков: больше нет ничего случайного, когда мы применяем шаги максимизации).

Это не ответ, для этого см. Алекос ответ , Суть этого поста состоит в том, чтобы уточнить, что вопрос основан на ложном предположении $$ \ frac {d \ E (c_2)} {d \ c_2} = 0 $$ в качестве примера. Рассмотрим случайную переменную, которую я получу, бросив шестигранный кубик и умножив результат $ X $ на положительное целое число $ n $. Ожидаемое значение этого $$ E (n \ cdot X) = n \ cdot \ frac {7} {2}. $$ Вы бы заявили, что $$ \ frac {d \ E (n \ cdot X)} {d \ n} = 0 $$ потому что «Взятие производной ожидания [...] по отношению к чему-либо дает ноль, поскольку ожидание [...] является просто константой»?

Ответь сначала:

«Целевая функция» на самом деле является функционалом. Задача состоит в том, чтобы найти pdf $ g (y) $ с $ c_2 $ и вещественное число $ c_1 $, которое максимизирует следующий лагранжиан

$$ \ mathcal {L} (c_1, g) = u (c_1) + \ int u (x) g (x) \ mathrm {d} x + \ int \ lambda (y) \ left [g (y) - \ eta (c_1, y) \ right] \ mathrm {d} y. $$

Здесь $ \ eta (c_1, y) $ - это pdf, за которым следует случайная величина $ f (c_1, Z) $. $ \ lambda (y) $ - множитель Лагранжа, используемый для обеспечения ограничения $ g (y) = \ eta (c_1, y) $. Все интегралы по $ \ mathbb {R} $. Условия первого заказа

$$ u '(c_1) - \ frac {\ частный} {\ частичный c_1} \ int \ lambda (y) \ eta (c_1, y) \ mathrm {d} y = 0, \\ u (y) + \ lambda (y) = 0, \\ g (y) - \ eta (c_1, y) = 0. \\    $$

Объединение первых двух дает

$$ u '(c_1) + \ frac {\ частный} {\ частичный c_1} \ int u (y) \ eta (c_1, y) \ mathrm {d} y = 0. $$

Теперь использование «закона бессознательной статистики» дает

$$ u '(c_1) + \ frac {\ частный} {\ частичный c_1} \ int u (f (c_1, z)) \ phi (z) \ mathrm {d} z = 0 \\ \ Rightarrow u '(c_1) + \ int u' (f (c_1, z)) \ frac {\ частичный f (c_1, z)} {\ частичный c_1} \ phi (z) \ mathrm {d} z = 0 . $$ Здесь $ \ phi (z) $ - это pdf, за которым следует случайная величина $ Z $. Это эквивалентно решению, данному в OP.

Теперь я хочу затронуть еще несколько вещей. Я бы идеально сделал это в комментариях, но у меня недостаточно репутации, чтобы комментировать.

Прежде всего, я ОП. Я действительно в недоумении, почему я не мог войти с оригинальными учетными данными. Все еще пытаюсь понять это.

Как отмечает Денесп, я не так давно написал ответ, который сразу же удалил. Я сделал это по нескольким причинам:

1. Я на самом деле не ответил на вопрос в этом посте.
2. Я был в автобусе в то время, печатая на моем телефоне. У меня было неправильное форматирование, и формулировка была очень свободной. Я хотел занять больше времени и дать лучший и более точный ответ. Так, например, некоторые комментарии Денеспа направлены на неточную формулировку в посте, который я удалил.

Чтобы ответить на комментарии Денеспа к оригинальному сообщению: я кратко прокомментировал, что вещи не работают, потому что

1. Я думал, что было совершенно очевидно, почему предложенные вещи не работают.
2. Я не думаю, что подробный пост, объясняющий, почему они не работают с большим количеством математики, подходит для комментариев

«Ответ» Алекоса вовсе не является ответом. Это может быть лучше читать как расширение того, почему наивный подход в оригинальном посте не работает.

Теперь позвольте мне рассмотреть вопрос о дифференциации. Это правда, что я не был точен в оригинальном посте, но это должно было проиллюстрировать наивный подход, который я использовал, и почему он не работал.

Путаница здесь проистекает из следующего. Скажем, у меня есть дифференцируемая функция $ f: \ mathbb {R} \ rightarrow \ mathbb {R} $. Я, конечно, могу осмысленно говорить о функции, являющейся производной от $ f $, которую я обозначу через $ f '$.

С другой стороны, иногда люди «допускают, чтобы аргумент был случайной, $ \ mathbb {R} $ -значной переменной». Когда они это делают, им, вероятно, следует называть результирующие случайные переменные чем-то отличным от $ f $ и $ f '$. Вся путаница возникла из этого. Я не делал этого различия в первоначальном посте, потому что мои размышления по этому вопросу не были ясны, и это было смущено другими комментариями, не признавшими эту основную причину путаницы.