Производная перекрестной потери энтропии в word2vec

Я пытаюсь проработать первый набор проблем из материала онлайн-курса cs224d в Стэнфорде, и у меня возникли некоторые проблемы с проблемой 3A: При использовании модели пропуска грамм word2vec с функцией прогнозирования softmax и функцией кросс-энтропийной потери мы хочу вычислить градиенты по отношению к предсказанным векторам слов. Итак, учитывая функцию softmax:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

и кросс-энтропийная функция:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

нам нужно вычислить $\frac{\partial{CE}}{\partial{\hat{r}}}$

Мои шаги следующие:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

теперь данный $w_k$ - один горячий вектор, и я - правильный класс:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

Это правильно или это может быть упрощено дальше? Я хочу убедиться, что я на правильном пути, поскольку решения проблем не публикуются в Интернете. Кроме того, правильное выполнение письменных заданий важно для правильного выполнения заданий по программированию.

machine-learning self-study word2vec

— slushi
источник

Пожалуйста, добавьте тег самообучения к вопросу

— Dawny33

2-й знак минус в первом логе должен быть плюсом. Попытка исправить это для вас, но изменения должны быть не менее 6 символов: \

— FatalMojo

\frac{\partial С Е}{\partial \hat{р}} знак равно - {вес}_{я} + \frac{1}{Σ_{J}^{| В |} е Икс п ({вес}_{J}^{T} \hat{р})} Σ_{J}^{| В |} е Икс п ({вес}_{J}^{T} \hat{р}) {вес}_{J}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$ можно переписать как обратите внимание, обе суммы проиндексированы j, но на самом деле это должны быть 2 разные переменные. Это было бы более уместно что переводится как

\frac{\partial С Е}{\partial \hat{р}} знак равно - {вес}_{я} + Σ_{J}^{| В |} (\frac{ехр ({вес}_{J}^{⊤} \hat{р})}{Σ_{J}^{| В |} е Икс п ({вес}_{J}^{T} \hat{р})} \cdot {вес}_{J})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$

\frac{\partial С Е}{\partial \hat{р}} знак равно - {вес}_{я} + Σ_{Икс}^{| В |} (\frac{ехр ({вес}_{Икс}^{⊤} \hat{р})}{Σ_{J}^{| В |} е Икс п ({вес}_{J}^{T} \hat{р})} \cdot {вес}_{Икс})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$

\frac{\partial С Е}{\partial \hat{р}} знак равно - {вес}_{я} + Σ_{Икс}^{| В |} Pr (вес о р d_{Икс} | \hat{р}, вес) \cdot {вес}_{Икс}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$

— FatalMojo
источник

В связи с этим он подробно расскажет об этом выводе в лекции 2 @ 38:00

— FatalMojo,

Почему суммы должны индексироваться разными переменными?

— Яманеко

Просто чтобы избежать путаницы. Математически это означает то же самое, но хорошей практикой является изменение метки индекса при добавлении новой суммы.

— FatalMojo